Inside Llama2
Meta的Llama2是当前开源状态最好又可以作为效果标杆的一个LLM模型，但它的官方口径好像也是个半开源，即只有inference而没有train，但是从它的模型结构和部分处理逻辑上，还是具有很高的参考价值。
Scaling Law in Large Language Model
2024-04-08
Scaling Law定义：随着模型大小、数据集大小和用于训练的计算浮点数的增加，模型的性能会有规律性的提高。并且为了获得最佳性能，所有三个因素必须同时放大。当不受其他两个因素的制约时，模型性能与每个单独的因素都有幂律关系（Power Law Relationship）。因此，当这种幂率关系出现时，我们是可以提前对模型的性能进行预测的。
LLMs Fine-Tuning And Prompt Engineering Practices
2024-04-03
由于LLM的通用性，现在的LLM已经可以无需进行fine-tuning（例如，零样本学习）就直接用于某些特定领域的任务。 然而，为了能在特定领域的下游任务上获得更高的准确性，我们通常需要执行Fine-Tuning或Prompt Engineering以使得LLM来更好地适应下游任务。
从关西开始吧
今年跨年，我太太提议全家以出行的形式进行，虽然春节假期的出行成本很高，但是想到能抽出仅有的假期带家里的老人们一起出国旅行还是很兴奋。
Diffusion Model Intro
2024-01-09
DDPM的本质作用，就是学习训练数据的分布，产出尽可能符合训练数据分布的真实图片。
Seoul的冬季恋歌
胡同深处有人家
记得小时候第一次出远门坐飞机就是八岁那年暑假，跟着爸爸去北京，之后陆陆续续因为旅行或者学习工作缘故也去过几趟。这个从小就耳熟的伟大首都一直是非常吸引我。
皇后大道贯穿的东方之珠
这次来香港相比5年前，感觉变了很多，但又有很多一脉相承的体验，我对这个东方明珠的体验越来越好了。