Retrieval-Augmented Generation(RAG) for LLMs
RAG ，检索增强生成技术（Retrieval-Augmented Generation，RAG），通过在语言模型生成答案之前，先从广泛的文档数据库中检索相关信息，然后利用这些信息来引导生成过程，极大地提升了内容的准确性和相关性。RAG 有效地缓解了幻觉问题，提高了知识更新的速度，并增强了内容生成的可追溯性，使得大型语言模型在实际应用中变得更加实用和可信。
Inside Llama 2
Meta 的 Llama 2 是当前开源生态里可作为效果标杆的一类 LLM。虽未开放完整训练细节，但其公开的模型结构与推理实践具有很高的参考价值。
Scaling Law in Large Language Model
2024-04-08
Scaling Law 定义：随着模型大小、数据集大小和用于训练的计算浮点数的增加，模型的性能会有规律性的提高。并且为了获得最佳性能，所有三个因素必须同时放大。当不受其他两个因素的制约时，模型性能与每个单独的因素都有幂律关系（Power Law Relationship）。因此，当这种幂律关系出现时，我们可以提前对模型的性能进行预测。
LLMs Fine-Tuning And Prompt Engineering Practices
2024-04-03
由于 LLM 的通用性，很多场景可以无需进行 fine-tuning（如 zero-shot）就直接完成任务。然而，为了在特定领域的下游任务上获得更高的准确性与稳定性，通常需要执行 Fine-Tuning 或 Prompt Engineering，使 LLM 更好地适应目标分布。
从关西开始吧
今年跨年，我太太提议全家以出行的形式进行，虽然春节假期的出行成本很高，但是想到能抽出仅有的假期带家里的老人们一起出国旅行还是很兴奋。
Diffusion Model Intro
2024-01-09
DDPM的本质作用，就是学习训练数据的分布，产出尽可能符合训练数据分布的真实图片。
Seoul的冬季恋歌
胡同深处有人家
记得小时候第一次出远门坐飞机就是八岁那年暑假，跟着爸爸去北京，之后陆陆续续因为旅行或者学习工作缘故也去过几趟。这个从小就耳熟的伟大首都一直是非常吸引我。