富士初窥

Kyrie Chen 2024-05-04

春节假期离开日本的三个月后，戒断反应还在。看着出去玩的照片还是不时地回忆起全家老小在日本瞎玩的经历。所以趁着多年签还有效就在五一又回了日本。其实日本对于我们这种家庭是挺好的旅行选择，能出个国但是玩东西又比较多，物价合理而且不需要飞行很久，适合带娃说走就走。

Retrieval-Augmented Generation(RAG) for LLMs

Kyrie Chen 2024-04-20

RAG ，检索增强生成技术（Retrieval-Augmented Generation，RAG），通过在语言模型生成答案之前，先从广泛的文档数据库中检索相关信息，然后利用这些信息来引导生成过程，极大地提升了内容的准确性和相关性。RAG 有效地缓解了幻觉问题，提高了知识更新的速度，并增强了内容生成的可追溯性，使得大型语言模型在实际应用中变得更加实用和可信。

Inside Llama 2

Kyrie Chen 2024-04-11

Meta 的 Llama 2 是当前开源生态里可作为效果标杆的一类 LLM。虽未开放完整训练细节，但其公开的模型结构与推理实践具有很高的参考价值。

Scaling Law in Large Language Model

Kyrie Chen 2024-04-08

Scaling Law 定义：随着模型大小、数据集大小和用于训练的计算浮点数的增加，模型的性能会有规律性的提高。并且为了获得最佳性能，所有三个因素必须同时放大。当不受其他两个因素的制约时，模型性能与每个单独的因素都有幂律关系（Power Law Relationship）。因此，当这种幂律关系出现时，我们可以提前对模型的性能进行预测。