约会亚平宁

Kyrie Chen 2024-10-07

上次来欧洲已经是5年前了,中间那三年噩梦般的新冠时期都不知道是怎么熬过来的。从西班牙回来后,戒断反应似乎一直在,我太太和我疯狂地爱上吃海鲜饭paella,又对参观各种哥特式教堂着迷。所以在结婚六周年纪念日邻近时,就想着趁着十一假期再去一趟欧洲。最后我们选择了号称欧洲旅游天花板的意大利🇮🇹。而后来我们的经历也证明,这趟旅行的美好远不止此。

Read More

宝藏三晋

Kyrie Chen 2024-07-13

今年最火的国产3A大作《黑神话-悟空》虽然我还没入手开玩,但是着实是把山西旅游的给推向了流量潮头。一大批游客冲着山西的古建筑蜂拥而至。山西腹地相对封闭的地理环境和干燥的气候,使得很多木质古建筑被保存的很好。

Read More

The Needle In a Haystack Test

Kyrie Chen 2024-05-16

所谓的大海捞针实验(The “Needle In a Haystack” test)是设计用来评估LLM RAG系统在不同长短的上下文中的表现。它的工作原理是将特定的、有针对性的信息“针”(“Needle”)嵌入更大、更复杂的文本主体“草垛”(“Haystack”),目标是评估LLMs在大量数据中识别和利用这一特定信息的能力。

Read More

富士初窥

Kyrie Chen 2024-05-04

春节假期离开日本的三个月后,戒断反应还在。看着出去玩的照片还是不时地回忆起全家老小在日本瞎玩的经历。所以趁着多年签还有效就在五一又回了日本。其实日本对于我们这种家庭是挺好的旅行选择,能出个国但是玩东西又比较多,物价合理而且不需要飞行很久,适合带娃说走就走。

Read More

Retrieval-Augmented Generation(RAG) for LLMs

Kyrie Chen 2024-04-20

RAG ,检索增强生成技术(Retrieval-Augmented Generation,RAG),通过在语言模型生成答案之前,先从广泛的文档数据库中检索相关信息,然后利用这些信息来引导生成过程,极大地提升了内容的准确性和相关性。RAG 有效地缓解了幻觉问题,提高了知识更新的速度,并增强了内容生成的可追溯性,使得大型语言模型在实际应用中变得更加实用和可信

Read More

Inside Llama2

Kyrie Chen 2024-04-11

Meta的Llama2是当前开源状态最好又可以作为效果标杆的一个LLM模型,但它的官方口径好像也是个半开源,即只有inference而没有train,但是从它的模型结构和部分处理逻辑上,还是具有很高的参考价值。

Read More

Scaling Law in Large Language Model

Kyrie Chen 2024-04-08

Scaling Law定义:随着模型大小、数据集大小和用于训练的计算浮点数的增加,模型的性能会有规律性的提高。并且为了获得最佳性能,所有三个因素必须同时放大。当不受其他两个因素的制约时,模型性能与每个单独的因素都有幂律关系(Power Law Relationship)。因此,当这种幂率关系出现时,我们是可以提前对模型的性能进行预测的。

Read More