LLM Inference Optimization
High-performance LLM serving built on vLLM, covering KV Cache management, Speculative Decoding, Continuous Batching, and quantized deployment for low-latency online inference at scale.
Kyrie Chen
Hi, that's Kyrie
I write about machine learning, LLM systems, AI infrastructure, and the cities and journeys that stay with me after the trip is over.
Engineer, researcher, traveler, husband, and father. This site is where technical notes and personal essays live together.
About
Where scaling laws meet the open road
My technical writing traces every step of learning and building through school and industry; my travel and life essays capture the places and moments worth revisiting over time.
Here you'll find deep dives into LLMs, inference systems, training strategies, and production engineering — alongside travel stories about cities, coastlines, alleyways, and the everyday moments worth remembering.
- Machine Learning / Deep Learning
- LLM / AI Infra / NLP / CV
- Travel writing / long-form notes
Tech Stack
Skills & Tools
Python
C++
C
Java
PyTorch
Transformers
DeepSpeed
Megatron-LM
CUDA
MoE
vLLM
KV Cache
TensorRT
Triton
Docker
Kubernetes
LangChain
RAG
MCP
Memory System
Prompt Engineering
What I Work On
View all on GitHub →
Focus Areas
Distributed Training & Model Architecture
Large-scale distributed training infrastructure and model architecture research, including 5D Parallelism (DP/TP/PP/SP/EP), MoE sparse architectures, Scaling Law validation, and training stability tuning.
Agent & Memory System
Design and implementation of LLM Agent systems, including hierarchical Memory management for multi-turn conversations, Tool-use orchestration, MCP protocol integration, and RAG pipelines.
LLM Serving Infrastructure
Production-grade LLM serving platform covering model deployment orchestration, GPU cluster scheduling, Triton inference gateway, and end-to-end observability.
Blogs
View archive →
Selected writing
2026-11-04
大模型是怎么炼成的（七）：轨迹末端的奖励，以及怎样验证一个 agent
第六篇的奖励落在一次解答的末尾。Agent 把这一次解答换成一串动作：模型发出工具调用，读回观察，再决定下一步。奖励往往要等到任务结束才出现。信用分配因此从「这段推理里哪一句」变成「这条轨迹里哪一次调用」。
范围：工具调用的轨迹、稀疏的终端奖励，以及用来卡住结论的冻结评测。只写报告写明...
2026-10-23
大模型是怎么炼成的（六）：可验证奖励、GRPO，以及三种失控
第五篇的奖励是一个学出来的标量。它可以被 hack：分数上涨，人的偏好下降。数学答案对不对、测试通不通过，可以由规则检查。这一篇从这份可验证奖励写起。Tulu 3 把这种设定叫做 RLVR。GRPO 是 DeepSeekMath 里相对 PPO 的简化，不是「有了验证器就自动有了推理」。
o...
2026-10-09
大模型是怎么炼成的（五）：偏好对齐里，谁在打分，谁在更新
第四篇的结尾是：偏好优化需要的是同一套模板下的 chosen 与 rejected，或者好/坏标签，以及产生它们时的 policy 版本。那不是 SFT 的损失。这一篇从这份输入写起：先问偏好在假设什么，再问奖励和 KL 分别由哪个模型提供，最后问怎样知道这个奖励没有在奖励长度。
可验证的对...
2026-09-28
大模型是怎么炼成的（四）：SFT 的边界是 loss 铺在哪些 token 上
问「法国的首都是哪里」，续写「德国的首都是哪里」，对只做过预训练的模型是合理的。它见过成排的问题。SFT 要改的是这个条件，不是再换一批更干净的网页。
第三篇的原话是：只要 loss 仍铺在全部 token 上，监督位置就还没变；一旦某段数据只训 response，阶段名即使仍叫退火，语义上...
2026-09-18
大模型是怎么炼成的（三）：Mid-training 的数据升配、领域续训与长上下文
第二篇在学习率日程那一节留了一个结：常数平台的价值，是把「何时开始衰减」的决定往后推；而衰减一旦开始，数据改动和日程改动就缠在一起。本篇就发生在这个窗口附近——模型主干已经训完或接近训完，post-training 还没开始，中间这段仍然用语言建模目标做的继续训练，就是第一篇操作性定义过的 m...
2026-09-08
512K 上下文的全参 SFT：显存、MFU，以及 loss 说明不了的事
过去几个月，我在把一个混合注意力 MoE 的全参 SFT，从官方训练栈默认的大约 4K 上下文，推到 512K。模型总参大约 290B，每个 token 激活大约 14.2B。推完之后，32K 到 512K 都能放进 4 个节点、32 张 B300。512K 这一档的 MFU 是 43.43%...