152. 领读Kimi K3技术报告：从架构创新聊起，注意力美学、多教师蒸馏和开源MoE

今天的节目是一集学习播客，学习Kimi K3技术报告，希望和大家一起领略“技术之美”。

K3是有效扩展到2.8T总参数并全量开源的MoE模型。大家可能注意到，这集技术报告的领读距离模型发布已经过去一段时间。期间，我们试图寻找一位合适的嘉宾，我们希望这位嘉宾的学术和工作背景非常适合讲K3。最后找到孙宇涛。

宇涛目前是清华大学计算机系博士候选人，上海创智学院璞锐学者。他从博士开始的研究方向是LLM架构、预训练，架构创新一直是他的兴趣点，这正好是K3亮点之一。

宇涛透过领读K3技术报告也串联讲解了十多篇相关论文。他的语速非常快——前方语速预警。

OUTLINE:

02:00 宇涛的自我介绍和研究经历，为什么对架构创新最感兴趣？

16:05 从Kimi K3论文出发，论文讲解的框架与脉络

19:02 宇涛开始领读论文：

1 导读

Kimi K3将设计概括为沿sequence、depth和width三个维度扩展信息流；其中depth与width本质上仍是模型容量扩展的两种组织⽅式，这⼀“三维 scaling”更多是贯穿论⽂的叙事框架。

2 Model Architecture

2.1 线性注意⼒的前世今⽣