晚点聊 LateTalk

← 晚点聊 LateTalk16 Aug · 50 min

179: 蒸馏风暴:一场无人公开谈论的技术竞赛

179: 蒸馏风暴:一场无人公开谈论的技术竞赛16 Aug50 min

「关于蒸馏:误解、门槛与代价」

这期播客,又是一次“编辑部”节目:我和《晚点 LatePost》的主笔高洪浩一起来聊蒸馏。

这是一个所有人都在关注、却很少有人愿意公开谈论的话题,所以也很难邀请外部嘉宾。本期中,我们对蒸馏的讨论,来自过去一段时间,我们和数位来自不同中国 AI lab 的从业者的讨论以及一些公开资料。

相关文章蒸馏风暴:AI 公司不愿公开谈论的技术竞赛已在上周发布。

播客里,编辑了《晚点独家丨字节讨论训超 5 万亿参数模型,张一鸣:不蒸馏、别被 Coding 这种短期热点影响》的洪浩,也和我一起讨论了更多公司,如字节的更多做法和可能的原因。

蒸馏这种诞生多年的技术到底是什么?为何在 2026 年出圈?大规模蒸馏如何实现?蒸馏能否成为一个模型研发团队的壁垒?它的代价又是什么?

本期节目是一个引子,希望更多从业者、听友在评论区分享你们的想法、观察和思考。

图注:斩杀线。处在一个模型,右边(比它贵),和下方(智能程度比它低)区域的模型,被该模型”斩杀“。不过这个图里没有反映另一个非常重要的维度,就是推理速度。

本期嘉宾:

程曼祺,《晚点 LatePost》科技报道负责人

本期主播:

高洪浩,《晚点 LatePost》主笔