E251｜推理芯片之战：聊聊Groq、Cerebras与OpenAI三大路径与Bill Dally的设计哲学

过去几年，推理消耗的Token爆炸式增长，Token经济随之成型，推理专用芯片也持续升温：去年年底，英伟达以约200亿美元对AI芯片初创公司Groq进行“收购”（acqui-hire）；做晶圆级“大芯片”的Cerebras今年6月IPO，市值达到670亿美元；OpenAI联手博通，推出了首款自研推理芯片Jalapeño，从设计到流片仅用了9个月——加上我们之前聊过的谷歌TPU，推理芯片牌桌上的玩家越来越多。

在这场推理芯片大战中，各家真正比拼的是什么？为什么走向了不同的技术路径？推理芯片未来又会向什么方向收敛？

本期硅谷101，我们请来两位AI芯片创业者，逐一拆解这些热门推理芯片在技术路径上的取舍与得失。其中嘉宾Mark是英伟达首席科学家Bill Dally的学生。Bill Dally是现代GPU并行架构最重要的奠基者之一。我们也借由Mark的视角，去了解这位芯片大师是如何思考问题和看待创新的。

【主播】

泓君，硅谷101创始人，播客主理人

【嘉宾】

Mark，AI芯片创业者

徐子扬，AI芯片创业者

【你将听到】

Groq、Cerebras技术路线

04:17 为什么训练看算力，推理看带宽

14:13 SRAM、DRAM、HBM的优劣