42章经

← 42章经29 ago · 47 min

一个人、两周、数百美元,如何训出登顶 Hugging Face 的模型 | 对谈研究员逯雨鑫

一个人、两周、数百美元,如何训出登顶 Hugging Face 的模型 | 对谈研究员逯雨鑫29 ago47 min

活动预告🥳:9 月 12 日,我们会请到雨鑫做一场线上活动,大家记得翻到 shownotes 末尾查看报名信息!

最近硅谷有了新热点:主权 AI 和 Personal Intelligence。简单来说,就是很多人开始相信,未来会有越来越多的应用公司和个人,训练自己的模型。

对绝大多数人来说,训练模型仍然是一件听起来遥不可及、门槛很高的事,但我们这期节目的嘉宾逯雨鑫却认为,它非常简单,简单到他此前没有 AI Lab 的经历,也不是 AI PhD,只用了 2 周和数百美元,就后训练出了两个登顶 Hugging Face Model Trending 榜首的小模型。

他具体是怎么做到的、摸索出了怎样的 Pipeline?过程中踩过哪些坑?以及无论对个人还是公司来说,训练模型最大的卡点都是数据,那么他是怎么攻克这个难题的?在蒸馏路线、数据来源上,又有哪些 secret sauce?

节目后半段,我们还进一步讨论了主权 AI、Personal Intelligence 和 Local AI 相关的各种问题,比如这些事情普及开来的门槛在哪里、未来 AI Lab 和应用公司的分工与价值会有什么变化等等。

就在一个月前,我们还在讲 AI 应用遭受的冷遇;但录完这期,我们好像又看到了应用的曙光。也许在不久的将来,越来越多的应用公司都会成为 Neo Lab,Local AI 也可能成为一个 PC 级别的机会。而拥抱模型训练和 Local AI,最好的时间可能就是现在。

希望雨鑫摸索出的实践路径,能给应用公司和个人带来一些启发。如果你还想了解更多,也欢迎报名 shownote 末尾的线上活动,来和雨鑫直接交流(尤其欢迎应用创业者!)

【人类博物馆】

导游:曲凯,42章经创始人

52 号珍藏:逯雨鑫,Mind Lab 研究员;以个人开发者身份、数百美元成本微调的模型两次登顶 Hugging Face 热度榜;focus 在 post-training(蒸馏、SFT)与数据工程,近期方向为 continued pre-training

【时光机】

Part 1 训模型的实操经验