WhynotTV Podcast Audio Download

本期嘉宾翁家翌。他在 2022 年加入 OpenAI，并且是 OpenAI 一系列核心模型背后的核心贡献者之一——从 GPT-3.5、GPT-4、再到 GPT-5，你能看到的那些关键跃迁里，都有他的身影；而他最主要的贡献，你可以先记住三个词：强化学习、post-training、infra。 但对我来说，翁家翌不只是“把模型做得更强的人”。在成为 OpenAI 研究员之前，他就已经用开源和产品影响过无数人：把知识与资料公开、试图打破信息差；把做工具称作一种“慈善”——在他的价值观里，开源不是履历装饰，而是一种对世界的投入方式：追求的不是掌声，而是 impact。 在这期节目里，我们会从翁家翌的童年经历聊起，走到他在清华与 CMU 的求学与成长，再到他在 2022 年加入 OpenAI 后的亲历：站在 AI 风暴中心的人，到底看见了什么？ 这里是 WhynotTV Podcast。现在请和我一起，走进翁家翌的世界。 ----------------------- 2:33 - 小时候的翁家翌是什么样的小孩 5:56 - 成长过程中的投资未来的意识 8:10 - 高中计算机竞赛与升学 16:02 - 在清华开源作业与信息差 19:23 - 在本科与强化学习结缘 28:00 - 在Yoshua Bengio组暑研做NLP的经历 30:38 - 对前ChatGPT时代的NLP and RL有什么反思 32:47 - 留学申请季受挫的经历 35:28 - 对固有评价体系的挣脱 41:08 - 天授Tianshou强化学习框架的前世今生 48:07 - tuixue online签证查询系统 49:54 - 追求影响力impact的底层逻辑是什么 56:21 - CMU读研与加入OpenAI的经历 59:46 - 和John Schulman的面试故事 61:54 - 为什么没有考虑读PhD 63:16 - 研究能力和工程能力谁更重要 66:31 - infra的重要性 69:28 - 还会鼓励今天的学生读AI PhD吗 73:13 - 什么是强化学习和post-training（后训练） 74:22 - 加入OpenAI的时候ChatGPT是主线吗 76:01 - 发布ChatGPT前可以想象这样大规模的成功吗 79:18 - 2022年加入OpenAI的初印象是什么 80:52 - OpenAI的人才密度与组织架构 84:09 - GPT强化学习Post-training的前世今生 85:10 - 在2022年做RLHF有什么关键的挑战与突破 87:01 - 大模型工业级RL infra 的挑战 92:08 - 未来5-10年大语言模型的挑战和瓶颈会是是什么 96:30 - 现在的预训练和后训练可以达到AGI吗 98:34 - OpenAI还Open吗 103:30 - OpenAI实现AGI使命的最大挑战是什么 104:02 - 内部视角看Sam Altman被开除的经历 106:37 - 如何看待OpenAI的人才流失 107:43 - OpenAI面对AI竞赛的内部视角 112:48 - 未来与宿命论 118:35 - 考虑过创业吗 120:01 - 希望十年后的自己是什么样的

本期嘉宾翁家翌。他在 2022 年加入 OpenAI，并且是 OpenAI 一系列核心模型背后的核心贡献者之一——从 GPT-3.5、GPT-4、再到 GPT-5，你能看到的那些关键跃迁里，都有他的身影；而他最主要的贡献，你可以先记住三个词：强化学习、post-training、infra。 但对我来说，翁家翌不只是“把模型做得更强的人”。在成为 OpenAI 研究员之前，他就已经用开源和产品影响过无数人：把知识与资料公开、试图打破信息差；把做工具称作一种“慈善”——在他的价值观里，开源不是履历装饰，而是一种对世界的投入方式：追求的不是掌声，而是 impact。 在这期节目里，我们会从翁家翌的童年经历聊起，走到他在清华与 CMU 的求学与成长，再到他在 2022 年加入 OpenAI 后的亲历：站在 AI 风暴中心的人，到底看见了什么？ 这里是 WhynotTV Podcast。现在请和我一起，走进翁家翌的世界。 ----------------------- 2:33 - 小时候的翁家翌是什么样的小孩 5:56 - 成长过程中的投资未来的意识 8:10 - 高中计算机竞赛与升学 16:02 - 在清华开源作业与信息差 19:23 - 在本科与强化学习结缘 28:00 - 在Yoshua Bengio组暑研做NLP的经历 30:38 - 对前ChatGPT时代的NLP and RL有什么反思 32:47 - 留学申请季受挫的经历 35:28 - 对固有评价体系的挣脱 41:08 - 天授Tianshou强化学习框架的前世今生 48:07 - tuixue online签证查询系统 49:54 - 追求影响力impact的底层逻辑是什么 56:21 - CMU读研与加入OpenAI的经历 59:46 - 和John Schulman的面试故事 61:54 - 为什么没有考虑读PhD 63:16 - 研究能力和工程能力谁更重要 66:31 - infra的重要性 69:28 - 还会鼓励今天的学生读AI PhD吗 73:13 - 什么是强化学习和post-training（后训练） 74:22 - 加入OpenAI的时候ChatGPT是主线吗 76:01 - 发布ChatGPT前可以想象这样大规模的成功吗 79:18 - 2022年加入OpenAI的初印象是什么 80:52 - OpenAI的人才密度与组织架构 84:09 - GPT强化学习Post-training的前世今生 85:10 - 在2022年做RLHF有什么关键的挑战与突破 87:01 - 大模型工业级RL infra 的挑战 92:08 - 未来5-10年大语言模型的挑战和瓶颈会是是什么 96:30 - 现在的预训练和后训练可以达到AGI吗 98:34 - OpenAI还Open吗 103:30 - OpenAI实现AGI使命的最大挑战是什么 104:02 - 内部视角看Sam Altman被开除的经历 106:37 - 如何看待OpenAI的人才流失 107:43 - OpenAI面对AI竞赛的内部视角 112:48 - 未来与宿命论 118:35 - 考虑过创业吗 120:01 - 希望十年后的自己是什么样的

当我问陈天奇，你会对十年前二十年前的陈天奇说些什么时，他沉默了近20秒说—— “可能要反过来，我需要过去的我对现在的我，现在的我对未来的我说，记住自己对自己的承诺，坚持自己的理想，往下走下去” 那一刻我被真正感动了——因为我真正看到一个真正的理想主义者，过去二十年机器学习的历史， XGBoost、MXNet、TVM、MLC都是不可磨灭的精彩印迹，而在这几个项目名背后，有一个共同的名字，他就是本期播客嘉宾陈天奇。过去 15 年，陈天奇把让机器学习模型更轻、更快、更易部署做成了一条清晰的技术主线。从最早的把树模型系统推到极致的XGBoost，到最早的深度学习框架之一 MXNet，再到开创深度学习编译领域的TVM，和今天希望把大模型跑上所有设备的MLC LLM。 陈天奇在机器学习系统这条路上已经走了快 20 年——从陈天奇的视角看这 20 年的激荡会是什么样的风景？在这期播客，你会听到： 1. 我和陈天奇会把他的每一个开源项目都拆解清楚——他们为什么诞生、如何长成、在哪里拐弯。 2. 也会走进陈天奇的个人经历——年少如何与计算机相遇，高二的时候如何自学写编译器，在交大 ACM 班打下系统功底，在 UW 的科研突破，到最后同时走向创业和教职两条路。 3. 更重要的我们还聊到了陈天奇的底层价值观——长期主义如何落地，如何在不确定性中坚持敢失败的勇气和初心。在科研、创业、教职三条路都获得成功后，陈天奇在筹划着什么样的下一步？ 这里是WhynotTV Podcast——现在，请和我一起进入陈天奇的世界。 2:06 在童年时期对什么事物最感兴趣 8:38 有没有什么十八岁之前的经历对未来产生了深远影响 10:16 温和的性格是童年时期就养成的吗？ 12:08 上海交大ACM班的经历 14:33 本科ACM班教育对人生的影响 18:05 本科第一次接触机器学习科研时的挑战 20:09 手搓CUDA用深度学习尝试ImageNet 23:10 在2010年用GPU做深度学习是共识了吗 24:32 初生牛犊不怕虎做深度学习的经验教训 29:40 如何从失败的科研后反而变得不怕失败 32:16 研究视野的飞跃，20年后对研究视野的反思 39:01 来到UW读PhD的选择 41:08 XGBoost成功的关键原因：极致、社区、专注 46:14 为什么选择树方法？Carlos的严格要求 49:31 站在现在反思XGBoost当年对神经网络和深度学习的判断 53:02 MXNet的前世今生 60:03 MXNet背后的博士生团队协作 64:14 从MXNet的历史学到的经验教训 67:56 科研的风险与收益 71:40 TVM的前世今生——什么是机器学习编译 74:19 为什么做TVM这么有挑战性 77:17 选择做重要的事——做TVM的勇气 81:55 GPU/TPU/NPU的区别 83:05 初生牛犊不怕虎的勇气与初心 86:08 TVM的生态位，2025年面临的挑战与机会 90:26 机器学习系统的历史 95:03 机器学习系统的未来，挑战与机遇 96:13 MLC LLM——将大模型部署到所有设备 97:24 未来大模型的推理的格局分布——云vs端侧 101:11 AI模型的收敛趋同会持续下去吗？对机器学习系统来说意味着什么？ 105:38 因为资源受限，学术界应该去解决什么样的机器学习系统的研究问题？ 110:42 对开源的热情——如何做成功的开源项目？ 114:50 OctoML——创业的动机与故事 116:29 基于开源项目的创业的得失与优劣 119:15 OctoML的商业模式与转型 123:00 创业过程中的收获与教训 123:58考虑过当CEO吗？当技术领袖的所需要的自我革新 126:18 创业被NVIDIA收购是符合预期的退出方式吗？ 128:19 技术创业必须的自我革新 130:23 为什么决定要当教授？ 130:54 一线经验的重要性——为什么当教授了还要写那么多代码？ 135:03 如何做到高效的时间分配与产出？ 136:28 这个时代的快节奏的机器学习系统研究——我们还能慢下来吗？ 138:31 如何面对AI研究的新挑战？ 139:52 现在陈天奇作为教授的风格是什么样的——如何指导学生？ 141:06 工业界工作vs学术界PhD 142:19 实事求是问题导向的研究风格 143:22 对长期主义的感悟 146:12 面临人生选择的智慧 148:41 未来的陈天奇还想做什么——失败与初心 152:58 AGI需要什么样的机器学习系统 154:23 未来AI的格局会是巨头统治还是百花齐放 155:03 会对20年前10年前的陈天奇说什么？ 155:52 对成功和幸福有什么新的感悟 157:51 会看这二十年的旅途——你最后想说些什么？

当我问陈天奇，你会对十年前二十年前的陈天奇说些什么时，他沉默了近20秒说—— “可能要反过来，我需要过去的我对现在的我，现在的我对未来的我说，记住自己对自己的承诺，坚持自己的理想，往下走下去” 那一刻我被真正感动了——因为我真正看到一个真正的理想主义者，过去二十年机器学习的历史， XGBoost、MXNet、TVM、MLC都是不可磨灭的精彩印迹，而在这几个项目名背后，有一个共同的名字，他就是本期播客嘉宾陈天奇。过去 15 年，陈天奇把让机器学习模型更轻、更快、更易部署做成了一条清晰的技术主线。从最早的把树模型系统推到极致的XGBoost，到最早的深度学习框架之一 MXNet，再到开创深度学习编译领域的TVM，和今天希望把大模型跑上所有设备的MLC LLM。 陈天奇在机器学习系统这条路上已经走了快 20 年——从陈天奇的视角看这 20 年的激荡会是什么样的风景？在这期播客，你会听到： 1. 我和陈天奇会把他的每一个开源项目都拆解清楚——他们为什么诞生、如何长成、在哪里拐弯。 2. 也会走进陈天奇的个人经历——年少如何与计算机相遇，高二的时候如何自学写编译器，在交大 ACM 班打下系统功底，在 UW 的科研突破，到最后同时走向创业和教职两条路。 3. 更重要的我们还聊到了陈天奇的底层价值观——长期主义如何落地，如何在不确定性中坚持敢失败的勇气和初心。在科研、创业、教职三条路都获得成功后，陈天奇在筹划着什么样的下一步？ 这里是WhynotTV Podcast——现在，请和我一起进入陈天奇的世界。 2:06 在童年时期对什么事物最感兴趣 8:38 有没有什么十八岁之前的经历对未来产生了深远影响 10:16 温和的性格是童年时期就养成的吗？ 12:08 上海交大ACM班的经历 14:33 本科ACM班教育对人生的影响 18:05 本科第一次接触机器学习科研时的挑战 20:09 手搓CUDA用深度学习尝试ImageNet 23:10 在2010年用GPU做深度学习是共识了吗 24:32 初生牛犊不怕虎做深度学习的经验教训 29:40 如何从失败的科研后反而变得不怕失败 32:16 研究视野的飞跃，20年后对研究视野的反思 39:01 来到UW读PhD的选择 41:08 XGBoost成功的关键原因：极致、社区、专注 46:14 为什么选择树方法？Carlos的严格要求 49:31 站在现在反思XGBoost当年对神经网络和深度学习的判断 53:02 MXNet的前世今生 60:03 MXNet背后的博士生团队协作 64:14 从MXNet的历史学到的经验教训 67:56 科研的风险与收益 71:40 TVM的前世今生——什么是机器学习编译 74:19 为什么做TVM这么有挑战性 77:17 选择做重要的事——做TVM的勇气 81:55 GPU/TPU/NPU的区别 83:05 初生牛犊不怕虎的勇气与初心 86:08 TVM的生态位，2025年面临的挑战与机会 90:26 机器学习系统的历史 95:03 机器学习系统的未来，挑战与机遇 96:13 MLC LLM——将大模型部署到所有设备 97:24 未来大模型的推理的格局分布——云vs端侧 101:11 AI模型的收敛趋同会持续下去吗？对机器学习系统来说意味着什么？ 105:38 因为资源受限，学术界应该去解决什么样的机器学习系统的研究问题？ 110:42 对开源的热情——如何做成功的开源项目？ 114:50 OctoML——创业的动机与故事 116:29 基于开源项目的创业的得失与优劣 119:15 OctoML的商业模式与转型 123:00 创业过程中的收获与教训 123:58考虑过当CEO吗？当技术领袖的所需要的自我革新 126:18 创业被NVIDIA收购是符合预期的退出方式吗？ 128:19 技术创业必须的自我革新 130:23 为什么决定要当教授？ 130:54 一线经验的重要性——为什么当教授了还要写那么多代码？ 135:03 如何做到高效的时间分配与产出？ 136:28 这个时代的快节奏的机器学习系统研究——我们还能慢下来吗？ 138:31 如何面对AI研究的新挑战？ 139:52 现在陈天奇作为教授的风格是什么样的——如何指导学生？ 141:06 工业界工作vs学术界PhD 142:19 实事求是问题导向的研究风格 143:22 对长期主义的感悟 146:12 面临人生选择的智慧 148:41 未来的陈天奇还想做什么——失败与初心 152:58 AGI需要什么样的机器学习系统 154:23 未来AI的格局会是巨头统治还是百花齐放 155:03 会对20年前10年前的陈天奇说什么？ 155:52 对成功和幸福有什么新的感悟 157:51 会看这二十年的旅途——你最后想说些什么？