001. 和 SGLang RL Lead 赵晨阳聊聊 AI Infra 和开源社区
这是 AI 实话实说的第一期节目，我们请到了赵晨阳。 晨阳本科毕业于清华大学，目前是 UCLA PhD on leave。他从 2024 年 7 月份开始参与主流 LLM 推理引擎 SGLang 的开发，是 SGLang 的核心贡献者和 RL lead，现在也和 SGLang 的许多开发者一起在 RadixArk AI 创业，继续做开源 AI Infra，开发开源 RL 框架 Miles。 嘉宾主页： zhaochenyang20.github.io/Chayenne 嘉宾小红书：我，吉他，猫，LLM。 欢迎关注节目同名小红书 AI 实话实说 加入群组参与互动，关注同名微信公众号获取文字内容。 跳转精彩内容 00:01:34 嘉宾自我介绍 00:02:20 为什么从做算法变成做 Infra？ 00:10:00 做 infra 是为了最大化 impact？ 00:12:30 存在 bug 的 infra 能做出可靠的算法研究吗？ 00:14:45 某 Frontier Lab 的 MOE 模型训不出来背后的原因竟然是？ 00:18:44 为什么要做 RL 的训推一致？ 00:21:35 假设 infra 是完美的，算法研究会发生什么？ 00:27:23 RL 的下一步是 Serverless RL？RadixArk 要做 OpenTinker？ 00:33:08 为什么 OpenRLHF 的设计理念很先进？ 00:35:44 SGLang 的产品经理要做什么？ 00:39:42 如何平衡来自不同贡献者的开源贡献？ 00:43:56 vibe coding 对开源社区的影响？你如何用 vibe coding？ 00:49:11 如何避免垃圾代码毁掉开源项目？ 00:52:31 开源项目和企业的关系？ 00:53:47 SGLang 贡献者为什么要加入 RadixArk AI？ 00:56:26 为什么你觉得 AI 学术圈完蛋了？ 00:59:51 RadixArk 做什么？怎么赚钱？ 01:02:02 RadxArk 如何平衡开源和商业？ 01:08:13 如何加入 RadixArk？ 01:11:40 Infra Engineer 会被 AI 代替吗？ 01:14:39 RadixArk 的 RL 框架 Miles 好在哪？ 01:20:03 谈谈博士生 on leave 01:28:28 谈谈 AGI 01:30:18 为什么你用 gemini 以及看好谷歌？ 01:37:31 AI 会让我们失业吗？怎么办？ 本期提到的论文： Zhao et al., SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning, COLM 2024 Viswanathan et al., Prompt2Model: Generating Deployable Models from Natural Language Instructions, EMNLP Demo 2023. 本期提到的开源项目： sgl-project/sglang THUDM/slime radixark/miles OpenRLHF/OpenRLHF NovaSky-AI/SkyRL InternLM/XTuner ByteDance-Seed/VeOmni 本期提到的人物： slime 的代码神：github.com/zhuzilin SGLang 的代码神：lmzheng.net kivi-yao.github.io
这是 AI 实话实说的第一期节目，我们请到了赵晨阳。 晨阳本科毕业于清华大学，目前是 UCLA PhD on leave。他从 2024 年 7 月份开始参与主流 LLM 推理引擎 SGLang 的开发，是 SGLang 的核心贡献者和 RL lead，现在也和 SGLang 的许多开发者一起在 RadixArk AI 创业，继续做开源 AI Infra，开发开源 RL 框架 Miles。 嘉宾主页： zhaochenyang20.github.io/Chayenne 嘉宾小红书：我，吉他，猫，LLM。 欢迎关注节目同名小红书 AI 实话实说 加入群组参与互动，关注同名微信公众号获取文字内容。 跳转精彩内容 00:01:34 嘉宾自我介绍 00:02:20 为什么从做算法变成做 Infra？ 00:10:00 做 infra 是为了最大化 impact？ 00:12:30 存在 bug 的 infra 能做出可靠的算法研究吗？ 00:14:45 某 Frontier Lab 的 MOE 模型训不出来背后的原因竟然是？ 00:18:44 为什么要做 RL 的训推一致？ 00:21:35 假设 infra 是完美的，算法研究会发生什么？ 00:27:23 RL 的下一步是 Serverless RL？RadixArk 要做 OpenTinker？ 00:33:08 为什么 OpenRLHF 的设计理念很先进？ 00:35:44 SGLang 的产品经理要做什么？ 00:39:42 如何平衡来自不同贡献者的开源贡献？ 00:43:56 vibe coding 对开源社区的影响？你如何用 vibe coding？ 00:49:11 如何避免垃圾代码毁掉开源项目？ 00:52:31 开源项目和企业的关系？ 00:53:47 SGLang 贡献者为什么要加入 RadixArk AI？ 00:56:26 为什么你觉得 AI 学术圈完蛋了？ 00:59:51 RadixArk 做什么？怎么赚钱？ 01:02:02 RadxArk 如何平衡开源和商业？ 01:08:13 如何加入 RadixArk？ 01:11:40 Infra Engineer 会被 AI 代替吗？ 01:14:39 RadixArk 的 RL 框架 Miles 好在哪？ 01:20:03 谈谈博士生 on leave 01:28:28 谈谈 AGI 01:30:18 为什么你用 gemini 以及看好谷歌？ 01:37:31 AI 会让我们失业吗？怎么办？ 本期提到的论文： Zhao et al., SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning, COLM 2024 Viswanathan et al., Prompt2Model: Generating Deployable Models from Natural Language Instructions, EMNLP Demo 2023. 本期提到的开源项目： sgl-project/sglang THUDM/slime radixark/miles OpenRLHF/OpenRLHF NovaSky-AI/SkyRL InternLM/XTuner ByteDance-Seed/VeOmni 本期提到的人物： slime 的代码神：github.com/zhuzilin SGLang 的代码神：lmzheng.net kivi-yao.github.io