001. 和 SGLang RL Lead 赵晨阳聊聊 AI Infra 和开源社区
这是 AI 实话实说的第一期节目,我们请到了赵晨阳。 晨阳本科毕业于清华大学,目前是 UCLA PhD on leave。他从 2024 年 7 月份开始参与主流 LLM 推理引擎 SGLang 的开发,是 SGLang 的核心贡献者和 RL lead,现在也和 SGLang 的许多开发者一起在 RadixArk AI 创业,继续做开源 AI Infra,开发开源 RL 框架 Miles。 嘉宾主页: zhaochenyang20.github.io/Chayenne 嘉宾小红书:我,吉他,猫,LLM。 欢迎关注节目同名小红书 AI 实话实说 加入群组参与互动,关注同名微信公众号获取文字内容。 跳转精彩内容 00:01:34 嘉宾自我介绍 00:02:20 为什么从做算法变成做 Infra? 00:10:00 做 infra 是为了最大化 impact? 00:12:30 存在 bug 的 infra 能做出可靠的算法研究吗? 00:14:45 某 Frontier Lab 的 MOE 模型训不出来背后的原因竟然是? 00:18:44 为什么要做 RL 的训推一致? 00:21:35 假设 infra 是完美的,算法研究会发生什么? 00:27:23 RL 的下一步是 Serverless RL?RadixArk 要做 OpenTinker? 00:33:08 为什么 OpenRLHF 的设计理念很先进? 00:35:44 SGLang 的产品经理要做什么? 00:39:42 如何平衡来自不同贡献者的开源贡献? 00:43:56 vibe coding 对开源社区的影响?你如何用 vibe coding? 00:49:11 如何避免垃圾代码毁掉开源项目? 00:52:31 开源项目和企业的关系? 00:53:47 SGLang 贡献者为什么要加入 RadixArk AI? 00:56:26 为什么你觉得 AI 学术圈完蛋了? 00:59:51 RadixArk 做什么?怎么赚钱? 01:02:02 RadxArk 如何平衡开源和商业? 01:08:13 如何加入 RadixArk? 01:11:40 Infra Engineer 会被 AI 代替吗? 01:14:39 RadixArk 的 RL 框架 Miles 好在哪? 01:20:03 谈谈博士生 on leave 01:28:28 谈谈 AGI 01:30:18 为什么你用 gemini 以及看好谷歌? 01:37:31 AI 会让我们失业吗?怎么办? 本期提到的论文: Zhao et al., SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning, COLM 2024 Viswanathan et al., Prompt2Model: Generating Deployable Models from Natural Language Instructions, EMNLP Demo 2023. 本期提到的开源项目: sgl-project/sglang THUDM/slime radixark/miles OpenRLHF/OpenRLHF NovaSky-AI/SkyRL InternLM/XTuner ByteDance-Seed/VeOmni 本期提到的人物: slime 的代码神:github.com/zhuzilin SGLang 的代码神:lmzheng.net kivi-yao.github.io
这是 AI 实话实说的第一期节目,我们请到了赵晨阳。 晨阳本科毕业于清华大学,目前是 UCLA PhD on leave。他从 2024 年 7 月份开始参与主流 LLM 推理引擎 SGLang 的开发,是 SGLang 的核心贡献者和 RL lead,现在也和 SGLang 的许多开发者一起在 RadixArk AI 创业,继续做开源 AI Infra,开发开源 RL 框架 Miles。 嘉宾主页: zhaochenyang20.github.io/Chayenne 嘉宾小红书:我,吉他,猫,LLM。 欢迎关注节目同名小红书 AI 实话实说 加入群组参与互动,关注同名微信公众号获取文字内容。 跳转精彩内容 00:01:34 嘉宾自我介绍 00:02:20 为什么从做算法变成做 Infra? 00:10:00 做 infra 是为了最大化 impact? 00:12:30 存在 bug 的 infra 能做出可靠的算法研究吗? 00:14:45 某 Frontier Lab 的 MOE 模型训不出来背后的原因竟然是? 00:18:44 为什么要做 RL 的训推一致? 00:21:35 假设 infra 是完美的,算法研究会发生什么? 00:27:23 RL 的下一步是 Serverless RL?RadixArk 要做 OpenTinker? 00:33:08 为什么 OpenRLHF 的设计理念很先进? 00:35:44 SGLang 的产品经理要做什么? 00:39:42 如何平衡来自不同贡献者的开源贡献? 00:43:56 vibe coding 对开源社区的影响?你如何用 vibe coding? 00:49:11 如何避免垃圾代码毁掉开源项目? 00:52:31 开源项目和企业的关系? 00:53:47 SGLang 贡献者为什么要加入 RadixArk AI? 00:56:26 为什么你觉得 AI 学术圈完蛋了? 00:59:51 RadixArk 做什么?怎么赚钱? 01:02:02 RadxArk 如何平衡开源和商业? 01:08:13 如何加入 RadixArk? 01:11:40 Infra Engineer 会被 AI 代替吗? 01:14:39 RadixArk 的 RL 框架 Miles 好在哪? 01:20:03 谈谈博士生 on leave 01:28:28 谈谈 AGI 01:30:18 为什么你用 gemini 以及看好谷歌? 01:37:31 AI 会让我们失业吗?怎么办? 本期提到的论文: Zhao et al., SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning, COLM 2024 Viswanathan et al., Prompt2Model: Generating Deployable Models from Natural Language Instructions, EMNLP Demo 2023. 本期提到的开源项目: sgl-project/sglang THUDM/slime radixark/miles OpenRLHF/OpenRLHF NovaSky-AI/SkyRL InternLM/XTuner ByteDance-Seed/VeOmni 本期提到的人物: slime 的代码神:github.com/zhuzilin SGLang 的代码神:lmzheng.net kivi-yao.github.io


