播客无国界 Audio Download

在AI时代，如何为充满“不确定性”的对话式产品设计体验？当用户输入千奇百怪，传统的PRD（产品需求文档）和静态Figma原型已难以胜任。产品经理（PM）如何定义“好”的体验，并确保工程师和设计师准确领会？ 本期节目，我们深度拆解Yelp AI产品经理Priya Matthew Badger的革命性工作流——“从黄金对话反向推导”。她将展示PM如何不再从撰写PRD开始，而是先用AI（Claude）“角色扮演”和批量生成理想的用户对话（Golden Conversations），并以此为起点，反向推导出系统提示和可交互原型。 您将了解到： * 为什么“黄金对话”是比PRD更好的起点？ 在AI产品开发中，“对话”即是产品本身。我们将展示如何将这个最接近用户体验的“产物”作为开发的第一步。 * 如何“用AI设计AI”？ 见证一个关键的“How”：使用Claude Artifacts功能，将“黄金对话”案例自动生成为一个功能完备的可交互原型，以及最重要的——“系统提示”（System Prompt）。 * 原型即评估（Evals）： 如何在原型设计的第一步就开始建立AI的评估标准（Rubric），告别无法量化的“感觉”。 * 压缩创意周期： 如何使用Magic Patterns的“灵感模式”，用一个提示词在几分钟内生成4种不同的UI方案，将过去数周的设计探索极大压缩。 这不仅是一套Yelp的内部AI PM方法论，更是一次关于AI时代产品开发“由内而外”的全新范式革命。 时点内容 | Key Topics * AI PM的核心挑战： AI产品管理与传统产品管理有何不同？（提示：界面的重要性依然存在，但“幕后”的系统提示和结果的“不确定性”是全新挑战）。 * Yelp的“AI赋能手册”： 揭秘Yelp AI团队的核心方法论——“黄金对话”（Golden Conversations）。 * 工作流第一步：用AI角色扮演“黄金对话” PM不再从PRD开始，而是将AI（Claude）作为“写作伙伴”，生成用户与AI助手的理想对话脚本。 案例：为Yelp助手添加“照片上传”功能（例如用户上传一个破裂的台阶、烤箱报错代码、或黄蜂巢的照片）。 通过批量生成不同场景的对话，PM可以快速发现趋势、潜在问题和AI的“认知”边界。 * 工作流第二步：从“对话”反向生成“系统提示” 利用Claude的“Artifacts”功能，将提炼后的“黄金对话”一键转换为一个可交互的Web原型。 关键洞察： Claude会分析这些对话案例，并自动为这个原型生成一个高质量的“系统提示”（System Prompt）。 PM可以在这个“活”的原型中亲身体验产品的交互延迟、对话长度和流程感，这是静态文档无法做到的。 * 工作流第三步：用AI探索UI/UX 转向Magic Patterns等AI原型工具，用于探索视觉界面（UI）和用户流程（User Flows）。 PM可以使用自然语言提示词（如“添加一个‘从照片开始’的按钮”）来实时修改设计。 * AI PM的“杀手锏”：灵感模式（Inspiration Mode） 面对一个功能点，PM不再需要设计师提供多种方案，而是可以请求AI“一键生成4种不同的、差异化的设计选项”。 这极大地压缩了“创意发散”阶段的时间，让团队可以更快地从探索转向决策。 * “非线性”的产品开发： AI工具使PM可以“从结尾开始，回到开头，再跳到中间”，这种非线性的工作流是AI时代产品管理的新常态。 * PM的个人AI用例： 使用Claude项目功能，将Slack频道的聊天记录一键生成为“社群周报”。 为自己构建个人AI应用，如“育儿助手”（Parent Pal）或“卡坦岛计时器”。 相关链接与资源： [视频来源]www.youtube.com 本播客采用虚拟主持人进行播客翻译的音频制作，因此有可能会有一些地方听起来比较奇怪。如想了解更多信息，请关注微信公众号“心流赫兹”获取AI最新资讯。

在AI时代，如何为充满“不确定性”的对话式产品设计体验？当用户输入千奇百怪，传统的PRD（产品需求文档）和静态Figma原型已难以胜任。产品经理（PM）如何定义“好”的体验，并确保工程师和设计师准确领会？ 本期节目，我们深度拆解Yelp AI产品经理Priya Matthew Badger的革命性工作流——“从黄金对话反向推导”。她将展示PM如何不再从撰写PRD开始，而是先用AI（Claude）“角色扮演”和批量生成理想的用户对话（Golden Conversations），并以此为起点，反向推导出系统提示和可交互原型。 您将了解到： * 为什么“黄金对话”是比PRD更好的起点？ 在AI产品开发中，“对话”即是产品本身。我们将展示如何将这个最接近用户体验的“产物”作为开发的第一步。 * 如何“用AI设计AI”？ 见证一个关键的“How”：使用Claude Artifacts功能，将“黄金对话”案例自动生成为一个功能完备的可交互原型，以及最重要的——“系统提示”（System Prompt）。 * 原型即评估（Evals）： 如何在原型设计的第一步就开始建立AI的评估标准（Rubric），告别无法量化的“感觉”。 * 压缩创意周期： 如何使用Magic Patterns的“灵感模式”，用一个提示词在几分钟内生成4种不同的UI方案，将过去数周的设计探索极大压缩。 这不仅是一套Yelp的内部AI PM方法论，更是一次关于AI时代产品开发“由内而外”的全新范式革命。 时点内容 | Key Topics * AI PM的核心挑战： AI产品管理与传统产品管理有何不同？（提示：界面的重要性依然存在，但“幕后”的系统提示和结果的“不确定性”是全新挑战）。 * Yelp的“AI赋能手册”： 揭秘Yelp AI团队的核心方法论——“黄金对话”（Golden Conversations）。 * 工作流第一步：用AI角色扮演“黄金对话” PM不再从PRD开始，而是将AI（Claude）作为“写作伙伴”，生成用户与AI助手的理想对话脚本。 案例：为Yelp助手添加“照片上传”功能（例如用户上传一个破裂的台阶、烤箱报错代码、或黄蜂巢的照片）。 通过批量生成不同场景的对话，PM可以快速发现趋势、潜在问题和AI的“认知”边界。 * 工作流第二步：从“对话”反向生成“系统提示” 利用Claude的“Artifacts”功能，将提炼后的“黄金对话”一键转换为一个可交互的Web原型。 关键洞察： Claude会分析这些对话案例，并自动为这个原型生成一个高质量的“系统提示”（System Prompt）。 PM可以在这个“活”的原型中亲身体验产品的交互延迟、对话长度和流程感，这是静态文档无法做到的。 * 工作流第三步：用AI探索UI/UX 转向Magic Patterns等AI原型工具，用于探索视觉界面（UI）和用户流程（User Flows）。 PM可以使用自然语言提示词（如“添加一个‘从照片开始’的按钮”）来实时修改设计。 * AI PM的“杀手锏”：灵感模式（Inspiration Mode） 面对一个功能点，PM不再需要设计师提供多种方案，而是可以请求AI“一键生成4种不同的、差异化的设计选项”。 这极大地压缩了“创意发散”阶段的时间，让团队可以更快地从探索转向决策。 * “非线性”的产品开发： AI工具使PM可以“从结尾开始，回到开头，再跳到中间”，这种非线性的工作流是AI时代产品管理的新常态。 * PM的个人AI用例： 使用Claude项目功能，将Slack频道的聊天记录一键生成为“社群周报”。 为自己构建个人AI应用，如“育儿助手”（Parent Pal）或“卡坦岛计时器”。 相关链接与资源： [视频来源]www.youtube.com 本播客采用虚拟主持人进行播客翻译的音频制作，因此有可能会有一些地方听起来比较奇怪。如想了解更多信息，请关注微信公众号“心流赫兹”获取AI最新资讯。

在“智能体”（Agentic AI）时代，为什么你精心设计的AI助手，还是会预订错国家（比如把法国巴黎订到肯塔基州的巴黎）？为什么它会无视预算，为你订下每晚900欧元的丽兹酒店？我们都沉迷于优化“提示工程”（Prompt Engineering），但这可能正是问题的症结所在。 本期节目，我们将深入探讨一个颠覆性的概念：“上下文工程”（Context Engineering）。来自IBM Technology的专家将揭示，提示工程（PE）仅仅是“提出好问题”，而上下文工程（CE）才是构建“高能系统”的关键。我们将彻底拆解为什么Agentic AI的成败，不只在于那几句提示词，而在于一个庞大、动态、程序化的“上下文”供给系统。 您将了解到： * “提示”的局限性： 为什么说“提示工程”只是冰山一角？它与“上下文工程”的根本区别是什么？ * 智能体为何犯傻： 通过“Agent Graham”旅行预订的灾难性失败案例，看懂缺乏“上下文”的AI有多么不可靠。 * 系统级解药： 什么是“上下文工程”？它如何作为一门系统级学科，为AI智能体提供完成任务所需的一切。 * 四大核心组件： 揭秘构建强大上下文系统的四大支柱： 记忆管理（Memory）： 如何通过短期（对话摘要）和长期（向量数据库）记忆，让智能体“记住”你。 状态管理（State）： 在复杂的多步骤任务（如订机票+酒店）中，AI如何确保自己“不掉线”。 RAG（检索增强生成）： 如何让RAG不再是“文档投喂”，而是能动态检索公司差旅政策的“精确制导”。 工具（Tools）： 智能体如何调用API、查询数据库或执行代码，真正“动手”解决问题。 * 最终蓝图： 一个先进的AI提示，可能是由“80%的动态上下文”和“20%的静态指令”组成的。 这不仅是一份关于AI工程实践的技术指南，更是一次对Agentic AI未来架构的深度预判。如果您想知道为什么“提示工程”会过时，以及“上下文工程”如何定义下一代AI应用的成败，本期节目将为您提供答案。 时点内容 | Key Topics * 定义：提示工程 (Prompt Engineering) 它是一种“技艺”（Craft），专注于设计LLM的输入文本，包括指令、示例和格式提示，以引导模型的行为和输出。 * 定义：上下文工程 (Context Engineering) 它是一门更广泛的“系统级学科”（System-level discipline），专注于在推理时，以“程序化”方式组装模型所能看到的一切信息。 这不仅包括提示词，还包括：检索到的文档（RAG）、AI的记忆（Memory）以及可调用的工具（Tools）。 * 核心失败案例：Agent Graham的两次错误 地点混淆： 用户要求预订“巴黎”的酒店，AI却订了“肯塔基州的巴黎”。这是一个上下文工程的失败，因为它没有被赋予“工具”去检查用户的日历或会议地点。 预算超标： AI预订了900欧元的丽兹酒店。这同样是CE的失败，因为它没有被赋予“上下文”（如公司差旅政策的JSON文件）来约束其行为。 * 提示工程的核心技术 角色分配（Role Assignment）： 如“你是一个高级Python开发者”，能显著改变输出的专业度和视角。 少样本示例（Few-shot Examples）： “Show, don't just tell”，提供输入输出范例，让模型理解精确的格式要求（如JSON）。 思维链（Chain of Thought, CoT）： 强制模型“让我们一步一步思考”，以防止其在复杂推理中跳跃到错误结论。 约束设置（Constraint Setting）： 明确定义边界，如“回答限制在100字内”，防止模型“跑题”。 * 上下文工程的四大核心组件 (构建Agentic AI) 记忆管理（Memory Management）： 短期记忆：通过摘要（Summarizing）长对话，确保AI在上下文窗口限制内“不忘事”。 长期记忆：使用向量数据库检索用户偏好、历史行程等模式。 状态管理（State Management）： 追踪多步骤任务的进展。例如，在预订完整行程时，AI需要知道“航班是否预订成功？”“到达时间是什么？”以确保任务上下文不丢失。 RAG（检索增强生成）： 连接智能体与动态知识源。 CE中的RAG不是返回整个文档（如差旅政策），而是通过混合搜索（语义+关键词），只提取与当前任务“上下文相关”的部分（如相关条款和例外情况）。 工具（Tools）调用： 弥合LLM与现实世界的差距，使其能查询SQL数据库、获取实时定价API或执行代码。 CE负责定义工具接口和描述，引导LLM正确使用它们。 * 最终结论：PE vs. CE 上下文工程（CE）包含了提示工程（PE）。在运行时，最终的提示可能由80%的动态内容（来自状态、记忆、RAG）和20%的静态指令（PE）组成。 “提示工程给你更好的问题；上下文工程给你更好的系统。” 相关链接与资源： [视频来源]www.youtube.com 本播客采用虚拟主持人进行播客翻译的音频制作，因此有可能会有一些地方听起来比较奇怪。如想了解更多信息，请关注微信公众号“心流赫兹”获取AI最新资讯。

在“智能体”（Agentic AI）时代，为什么你精心设计的AI助手，还是会预订错国家（比如把法国巴黎订到肯塔基州的巴黎）？为什么它会无视预算，为你订下每晚900欧元的丽兹酒店？我们都沉迷于优化“提示工程”（Prompt Engineering），但这可能正是问题的症结所在。 本期节目，我们将深入探讨一个颠覆性的概念：“上下文工程”（Context Engineering）。来自IBM Technology的专家将揭示，提示工程（PE）仅仅是“提出好问题”，而上下文工程（CE）才是构建“高能系统”的关键。我们将彻底拆解为什么Agentic AI的成败，不只在于那几句提示词，而在于一个庞大、动态、程序化的“上下文”供给系统。 您将了解到： * “提示”的局限性： 为什么说“提示工程”只是冰山一角？它与“上下文工程”的根本区别是什么？ * 智能体为何犯傻： 通过“Agent Graham”旅行预订的灾难性失败案例，看懂缺乏“上下文”的AI有多么不可靠。 * 系统级解药： 什么是“上下文工程”？它如何作为一门系统级学科，为AI智能体提供完成任务所需的一切。 * 四大核心组件： 揭秘构建强大上下文系统的四大支柱： 记忆管理（Memory）： 如何通过短期（对话摘要）和长期（向量数据库）记忆，让智能体“记住”你。 状态管理（State）： 在复杂的多步骤任务（如订机票+酒店）中，AI如何确保自己“不掉线”。 RAG（检索增强生成）： 如何让RAG不再是“文档投喂”，而是能动态检索公司差旅政策的“精确制导”。 工具（Tools）： 智能体如何调用API、查询数据库或执行代码，真正“动手”解决问题。 * 最终蓝图： 一个先进的AI提示，可能是由“80%的动态上下文”和“20%的静态指令”组成的。 这不仅是一份关于AI工程实践的技术指南，更是一次对Agentic AI未来架构的深度预判。如果您想知道为什么“提示工程”会过时，以及“上下文工程”如何定义下一代AI应用的成败，本期节目将为您提供答案。 时点内容 | Key Topics * 定义：提示工程 (Prompt Engineering) 它是一种“技艺”（Craft），专注于设计LLM的输入文本，包括指令、示例和格式提示，以引导模型的行为和输出。 * 定义：上下文工程 (Context Engineering) 它是一门更广泛的“系统级学科”（System-level discipline），专注于在推理时，以“程序化”方式组装模型所能看到的一切信息。 这不仅包括提示词，还包括：检索到的文档（RAG）、AI的记忆（Memory）以及可调用的工具（Tools）。 * 核心失败案例：Agent Graham的两次错误 地点混淆： 用户要求预订“巴黎”的酒店，AI却订了“肯塔基州的巴黎”。这是一个上下文工程的失败，因为它没有被赋予“工具”去检查用户的日历或会议地点。 预算超标： AI预订了900欧元的丽兹酒店。这同样是CE的失败，因为它没有被赋予“上下文”（如公司差旅政策的JSON文件）来约束其行为。 * 提示工程的核心技术 角色分配（Role Assignment）： 如“你是一个高级Python开发者”，能显著改变输出的专业度和视角。 少样本示例（Few-shot Examples）： “Show, don't just tell”，提供输入输出范例，让模型理解精确的格式要求（如JSON）。 思维链（Chain of Thought, CoT）： 强制模型“让我们一步一步思考”，以防止其在复杂推理中跳跃到错误结论。 约束设置（Constraint Setting）： 明确定义边界，如“回答限制在100字内”，防止模型“跑题”。 * 上下文工程的四大核心组件 (构建Agentic AI) 记忆管理（Memory Management）： 短期记忆：通过摘要（Summarizing）长对话，确保AI在上下文窗口限制内“不忘事”。 长期记忆：使用向量数据库检索用户偏好、历史行程等模式。 状态管理（State Management）： 追踪多步骤任务的进展。例如，在预订完整行程时，AI需要知道“航班是否预订成功？”“到达时间是什么？”以确保任务上下文不丢失。 RAG（检索增强生成）： 连接智能体与动态知识源。 CE中的RAG不是返回整个文档（如差旅政策），而是通过混合搜索（语义+关键词），只提取与当前任务“上下文相关”的部分（如相关条款和例外情况）。 工具（Tools）调用： 弥合LLM与现实世界的差距，使其能查询SQL数据库、获取实时定价API或执行代码。 CE负责定义工具接口和描述，引导LLM正确使用它们。 * 最终结论：PE vs. CE 上下文工程（CE）包含了提示工程（PE）。在运行时，最终的提示可能由80%的动态内容（来自状态、记忆、RAG）和20%的静态指令（PE）组成。 “提示工程给你更好的问题；上下文工程给你更好的系统。” 相关链接与资源： [视频来源]www.youtube.com 本播客采用虚拟主持人进行播客翻译的音频制作，因此有可能会有一些地方听起来比较奇怪。如想了解更多信息，请关注微信公众号“心流赫兹”获取AI最新资讯。

我们都对Sora和GPT的惊艳演示感到兴奋，但在实际构建AI产品时，却常常陷入“幻觉”、“逻辑错误”和“回答不可靠”的泥沼。为什么AI巨头们（那些卖给你LLM的人）自己都在公开警告“必须做评估”？当AI连“45分钟是否小于60分钟”这样的简单数学都会搞错时，我们如何才能交付一个真正可用的产品？ 本期节目深入AI产品的“幕后厨房”，我们将跟随Arise的产品负责人Aman Khan，用50分钟走完一遍从0到1的AI评估（Evals）实战流程。这不仅是技术指南，更揭示了AI时代PM的核心价值转变：告别高谈阔论，回归电子表格，在“混乱”的迭代中寻找确定性。您将了解到： * “Evals”的真相： 为什么说“评估”是AI产品经理最重要的新技能，是连接Demo与Production的唯一桥梁？ * 四种核心评估类型： 从简单的“代码评估”、“人工评估”，到规模化的“LLM作裁判”，再到最终的“用户评估”，它们各自解决了什么问题？ * “黄金数据集”工作流： 如何使用一个简单的电子表格，为你的AI智能体定义“好”与“坏”的评估标准（Rubric），并启动最初的迭代飞轮？ * 高级战术“元评估”： 当你的“LLM裁判”开始“放水”（比如给所有回答都打高分）时，你该如何用“人工标签”反过来评估你的评估者？ * AI-PM的真实循环： 如何利用评估笔记反向优化你的Prompt，以及为什么这个“混乱”且“枯燥”的迭代循环，才是AI-PM真正的护城河。 这集内容是为每一个不想只停留在“AI玩具”阶段，希望构建严肃、可靠AI产品的产品经理、工程师和创始人准备的实战指南。 时点内容 | Key Topics * AI的“皇帝新衣”：为什么AI巨头的CPO们（卖给你模型的人）反而都在警告你“必须做Evals”？ * LLM的根本缺陷：大模型会产生幻觉，甚至连简单的数学（如“45分钟是否小于60分钟”）都会搞错，这是构建可靠产品的最大障碍。 * 评估（Evals）的四种核心类型： Code-based Evals（代码评估）：检查特定字符串，如航司机器人不应推荐竞品。 Human Evals（人工评估）：产品经理和领域专家必须亲自“下场”做判断，这是无法外包的“脏活”。 LLM as a judge（LLM作裁判）：使用一个LLM去评估另一个LLM的输出，这是规模化的关键。 User Evals（用户评估）：来自真实世界的最终商业指标，如用户“点踩”。 * AI-PM的“电子表格工作流”： 从零开始，在电子表格中建立你的“黄金数据集”（Golden Data Set）。 定义评估标准（Rubric）：如何为你的AI智能体定义“好”与“坏”？（例如：产品知识、规则遵循性、语气）。 人工标注的价值：为什么PM必须亲自动手，在电子表格里和团队“辩论”标签，这是产品判断力的核心。 * 实战案例：用Anthropic工具构建客服Bot： 现场演示：使用Anthropic的Workbench工具从零开始为“On Running”跑鞋构建一个客服Prompt。 迭代循环：发现初始回答（如退货政策）中的问题，并将其记录回电子表格。 * 高级战术：“LLM作裁判”及其陷阱： 如何使用Arise等工具将你的电子表格评估标准“Prompt化”，让LLM自动打分。 “裁判”的翻车：为什么“LLM作裁判”经常失败（例如，它给所有答案都打了“好”分）。 元评估：核心洞察——你必须用“人工标签”去评估“LLM裁判”的准确性（Match Rate），以校准你的自动化系统。 * Evals驱动的产品开发： 从10个样本开始，快速迭代你的Prompt。 在有100个样本对齐“人工-LLM裁判”共识后，再考虑上线A/B测试。 * 警惕“虚荣指标”：为什么用户的“点踩”（Thumbs Down）可能是一个误导性信号？如何区分用户是对“政策”不满还是对“AI回答”不满？ * 最终结论：AI产品的世界没有“银弹”。AI-PM的真正价值，在于投身于“评估-迭代”这个“混乱”且“枯燥”的循环中，这才是构建可用AI的唯一路径。 相关链接与资源： [视频来源]www.youtube.com 本播客采用虚拟主持人进行播客翻译的音频制作，因此有可能会有一些地方听起来比较奇怪。如想了解更多信息，请关注微信公众号“心流赫兹”获取AI最新资讯。

我们都对Sora和GPT的惊艳演示感到兴奋，但在实际构建AI产品时，却常常陷入“幻觉”、“逻辑错误”和“回答不可靠”的泥沼。为什么AI巨头们（那些卖给你LLM的人）自己都在公开警告“必须做评估”？当AI连“45分钟是否小于60分钟”这样的简单数学都会搞错时，我们如何才能交付一个真正可用的产品？ 本期节目深入AI产品的“幕后厨房”，我们将跟随Arise的产品负责人Aman Khan，用50分钟走完一遍从0到1的AI评估（Evals）实战流程。这不仅是技术指南，更揭示了AI时代PM的核心价值转变：告别高谈阔论，回归电子表格，在“混乱”的迭代中寻找确定性。您将了解到： * “Evals”的真相： 为什么说“评估”是AI产品经理最重要的新技能，是连接Demo与Production的唯一桥梁？ * 四种核心评估类型： 从简单的“代码评估”、“人工评估”，到规模化的“LLM作裁判”，再到最终的“用户评估”，它们各自解决了什么问题？ * “黄金数据集”工作流： 如何使用一个简单的电子表格，为你的AI智能体定义“好”与“坏”的评估标准（Rubric），并启动最初的迭代飞轮？ * 高级战术“元评估”： 当你的“LLM裁判”开始“放水”（比如给所有回答都打高分）时，你该如何用“人工标签”反过来评估你的评估者？ * AI-PM的真实循环： 如何利用评估笔记反向优化你的Prompt，以及为什么这个“混乱”且“枯燥”的迭代循环，才是AI-PM真正的护城河。 这集内容是为每一个不想只停留在“AI玩具”阶段，希望构建严肃、可靠AI产品的产品经理、工程师和创始人准备的实战指南。 时点内容 | Key Topics * AI的“皇帝新衣”：为什么AI巨头的CPO们（卖给你模型的人）反而都在警告你“必须做Evals”？ * LLM的根本缺陷：大模型会产生幻觉，甚至连简单的数学（如“45分钟是否小于60分钟”）都会搞错，这是构建可靠产品的最大障碍。 * 评估（Evals）的四种核心类型： Code-based Evals（代码评估）：检查特定字符串，如航司机器人不应推荐竞品。 Human Evals（人工评估）：产品经理和领域专家必须亲自“下场”做判断，这是无法外包的“脏活”。 LLM as a judge（LLM作裁判）：使用一个LLM去评估另一个LLM的输出，这是规模化的关键。 User Evals（用户评估）：来自真实世界的最终商业指标，如用户“点踩”。 * AI-PM的“电子表格工作流”： 从零开始，在电子表格中建立你的“黄金数据集”（Golden Data Set）。 定义评估标准（Rubric）：如何为你的AI智能体定义“好”与“坏”？（例如：产品知识、规则遵循性、语气）。 人工标注的价值：为什么PM必须亲自动手，在电子表格里和团队“辩论”标签，这是产品判断力的核心。 * 实战案例：用Anthropic工具构建客服Bot： 现场演示：使用Anthropic的Workbench工具从零开始为“On Running”跑鞋构建一个客服Prompt。 迭代循环：发现初始回答（如退货政策）中的问题，并将其记录回电子表格。 * 高级战术：“LLM作裁判”及其陷阱： 如何使用Arise等工具将你的电子表格评估标准“Prompt化”，让LLM自动打分。 “裁判”的翻车：为什么“LLM作裁判”经常失败（例如，它给所有答案都打了“好”分）。 元评估：核心洞察——你必须用“人工标签”去评估“LLM裁判”的准确性（Match Rate），以校准你的自动化系统。 * Evals驱动的产品开发： 从10个样本开始，快速迭代你的Prompt。 在有100个样本对齐“人工-LLM裁判”共识后，再考虑上线A/B测试。 * 警惕“虚荣指标”：为什么用户的“点踩”（Thumbs Down）可能是一个误导性信号？如何区分用户是对“政策”不满还是对“AI回答”不满？ * 最终结论：AI产品的世界没有“银弹”。AI-PM的真正价值，在于投身于“评估-迭代”这个“混乱”且“枯燥”的循环中，这才是构建可用AI的唯一路径。 相关链接与资源： [视频来源]www.youtube.com 本播客采用虚拟主持人进行播客翻译的音频制作，因此有可能会有一些地方听起来比较奇怪。如想了解更多信息，请关注微信公众号“心流赫兹”获取AI最新资讯。