1. 项目缘起当生成式智能体遇上产品探索最近几年生成式AI的浪潮席卷了各行各业从写代码到画图再到写营销文案似乎无所不能。但作为一名在产品一线摸爬滚打了十多年的老兵我一直在思考一个更具体、也更“硬核”的问题这些看似聪明的AI真的能理解我们每天面对的真实用户需求吗或者说它们能像一位资深的产品经理或用户研究员那样去主动“发现”那些尚未被满足、甚至用户自己都还没意识到的潜在产品机会吗这个问题的答案直接关系到AI能否从“辅助工具”升级为“共创伙伴”。我们团队最近完成了一项验证性研究题目就叫“基于访谈信息的生成式智能体用于产品发现一项验证研究”。说白了我们想验证一个核心假设如果我们给AI智能体“喂”大量真实的用户访谈数据它能否像人类专家一样从中提炼出有价值的洞察并生成具有创新性的产品概念这不仅仅是技术上的尝试更是对现有产品研发流程的一次深度拷问。传统的产品发现严重依赖产品经理、设计师和用户研究员的人力投入。他们需要花费大量时间进行用户访谈、整理笔记、亲和图分析、提炼痛点、头脑风暴解决方案。这个过程既耗时又充满主观性不同背景的专家可能会从同一份访谈中得出不同的结论。而生成式智能体的出现提供了一种全新的可能性它能否成为一个不知疲倦、且能融合海量先验知识的“超级分析员”帮助我们更高效、更客观地完成从原始数据到产品创意的跨越我们的研究正是围绕这个可能性展开的。我们不再让AI凭空想象而是让它“扎根”于真实的用户声音。关键词“Generative Agents”在这里指的不仅仅是能生成文本的模型更是一种被赋予了特定角色、目标和知识背景的“代理”。我们将它们设定为“产品策略分析师”或“用户体验研究员”然后让它们去处理真实的用户访谈转录稿。而“Product Discovery”这个环节则被我们拆解为几个可量化评估的子任务需求聚类、痛点归纳、机会点识别以及最终的产品概念生成。“Validation Study”意味着我们不是空谈理论而是设计了一套严格的实验用真实世界的标准去衡量这些AI智能体的产出质量看看它们到底行不行以及在哪里会“掉链子”。2. 研究框架搭建如何“教”AI学会产品发现要让AI智能体做好产品发现第一步不是急着跑模型而是搭建一个符合认知逻辑的研究框架。这就像教一个新入职的产品同事你得先告诉他工作流程、评价标准以及哪些是雷区。2.1 智能体的角色与知识库构建我们并没有使用一个“通用”的大模型而是为其构建了特定的角色背景。我们创建了两种类型的生成式智能体领域专家型智能体我们为其注入了大量的产品方法论知识包括但不限于《启示录》中的原则、Jobs-to-be-Done框架、价值主张画布、用户体验地图等。它的“思考”会倾向于从这些经典框架出发。数据驱动型智能体这个智能体的先验知识更偏向于数据分析、统计学和常见的用户反馈分类模式。它更关注访谈文本中的频率、共现关系和情感极性。两者的结合模拟了现实中产品团队里“商业洞察”和“用户同理心”两种视角的碰撞。更重要的是我们为智能体建立了一个动态的“访谈记忆库”。它不仅仅是存储原始文本而是会按照会话、用户ID、话题标签进行索引。智能体在分析时可以像人类一样进行“回溯”比如当看到用户A在会话后期抱怨某个功能时能关联起他在会话开头提到的使用场景。2.2 从原始访谈到结构化洞察的转化管道原始的用户访谈转录稿是高度非结构化的充满了口语化表达、冗余信息和情感色彩。直接把这些“扔”给AI效果往往很差。我们设计了一个多阶段的处理管道第一阶段信息清洗与增强去除噪音过滤掉“嗯”、“啊”、重复性口头禅以及访谈主持人的引导性问题。实体识别与链接识别出用户提到的具体功能、竞品名称、内部团队术语并将其与知识库中的标准术语进行链接。例如用户说“你们那个上传东西的地方”会被标准化为“文件上传模块”。情感与意图标注使用细粒度情感分析模型标注每一段用户陈述背后的情绪挫折、期待、满意、困惑和潜在意图寻求效率、渴望认可、避免错误。第二阶段片段化与语义编码我们将清洗后的文本按照完整的“用户陈述”进行切割。每一个陈述片段连同其情感、意图标签以及关联的实体被转化为一个高维的语义向量。这一步的关键在于要确保语义编码模型是在大量产品、用户体验相关的语料上微调过的这样它才能更好地理解“难用”、“卡顿”、“要是有XX功能就好了”这些产品语境下的真实含义。第三阶段智能体推理与生成这是核心环节。智能体接收到的不是一个庞大的文本文件而是一组组携带丰富元数据的语义向量。我们通过精心设计的提示词Prompt引导智能体进行多步推理聚类分析“请根据语义相似性将这些用户陈述分组并为每个组归纳一个核心主题Theme。”痛点挖掘“针对上述每一个主题分析用户表达出的挫折、不满或未满足的期望用‘用户角色在什么场景下遇到了什么问题导致什么后果’的格式进行总结。”机会点生成“基于上述痛点结合[注入的产品方法论知识]提出潜在的产品改进或创新机会。每个机会点应包含假设的目标用户、待完成的任务Job-to-be-Done、以及预期带来的价值。”概念发散“选取优先级最高的1-2个机会点展开头脑风暴生成具体的产品功能概念或解决方案草图。描述应包括功能名称、核心操作流程、以及为用户解决的关键问题。”这个过程是迭代的。智能体在生成机会点后可能会回溯到原始访谈片段中去寻找支撑或反例模拟人类“大胆假设小心求证”的思维过程。3. 验证实验设计像评估人类一样评估AI光说AI能生成内容不行必须得有一套客观的评估体系。我们的验证研究采用了混合方法既有定量指标也有定性的专家评审力求全面。3.1 评估维度的确立我们定义了四个核心评估维度这与评估一个产品经理的产出质量维度是类似的相关性生成的洞察和概念是否严格源自提供的访谈数据有没有“无中生有”或过度引申新颖性提出的产品概念是显而易见的表面改进还是提供了意想不到但合理的解决视角可行性从技术实现和商业逻辑角度看这个概念是否大致可行是否天马行空到完全不切实际洞察深度是否触及了用户表面陈述之下的深层动机和未被言明的需求比如用户说“想要更快的马”深层需求可能是“更快的交通方式”。3.2 实验设置与对照组我们选取了公司内部过去半年内三个已完成的产品项目的用户访谈数据总计超过120小时转录稿作为实验材料。这些项目的结果是已知的这为我们评估AI的产出提供了“参考答案”。 我们设置了两个对照组人类专家组邀请当时未参与该项目的三位高级产品经理和一位用户研究员在仅阅读相同访谈摘要非全部细节的情况下独立完成痛点归纳和机会点提出。基线模型组使用未经特定角色和知识注入的通用大模型如GPT-4基础版直接给出“请分析以下访谈并给出产品建议”的指令。实验组则是我们搭建的“领域专家型”和“数据驱动型”智能体以及两者协作的模式。3.3 评估流程所有产出的洞察和概念都被匿名化处理打乱顺序后呈现给一个由产品总监、资深设计师和技术负责人组成的七人评审团。评审团不知道哪个产出来自AI哪个来自人类。他们根据上述四个维度进行打分1-5分并需要给出简要的评语。此外我们还进行了一项定量分析计算AI智能体产出的机会点与最终产品项目实际采纳的方向之间的重合度通过文本相似度和概念匹配度来衡量。4. 结果与发现AI的强项与“诡异”的短板实验的结果既令人振奋也发人深省。它清晰地描绘了当前生成式智能体在产品发现领域的应用边界。4.1 令人惊讶的优势领域在相关性和信息覆盖的全面性上AI智能体表现出了压倒性的优势。面对上百小时的访谈稿人类专家受限于时间和认知负荷往往会不自觉地聚焦于那些情绪强烈如愤怒抱怨或反复出现的主题。而AI智能体能够毫无遗漏地处理所有数据它能挖掘出那些只被少数用户提及一次、但可能代表新兴或边缘需求的“微弱信号”。例如在一个企业协作工具的项目中多位人类专家都聚焦于“任务分配混乱”这个核心痛点但AI智能体还识别出了一个被三位用户轻微提及的痛点“无法快速查看某个文件在哪些任务中被引用”这个点后来被证实是知识型团队的一个关键需求。在概念发散的数量和多样性上AI同样优势明显。给定一个痛点人类专家受限于经验容易陷入思维定式。而AI智能体能够结合其庞大的知识库从不同领域进行类比提出大量天马行空的概念。虽然其中很多不切实际但总能出现几个让评审团眼前一亮的“怪点子”。例如针对“会议纪要整理费时”的痛点人类提出的方案多是“更智能的语音转写”或“模板优化”而AI则提出了“自动生成会议争议点图谱”和“基于讨论内容实时推荐相关历史文档”的概念。4.2 当前难以逾越的短板然而AI在洞察深度和可行性判断上的短板同样明显甚至有些“诡异”。首先AI难以进行真正的“因果推断”和“动机溯源”。它擅长关联和描述但很难回答“为什么”。比如用户说“我不喜欢用这个报表功能”。AI能准确地将其归类为“报表功能满意度低”并能罗列出用户提到的具体缺点加载慢、字段少。但它无法像人类研究员那样通过追问上下文用户是在什么业务场景下、想解决什么决策问题来推断用户真正的痛点可能不是报表本身而是底层数据没有打通导致他需要手动整合多个报表。AI的“洞察”往往停留在表面关联。其次AI对“可行性”的判断时常基于错误的常识或过时的信息。它会提出一些技术上极其复杂、或严重违背当前平台设计规范、甚至存在潜在数据安全风险的概念。更“诡异”的是它有时会混淆不同产品的逻辑。例如在一个移动端应用的分析中它竟然提议引入一个类似桌面操作系统的“多窗口并行操作”功能完全忽略了移动设备的交互特性和用户使用心智。这说明尽管我们注入了知识但AI对知识的内化、关联和情境化应用能力与人类仍有巨大差距。4.3 人机协作的黄金模式最有价值的发现来自于“人类AI”协作模式的表现。当人类专家以AI智能体生成的初步聚类、痛点列表和概念草图为起点进行深度审视、质疑和拓展时最终的产出质量在新颖性和可行性上显著高于任何一方单独工作。AI扮演了一个极其高效的“初级分析师”和“创意刺激器”的角色。它把人类从繁重的信息整理和头脑风暴的“冷启动”中解放出来让人可以专注于最擅长的工作深度思考、逻辑批判、权衡取舍和基于商业直觉的决策。例如人类专家会一眼看出AI提出的“自动生成争议点图谱”概念虽然有趣但依赖于目前尚不成熟的论点抽取技术短期不可行。但他可以借鉴这个想法将其降级为一个可行的“高亮标记会议中语气强烈和存在分歧的发言段落”的功能。5. 实操指南与避坑心得基于这次研究如果你想在团队中引入类似的生成式智能体来辅助产品发现以下是一些实实在在的操作建议和踩过的坑。5.1 如何准备你的数据数据的质量直接决定智能体产出的下限。千万不要把原始的、未经整理的录音或杂乱笔记直接丢进去。转录与清洗是必须的投资一个准确的转录工具并制定简单的清洗规则如去除主持人口头禅。结构化的输入才能得到结构化的输出。补充上下文信息在每段访谈数据前以元数据的形式告知智能体本次访谈的目标产品、用户角色如“资深设计师”、“小微企业主”、以及访谈的核心目标。这能极大提升智能体理解话语的背景。分段与标注手动或借助工具进行初步的话题分段。即使只是粗略地标上“讨论登录问题”、“讨论付费意愿”也能引导智能体更好地组织信息。5.2 提示词设计的核心技巧提示词是你与智能体沟通的“工作说明书”写得好坏天差地别。角色扮演要具体不要只说“你是一个产品分析师”。要详细描述“你是一位拥有5年SaaS产品经验的产品策略分析师擅长从用户反馈中识别增长机会。你特别注重需求的真实性和解决方案的可行性。”任务分解要清晰把“分析访谈”这个大任务分解成我们前面提到的多步推理链条。每一步都给一个明确的指令和输出格式要求。例如“第一步请列出所有用户提到的负面体验并用引文编号注明出处。”提供思维链示例在提示词中给出一两个简短的“示例”展示你希望智能体如何思考。比如“当用户说‘这个流程太长了’我们不应只记录‘流程长’而应思考用户想快速完成什么任务当前流程中哪些步骤是冗余的或可以合并的——例如[给出一个简短的示例分析]”。设定边界与约束明确告诉智能体什么是“不可行”的。例如“提出的解决方案必须基于现有的移动端技术栈不考虑需要全新硬件支持的功能。”5.3 必须警惕的常见陷阱幻觉与捏造这是最大的坑。AI可能会将不同用户的话拼接甚至“脑补”出用户没说过但看似合理的需求。必须要求智能体为每一个洞察点引用原始的访谈语句编号并在人类评审阶段进行严格的事实核对。平均主义陷阱AI倾向于对所有识别出的需求“一视同仁”缺乏优先级判断。它无法理解一个被10个用户提到的痛点可能远不如被2个高价值用户提到的痛点重要。因此优先级排序必须由人类主导可以结合业务数据如用户分层、营收贡献来综合判断。语言偏差放大善于表达、情绪激烈的用户的反馈在文本数据中会显得更“突出”AI可能会过度重视这些反馈。需要提醒智能体注意沉默大多数或者通过抽样权重进行调整。过度依赖丧失批判性最危险的情况是团队开始盲目相信AI的产出。必须建立一种文化AI的产出是“初稿”和“素材”而不是“答案”。每一次AI生成的结果都必须经过“为什么是这样”、“证据是否充分”、“有没有其他解释”的批判性质询。5.4 一个可行的落地工作流基于我们的经验一个高效的人机协作工作流可以这样设计数据预处理由研究员或产品助理完成访谈转录、基础清洗和话题标注。AI初步分析将处理后的数据输入智能体获取初步的痛点聚类、机会点列表和概念草图。人类评审与深化产品核心团队产品、设计、技术负责人会议逐一评审AI的产出。重点做三件事证伪剔除幻觉和无关内容、排序结合业务战略确定优先级、深化对高优先级机会点进行人类主导的深度脑暴。假设生成与验证将深化后的产品概念转化为可测试的假设进入快速原型和用户验证环节。这个流程不是用AI替代人而是让AI承担了信息处理中最繁琐、最耗时的部分让人能聚焦于价值判断和创造性思考的最高层次工作。它放大了人类专家的能力而不是试图复制他们。经过这次验证研究我最大的体会是生成式智能体在产品发现领域已经从一个科幻概念变成了一个切实可用的“力量倍增器”。它的价值不在于给出完美答案而在于极大地拓展了人类思考的起点和边界。但与此同时我们必须清醒地认识到它的局限性尤其是它在深层逻辑推理和现实可行性判断上的不足。最成功的应用永远是那些将AI的“广度”与人类的“深度”紧密结合的案例。未来如何设计更精巧的提示词、构建更丰富的领域知识库、甚至让智能体具备一定的“可行性常识”将是下一步探索的重点。而对于产品团队来说当下要做的就是亲自上手试一试在真实项目中感受这种新协作模式的威力与挑战找到最适合自己团队的那个平衡点。