LangSmith深度解析：打造LLM应用可观测性闭环，从入门到实战全攻略！

一、为什么你需要 LangSmith2026 年LLM 应用已经从「能不能跑通」进入「能不能稳定上线」的阶段。一个典型的 LLM 应用上线后你会遇到这些问题• 用户问了一个问题模型回复了一堆幻觉你根本不知道是 prompt 的问题还是检索的问题• 新版本的模型效果到底好不好有没有比旧版更差• 多轮对话中第三轮突然崩了但前两轮好好的怎么看完整链路LangSmith 是 LangChain 团队出品的 LLM 可观测性平台它解决的就是上述问题。它的核心能力追踪每一次 LLM 调用的完整链路让你能看见模型到底在想什么。本文我会用一个《仙逆》主题的问答系统作为贯穿案例带你系统性地掌握 LangSmith。二、核心概念一张图看懂LangSmith 的数据模型可以归纳为四层结构项目 (Project) └── 会话线程 (Thread) ├── 追踪 (Trace) │ ├── 运行 (Run) — 检索 │ ├── 运行 (Run) — Prompt 构建 │ └── 运行 (Run) — LLM 调用 ├── 追踪 (Trace) │ ├── ... └── ...概念含义仙逆案例中的对应Project项目所有追踪的顶级容器通常对应一个应用xian-ni-demo—— 仙逆问答应用Thread线程多轮对话的一组追踪集合“王林·修行之路” 多轮对话Trace追踪单次操作的完整记录一次 “王林是如何领悟杀戮意境的” 问答Run运行追踪中的单个步骤检索知识库 → 构建 Prompt → 调用 LLM下面我们逐层展开。三、Run运行最小的观测单元Run 是 LangSmith 的最小粒度。每一次有意义的操作都是一个 Run它记录了•输入和输出•耗时latency•Token 用量•自定义 metadata标签、参数等•Run 类型llm/chain/retriever/tool/embedding在我们的仙逆问答系统中一次 LLM 调用就是一个典型的 Runtraceable(run_typellm, name通义千问)def llm_call(prompt: str, **meta) - dict: run get_current_run_tree() if run: run.add_metadata(meta) # 挂载自定义标签 resp tongyi.chat.completions.create( modelqwen-plus, messages[{role: user, content: prompt}], ) return { output: resp.choices[0].message.content, tokens: resp.usage.total_tokens, }在 LangSmith 面板中你能看到这个 Run 的完整信息输入的 prompt、模型返回的内容、耗时、消耗的 token 数以及我们打上的 metadata 标签。四、Trace追踪把 Run 串成链路一个 LLM 应用通常不止一步。以我们的仙逆问答为例一次问答包含三步这三步在 LangSmith 中自动构成一棵Trace 树。你只需要用traceable装饰器标记每个函数LangSmith 会自动追踪调用关系traceable(run_typechain, name仙逆问答) # 顶层def ask_about_xianni(topic: str): context retrieve(topic) # 子 Run ① prompt build_prompt(context, topic) result llm_call(prompt) # 子 Run ③ return resulttraceable(run_typeretriever, name仙逆知识检索) # 中层def retrieve(topic: str): ...LangSmith 会识别出ask_about_xianni是父 Runretrieve和llm_call是子 Run自动构建出调用树。这样一来当模型的回答有问题时你一眼就能定位是哪一步出了问题是检索没查到相关内容还是 LLM 理解了但回答跑偏了。五、Thread线程串联多轮对话Trace 记录单轮对话而实际应用中多轮对话是常态。LangSmith 通过metadata来关联同一会话的多个 Trace# 第一轮ask_about_xianni(王林是如何领悟杀戮意境的, thread_id王林·修行之路)# 第二轮ask_about_xianni(王林最终达到了什么境界, thread_id王林·修行之路)# 第三轮ask_about_xianni(王林的古神之体有什么特别之处, thread_id王林·修行之路)三轮问答各自是一条独立的 Trace但它们共享同一个thread_id。在 LangSmith 面板中你可以按线程过滤看到完整的对话历史。我们的仙逆 Demo 创建了三个线程线程 ID话题Trace 数量王林·修行之路王林的修炼历程3 轮古神·力量体系古神一族的修炼体系2 轮王林与李慕婉仙逆的感情线3 轮在 LangSmith UI 中按线程筛选就能分别查看每条对话线的完整脉络。六、Project项目所有数据的分组容器Project 是顶级容器通常一个 Project 对应一个应用或一项业务。设置 Project 只需一行os.environ[LANGCHAIN_PROJECT] xian-ni-demo之后该应用产生的所有 Trace、Run、Thread 都会自动归入这个 Project。不同环境可以用不同 Project 隔离如prod/staging/dev。七、进阶能力一览掌握了 Project → Thread → Trace → Run 四层模型后LangSmith 的进阶功能就很好理解了7.1 Datasets数据集你可以把真实的用户问答保存为数据集用于后续的评估和对比实验# 创建数据集client.create_dataset(仙逆-常见问题)client.create_example( inputs{question: 王林的最终境界是什么}, outputs{answer: 踏天境}, dataset_name仙逆-常见问题,)7.2 Evaluation评估有了数据集就可以对不同 prompt 版本或模型进行自动化评估• 你用qwen-plus回答准确率 85%• 换成qwen-max后准确率 92%• 改了一版 prompt准确率掉到 78%立即回滚所有这些对比实验的追踪数据都在 LangSmith 中可查、可对比。7.3 Monitoring线上监控LangSmith 支持在生产环境中设置监控告警• 延迟超过阈值 → 告警• Token 消耗异常上升 → 告警• 模型返回内容命中敏感词 → 告警从开发到上线LangSmith 提供了一整套可观测性方案。八、Quick Start5 分钟跑通# 1. 安装pip install langsmith python-dotenv openai# 2. 配置 .envLANGSMITH_API_KEYlsv2_pt_xxxTONGYI_API_KEYsk-xxx# 3. 写代码 plaintext import osfrom dotenv import load_dotenvfrom langsmith import traceablefrom openai import OpenAIload_dotenv()os.environ[LANGCHAIN_TRACING_V2] trueos.environ[LANGCHAIN_PROJECT] my-projecttraceable(run_typellm, namecall-llm)def call_llm(prompt): client OpenAI(api_keyos.environ[TONGYI_API_KEY], base_urlhttps://dashscope.aliyuncs.com/compatible-mode/v1) resp client.chat.completions.create( modelqwen-plus, messages[{role: user, content: prompt}], ) return resp.choices[0].message.contentprint(call_llm(用一句话介绍LangChain))运行后打开 smith.langchain.com就能看到你的第一条 Trace。九、总结你要解决的问题LangSmith 对应的能力模型回答出错不知道哪一步出错Trace 树逐级下钻多轮对话断连无法回溯完整上下文Thread 串联追踪换个 prompt 版本不知道怎么对比效果Dataset Evaluation线上应用悄悄变差没人发现Monitoring Alert团队成员各管一段缺乏统一视角Project 分组共享LangSmith 本质上做了一件事把 LLM 的黑盒调用变成了白盒链路。它不会让你的模型变强但会让你清楚地知道模型哪里还不够强——而这恰恰是从 Demo 走向 Production 的关键一步。传统产品经理正在成为下个被淘汰的“传统岗位”。过去画原型、写 PRD、跟进度的“传统技能包”在AI时代正迅速贬值。63% 的企业转型做 AI 产品当下的问题不再是“要不要学 AI ”而是“如何构建 AI 产品”。前段时间还跟字节、腾讯的资深 AI 产品经理沟通他们反馈在大量招人只要有 AI 相关的项目经验基本都能拿到面试机会而且领导很舍得给钱涨薪 40-60% 很正常01接下来的产品人得卷AI能力了如今AI大火行业极速发展的背后懂AI 产品人才却严重稀缺。这不是要你转技术岗而是要掌握构建 AI 产品的核心方法如何将你的领域知识转化为 AI 产品的核心竞争力如何用 AI 技术实现你的产品需求如何设计真正懂用户的 AI 交互体验……懂AI就是产品经理的“救命稻草”风口之下与其焦虑被行业淘汰不如先人一步享受AI技术带来的红利我把AI产品经理的学习全流程已经整理好了抓住AI时代风口轻松解锁职业新可能希望大家都能把握机遇实现薪资/职业跃迁这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】不限年龄不限岗位没有代码基础也能学现在扫码完课还送《AI产品面试题库》《AI大模型应用案例集》02掌握技术实战快速转型想成为一名卓越的AI大模型产品经理需要从技术、到项目实战的全方位转型指南**1**AI产品应用原理解析产品经理也能听懂对于产品经理来说如果你不懂技术做不了业务和AI大模型技术衔接、定义不了数据需求是没法完整的落地一个产品的本次课程专门面向产品经理人群解析当下最热门的AI产品应用的必备的「大模型」、「多模态」的实际应用和算法原理解析AI产品应用技术积累大模型能力简单易懂不需要会代码小白也能掌握大模型微调掌握主流大模型如DeepSeek、Qwen等的微调技术针对特定场景优化模型性能。学习如何利用领域数据如制造、医药、金融等进行模型定制AI Agent智能体搭建学习如何设计和开发AI Agent实现多任务协同、自主决策和复杂问题解决。构建垂类场景下的智能助手产品如制造业中的设备故障诊断Agent、金融领域的投资分析Agent等2超全行业案例解析课程详细讲解现阶段大模型在各个行业和领域的应用现状包括零售与电商、教育、医疗、泛娱乐、法律等等10大行业详细讲解案例的思路、应用场景以及背后的技术原理、核心技术揭秘各个行业、场景的真实现状和未来产品的发展与机遇可以说讲解完一个案例就能积累一个AI产品实践的经验课程中所涉及到的实战项目都可以直接在自己的工作中使用让自己的产品/项目有可借鉴的成功案例3AI产品经理求职专项辅导课程中会系统的帮助大家拆解字节、腾讯、百度等大厂AI PM岗位JD关键词掌握AI PM高频面试题型与回答框架展示 AI 相关能力的关键技巧Prompt设计、模型评估、A/B测试、成本意识、与算法/工程协作经验To B类AI产品经理突出“行业理解 技术落地 商业闭环”能力的简历结构设计展示项目成果从客户需求洞察到技术方案设计展现端到产品思维如何评估To B AI产品的可行性、客户付费意愿与实施成本To C类AI产品经理拆解头部公司岗位JD将过往尽力转化为AI产品叙事逻辑从行业趋势、产品设计题、案例分析数据分析题、技术理解边界等全流程辅导面试避免无效海投、锁定最适合的AI产品岗位03本次课程全程直播讲解能直接对话大佬和专业助教不懂就问超详细的案例小白也能轻松get完课后还赠送《AI产品经理面试题库》、《AI大模型应用案例集》不断更新中……适合人群想转型AI产品经理、AI项目管理专家、AI产品解决方案等岗位想进行AI产品创业的创业者想成为制作AI产品的程序员想利用AI解决企业问题的管理岗想在AI方向寻找就业方向的毕业生AI方向前景广阔、待遇好目前很多产品人已经通过完整学习拿到大厂高薪offer收入嗷嗷涨我把AI产品经理的学习全流程已经整理好了抓住AI时代风口轻松解锁职业新可能希望大家都能把握机遇实现薪资/职业跃迁这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】