在构建基于大语言模型LLM的智能体时一个常见的直觉是为智能体配备更多、更相关的技能Skills应该能直接提升其任务执行能力。然而现实开发中我们可能遇到一个反直觉的现象即使为智能体添加了与任务描述高度相关的技能其整体表现也可能不升反降。这并非个例而是智能体系统设计中一个值得深入探讨的“陷阱”。本文将深入剖析这一现象背后的核心原因并通过一个完整的代码示例演示如何诊断和规避此类问题帮助开发者构建更鲁棒、高效的LLM智能体。1. 智能体、技能与任务核心概念与关系在深入问题之前我们首先需要明确几个关键概念及其在智能体架构中的角色。1.1 大语言模型LLM智能体是什么LLM智能体是一个以大型语言模型为“大脑”的自主系统。它能够感知环境通常以文本形式输入进行推理和规划并调用工具即技能来执行动作最终完成特定目标。与单纯进行对话的ChatGPT不同智能体强调行动力和目标导向。1.2 技能Skill与工具Tool在智能体语境中技能和工具通常可以互换使用指代智能体可以调用的具体功能。一个技能通常包含名称Name唯一标识符如get_weather。描述Description用自然语言描述该技能的功能、输入和输出。这是LLM决定是否调用该技能的核心依据。执行函数Function一段具体的代码用于实现技能描述的功能。例如一个计算器技能def calculator(a: float, b: float, operator: str) - float: 执行基础算术运算。 参数: a: 第一个数字。 b: 第二个数字。 operator: 运算符支持 , -, *, /。 返回: 运算结果。 if operator : return a b elif operator -: return a - b elif operator *: return a * b elif operator /: if b 0: raise ValueError(除数不能为零) return a / b else: raise ValueError(f不支持的运算符: {operator})1.3 任务Task与提示词Prompt任务是用户希望智能体达成的目标通常通过一个提示词Prompt来表述。例如“请查询北京今天的天气并判断是否适合户外运动。”智能体的工作流程可以简化为接收任务提示词 - LLM根据可用技能描述进行规划 - 选择并调用技能 - 获取技能执行结果 - LLM整合结果并生成最终回复。2. 问题现象为何相关技能反而导致表现下降假设我们有一个任务“总结一篇关于气候变化的长文章。” 我们为智能体提供了两个技能技能A高度相关summarize_text(text: str) - str描述为“总结任何给定的文本内容”。技能B部分相关extract_keywords(text: str) - List[str]描述为“从文本中提取关键词”。直觉上技能A完美匹配任务智能体应该调用它并出色完成任务。然而在实际运行中智能体可能表现不佳甚至不如只提供技能B或完全不提供技能的情况。主要原因如下2.1 技能描述模糊或冲突如果技能描述过于宽泛或与LLM对任务的理解存在细微偏差可能导致误用。例如summarize_text的描述如果缺少对文本长度、格式的说明LLM可能会错误地处理超长文本或特殊格式导致总结质量低下或调用失败。2.2 技能选择与路由的复杂性增加当技能数量增多时LLM需要从更长的候选列表中做出选择。这增加了决策负担和出错概率。LLM可能会陷入困惑在多个看似相关的技能间犹豫不决。错误组合尝试调用多个不必要的技能引入额外步骤和错误累积。忽略核心路径选择了相关但非最优的技能链。2.3 上下文窗口污染与信息过载每个技能的描述都会占用宝贵的上下文窗口Context Window令牌数。当技能描述过多、过细时会挤占用于任务指令、历史对话和中间推理过程的空间。这可能导致LLM无法充分理解任务细节或记住关键信息从而影响表现。2.4 技能实现的质量与副作用技能本身可能存在Bug、性能瓶颈或非预期的副作用。例如一个总结技能可能在处理某些文体时效果很差或者一个网络查询技能可能因超时而拖慢整个智能体流程。即使技能描述相关低质量的实现也会直接拉低整体表现。2.5 提示词工程未适配多技能环境为单一技能设计的提示词模板在引入多个技能后可能不再最优。需要调整系统提示词System Prompt明确指导LLM如何评估和选择技能否则LLM会依赖其默认的、可能不适用于当前技能集的决策模式。3. 环境准备与诊断工具搭建为了实证分析这一问题我们将搭建一个简单的实验环境。我们将使用LangChain框架因为它提供了清晰的智能体和工具抽象方便我们进行控制变量实验。环境要求Python 3.8OpenAI API Key或其他兼容的LLM API如DeepSeek、通义千问等安装必要库# 创建虚拟环境可选 python -m venv venv source venv/bin/activate # Linux/Mac # venv\Scripts\activate # Windows # 安装依赖 pip install langchain langchain-openai langchain-core pip install python-dotenv # 用于管理API密钥项目结构llm_agent_skill_test/ ├── .env # 存储API密钥 ├── config.py # 配置文件 ├── skills.py # 技能定义 ├── agent_builder.py # 智能体构建器 ├── evaluator.py # 评估脚本 └── main.py # 主运行入口配置文件.envOPENAI_API_KEYyour_openai_api_key_here # 或其他LLM的API密钥如 DASHSCOPE_API_KEY配置文件config.pyimport os from dotenv import load_dotenv load_dotenv() class Config: LLM_API_KEY os.getenv(OPENAI_API_KEY) LLM_BASE_URL os.getenv(OPENAI_BASE_URL, https://api.openai.com/v1) # 可替换为其他端点 LLM_MODEL gpt-3.5-turbo # 或 gpt-4, qwen-max 等4. 核心实验构建与对比不同技能配置的智能体我们将设计一个实验对比智能体在拥有不同技能组合下完成同一组任务的表现。4.1 定义实验技能在skills.py中我们定义三个技能一个“好”技能一个“有缺陷但相关”的技能一个“无关”技能。from langchain.tools import tool from typing import List import random import time tool def reliable_text_summarizer(text: str) - str: 一个可靠的长文本总结器。能够生成准确、连贯的摘要保留核心观点。适用于新闻、报告、论文等文体。 # 模拟一个高质量的总结过程此处简化 sentences text.split(. ) if len(sentences) 3: summary . .join(sentences[:3]) . else: summary text # 模拟处理时间 time.sleep(0.5) return f可靠摘要{summary} tool def buggy_text_summarizer(text: str) - str: 一个文本总结器。可以将输入的文本内容进行总结概括。 # 模拟一个有缺陷的实现可能丢失关键信息或格式错误 # 缺陷1随机截取可能不连贯 words text.split() if len(words) 20: # 随机选取一段模拟总结不全面 start random.randint(0, len(words)-10) buggy_summary .join(words[start:start10]) else: buggy_summary text # 缺陷2输出格式不符合预期 if random.random() 0.7: buggy_summary f[DEBUG] Summary processed. Result: {buggy_summary} # 模拟更长的处理时间 time.sleep(2.0) return buggy_summary tool def keyword_extractor(text: str) - List[str]: 从文本中提取最重要的关键词。返回一个关键词列表。 # 模拟关键词提取 words [w.lower().strip(.,!?) for w in text.split() if len(w) 4] keywords list(set(words))[:5] # 简单去重并取前5个长词 return keywords # 工具列表方便按需组合 ALL_SKILLS { reliable_summarizer: reliable_text_summarizer, buggy_summarizer: buggy_text_summarizer, keyword_extractor: keyword_extractor, }4.2 构建智能体创建函数在agent_builder.py中我们创建一个函数用于根据给定的技能列表构建智能体。from langchain.agents import create_tool_calling_agent, AgentExecutor from langchain_core.prompts import ChatPromptTemplate from langchain_openai import ChatOpenAI from config import Config from typing import List from langchain.tools import BaseTool def build_agent(skills: List[BaseTool], system_prompt: str None) - AgentExecutor: 根据提供的技能列表构建一个智能体执行器。 参数: skills: 技能Tool列表。 system_prompt: 自定义系统提示词。如果为None使用默认提示词。 返回: AgentExecutor 实例。 # 初始化LLM llm ChatOpenAI( modelConfig.LLM_MODEL, api_keyConfig.LLM_API_KEY, base_urlConfig.LLM_BASE_URL, temperature0, # 降低随机性使实验更稳定 ) # 定义提示词模板 if system_prompt is None: system_prompt 你是一个有帮助的AI助手可以调用工具来完成任务。 请严格按照用户的要求思考并规划步骤然后调用合适的工具。 如果你已经通过工具获得了足够的信息请直接给出最终答案不要重复调用工具或添加无关解释。 prompt ChatPromptTemplate.from_messages([ (system, system_prompt), (placeholder, {chat_history}), (human, {input}), (placeholder, {agent_scratchpad}), ]) # 创建智能体 agent create_tool_calling_agent(llmllm, toolsskills, promptprompt) # 创建执行器 agent_executor AgentExecutor(agentagent, toolsskills, verboseFalse, handle_parsing_errorsTrue) return agent_executor4.3 设计评估任务与运行实验在evaluator.py中我们设计评估任务和评分逻辑。from agent_builder import build_agent from skills import ALL_SKILLS from typing import Dict, List, Tuple import json # 定义测试任务 TEST_TASKS [ { id: 1, input: 请总结以下文章人工智能是当前科技发展的核心驱动力之一。它在图像识别、自然语言处理、自动驾驶等领域取得了突破性进展。然而AI的发展也带来了伦理、就业和安全方面的挑战。未来需要建立完善的治理框架。, expected_keywords: [人工智能, 发展, 挑战, 治理] # 期望摘要中包含的关键概念 }, { id: 2, input: 为这段文本做一个摘要机器学习模型需要大量的数据进行训练。数据的质量直接决定了模型的性能。因此数据清洗和标注是机器学习项目中至关重要且耗时的一环。, expected_keywords: [机器学习, 数据, 训练, 清洗] } ] def evaluate_agent(agent_executor, task: Dict) - Dict: 执行单个任务并评估结果。 try: response agent_executor.invoke({input: task[input]}) output response.get(output, ) # 简单的评估逻辑检查输出是否包含期望的关键词 score 0 for keyword in task[expected_keywords]: if keyword in output: score 1 relevance_score score / len(task[expected_keywords]) # 检查是否调用了工具 intermediate_steps response.get(intermediate_steps, []) tools_called [step[0].tool for step in intermediate_steps] return { task_id: task[id], output: output, relevance_score: round(relevance_score, 2), tools_called: tools_called, error: None } except Exception as e: return { task_id: task[id], output: , relevance_score: 0.0, tools_called: [], error: str(e) } def run_experiment(skill_configs: Dict[str, List]) - Dict[str, List]: 运行对比实验。 参数: skill_configs: 字典键为配置名称值为技能名称列表。 例如{only_reliable: [reliable_summarizer], with_buggy: [reliable_summarizer, buggy_summarizer]} 返回: 包含所有配置下所有任务评估结果的字典。 results {} for config_name, skill_names in skill_configs.items(): print(f\n 测试配置: {config_name} ) print(f使用的技能: {skill_names}) # 构建技能列表 skills [ALL_SKILLS[name] for name in skill_names] # 构建智能体 agent build_agent(skills) config_results [] for task in TEST_TASKS: result evaluate_agent(agent, task) config_results.append(result) print(f 任务 {task[id]}: 相关性得分{result[relevance_score]}, 调用工具{result[tools_called]}) results[config_name] config_results return results4.4 执行与结果分析在main.py中我们运行实验并分析数据。from evaluator import run_experiment, TEST_TASKS import json # 定义不同的技能配置 skill_configurations { 只有可靠总结器: [reliable_summarizer], 只有缺陷总结器: [buggy_summarizer], 可靠缺陷总结器: [reliable_summarizer, buggy_summarizer], 可靠总结器关键词提取: [reliable_summarizer, keyword_extractor], 全技能: [reliable_summarizer, buggy_summarizer, keyword_extractor], } if __name__ __main__: print(开始智能体技能配置对比实验...) print(f测试任务数量: {len(TEST_TASKS)}) all_results run_experiment(skill_configurations) print(\n *50) print(实验结果汇总分析) print(*50) # 计算每个配置的平均分 summary {} for config_name, results in all_results.items(): avg_score sum([r[relevance_score] for r in results]) / len(results) error_count sum([1 for r in results if r[error] is not None]) summary[config_name] { 平均相关性得分: round(avg_score, 3), 错误次数: error_count, 典型工具调用: results[0][tools_called] if results else [] } # 打印汇总表格 print(\n配置名称 | 平均得分 | 错误次数 | 典型调用工具) print(- * 60) for config_name, data in summary.items(): print(f{config_name:20} | {data[平均相关性得分]:8} | {data[错误次数]:8} | {data[典型工具调用]}) # 关键发现 print(\n *50) print(关键发现与解读) print(*50) print(1. **‘可靠缺陷总结器’配置得分可能低于‘只有可靠总结器’配置。**) print( - 这表明即使添加了与任务相关的技能buggy_summarizer但由于其描述模糊或实现有缺陷) print( 可能导致LLM困惑错误地选择了缺陷技能或尝试组合调用从而拉低整体表现。) print(\n2. **技能数量增加可能增加调用链复杂度。**) print( - 在‘全技能’配置中智能体可能先调用keyword_extractor再调用总结器) print( 增加了步骤和潜在的错误传递尽管最终可能完成任务但效率降低。) print(\n3. **缺陷技能可能引入错误或延迟。**) print( - buggy_summarizer 模拟了长延迟和随机输出这会导致智能体响应变慢) print( 并且其输出可能干扰LLM生成最终答案。) # 保存详细结果 with open(experiment_results.json, w, encodingutf-8) as f: json.dump(all_results, f, ensure_asciiFalse, indent2) print(\n详细结果已保存至 experiment_results.json。)运行python main.py你可能会得到类似下表的输出配置名称 | 平均得分 | 错误次数 | 典型调用工具 ------------------------------------------------------------ 只有可靠总结器 | 0.95 | 0 | [reliable_text_summarizer] 只有缺陷总结器 | 0.40 | 0 | [buggy_text_summarizer] 可靠缺陷总结器 | 0.70 | 0 | [buggy_text_summarizer] # 注意可能错误选择了缺陷技能 可靠总结器关键词提取 | 0.85 | 0 | [reliable_text_summarizer] # 或先调用了关键词提取器 全技能 | 0.75 | 0 | [keyword_extractor, reliable_text_summarizer]结果分析配置2只有缺陷总结器得分最低符合预期。配置3可靠缺陷总结器的得分显著低于配置1只有可靠总结器。这就是我们提出的核心问题添加一个相关但劣质的技能导致智能体表现比仅拥有优质技能时更差。原因可能是LLM被buggy_summarizer的描述误导而调用了它。配置4和5引入了无关或部分相关的技能增加了决策路径的复杂性也可能导致得分小幅下降或调用链变长。5. 常见问题与排查思路在实际开发中遇到智能体表现不佳时可以按照以下清单进行排查问题现象可能原因排查步骤与解决方案智能体拒绝调用任何工具直接回答。1. 工具描述不清晰或与任务匹配度低。2. 系统提示词未明确要求调用工具。3. LLM温度temperature过高随机性太强。1. 优化工具描述确保其功能、输入输出清晰。2. 在系统提示词中强调“你必须使用工具”。3. 将temperature设为0或较低值增加确定性。智能体调用了错误的工具。1. 工具描述相似导致LLM混淆。2. 任务指令模糊。3. 上下文中有误导信息。1. 使工具描述更具区分度突出各自独特用途。2. 细化任务指令明确期望的动作。3. 检查对话历史避免历史信息干扰当前决策。智能体调用工具顺序混乱或重复调用。1. 智能体规划能力不足。2. 工具执行结果未提供足够信息导致智能体认为需要继续调用。3. 未设置最大迭代次数限制。1. 使用更强大的LLM如GPT-4作为智能体核心。2. 确保工具返回结构清晰、信息完整的结果。3. 在AgentExecutor中设置max_iterations参数防止死循环。添加新技能后原有任务表现下降。本文核心问题新技能引入干扰。1.隔离测试单独测试新技能确保其功能和质量达标。2.描述审查对比新旧技能描述避免重叠和歧义。3.提示词调优根据新技能集调整系统提示词明确优先级。4.技能路由对于复杂场景考虑实现一个基于规则的或训练过的技能路由器Router而非完全依赖LLM选择。智能体响应速度显著变慢。1. 某个工具执行耗时过长。2. LLM生成工具调用参数的过程变慢技能描述过长。3. 网络延迟。1. 为工具设置超时timeout机制并优化其性能。2. 精简工具描述移除冗余信息。3. 使用流式响应streaming改善用户体验。6. 最佳实践与工程建议为了避免“相关技能导致表现下降”的陷阱并构建高效的LLM智能体请遵循以下实践6.1 技能设计原则单一职责每个技能应只做一件事并做好。避免创建“瑞士军刀”式的多功能工具。描述精准技能描述应像API文档一样清晰明确输入、输出、边界条件和异常情况。使用关键词帮助LLM匹配。防御性实现技能代码应有充分的输入验证、错误处理和日志记录。避免因技能崩溃导致整个智能体失败。性能监控为技能执行时间、调用成功率设置监控指标。及时识别并替换性能瓶颈或不可靠的技能。6.2 智能体架构优化技能分层与路由不要将所有技能扁平化地提供给LLM。可以设计分层架构第一层路由器。根据用户意图可通过快速意图分类获得选择一小部分相关技能。第二层执行器。LLM只在路由器筛选出的技能子集中进行选择和调用。动态技能加载根据对话上下文或用户身份动态加载不同的技能集减少不必要的干扰。验证与回退机制当智能体调用一个技能后可以设计一个简单的验证步骤例如检查输出格式或关键信息是否存在。如果验证失败可以触发回退例如尝试另一个技能或提示用户澄清。6.3 提示词工程在系统提示词中明确优先级例如“如果你有一个名为‘精确总结器’的工具请优先使用它来完成总结任务而不是其他通用的文本处理器。”提供少量示例Few-Shot在提示词中提供1-2个正确调用技能解决任务的示例引导LLM模仿正确的决策过程。限制技能选择空间在提示词中说明“请从以下N个工具中选择最合适的一个”而不是笼统地说“你可以使用工具”。6.4 测试与评估体系建立基准测试集覆盖核心任务、边缘案例和可能产生混淆的任务。进行A/B测试任何新技能上线前在影子模式或小流量下进行A/B测试对比添加新技能前后的核心指标任务完成率、用户满意度、平均响应时间等。实施持续评估自动化运行基准测试当智能体更新如LLM版本升级、技能变更、提示词修改后自动评估性能是否回归。通过将智能体开发视为一个严谨的软件工程过程而非简单的提示词堆砌我们可以有效规避“技能越多越好”的误区构建出真正稳定、高效、可靠的AI应用。记住智能体的能力不在于它拥有多少技能而在于它能否在正确的时机可靠地调用正确的技能。 LLM智能体技能配置陷阱：为何相关技能反而降低任务表现？
在构建基于大语言模型LLM的智能体时一个常见的直觉是为智能体配备更多、更相关的技能Skills应该能直接提升其任务执行能力。然而现实开发中我们可能遇到一个反直觉的现象即使为智能体添加了与任务描述高度相关的技能其整体表现也可能不升反降。这并非个例而是智能体系统设计中一个值得深入探讨的“陷阱”。本文将深入剖析这一现象背后的核心原因并通过一个完整的代码示例演示如何诊断和规避此类问题帮助开发者构建更鲁棒、高效的LLM智能体。1. 智能体、技能与任务核心概念与关系在深入问题之前我们首先需要明确几个关键概念及其在智能体架构中的角色。1.1 大语言模型LLM智能体是什么LLM智能体是一个以大型语言模型为“大脑”的自主系统。它能够感知环境通常以文本形式输入进行推理和规划并调用工具即技能来执行动作最终完成特定目标。与单纯进行对话的ChatGPT不同智能体强调行动力和目标导向。1.2 技能Skill与工具Tool在智能体语境中技能和工具通常可以互换使用指代智能体可以调用的具体功能。一个技能通常包含名称Name唯一标识符如get_weather。描述Description用自然语言描述该技能的功能、输入和输出。这是LLM决定是否调用该技能的核心依据。执行函数Function一段具体的代码用于实现技能描述的功能。例如一个计算器技能def calculator(a: float, b: float, operator: str) - float: 执行基础算术运算。 参数: a: 第一个数字。 b: 第二个数字。 operator: 运算符支持 , -, *, /。 返回: 运算结果。 if operator : return a b elif operator -: return a - b elif operator *: return a * b elif operator /: if b 0: raise ValueError(除数不能为零) return a / b else: raise ValueError(f不支持的运算符: {operator})1.3 任务Task与提示词Prompt任务是用户希望智能体达成的目标通常通过一个提示词Prompt来表述。例如“请查询北京今天的天气并判断是否适合户外运动。”智能体的工作流程可以简化为接收任务提示词 - LLM根据可用技能描述进行规划 - 选择并调用技能 - 获取技能执行结果 - LLM整合结果并生成最终回复。2. 问题现象为何相关技能反而导致表现下降假设我们有一个任务“总结一篇关于气候变化的长文章。” 我们为智能体提供了两个技能技能A高度相关summarize_text(text: str) - str描述为“总结任何给定的文本内容”。技能B部分相关extract_keywords(text: str) - List[str]描述为“从文本中提取关键词”。直觉上技能A完美匹配任务智能体应该调用它并出色完成任务。然而在实际运行中智能体可能表现不佳甚至不如只提供技能B或完全不提供技能的情况。主要原因如下2.1 技能描述模糊或冲突如果技能描述过于宽泛或与LLM对任务的理解存在细微偏差可能导致误用。例如summarize_text的描述如果缺少对文本长度、格式的说明LLM可能会错误地处理超长文本或特殊格式导致总结质量低下或调用失败。2.2 技能选择与路由的复杂性增加当技能数量增多时LLM需要从更长的候选列表中做出选择。这增加了决策负担和出错概率。LLM可能会陷入困惑在多个看似相关的技能间犹豫不决。错误组合尝试调用多个不必要的技能引入额外步骤和错误累积。忽略核心路径选择了相关但非最优的技能链。2.3 上下文窗口污染与信息过载每个技能的描述都会占用宝贵的上下文窗口Context Window令牌数。当技能描述过多、过细时会挤占用于任务指令、历史对话和中间推理过程的空间。这可能导致LLM无法充分理解任务细节或记住关键信息从而影响表现。2.4 技能实现的质量与副作用技能本身可能存在Bug、性能瓶颈或非预期的副作用。例如一个总结技能可能在处理某些文体时效果很差或者一个网络查询技能可能因超时而拖慢整个智能体流程。即使技能描述相关低质量的实现也会直接拉低整体表现。2.5 提示词工程未适配多技能环境为单一技能设计的提示词模板在引入多个技能后可能不再最优。需要调整系统提示词System Prompt明确指导LLM如何评估和选择技能否则LLM会依赖其默认的、可能不适用于当前技能集的决策模式。3. 环境准备与诊断工具搭建为了实证分析这一问题我们将搭建一个简单的实验环境。我们将使用LangChain框架因为它提供了清晰的智能体和工具抽象方便我们进行控制变量实验。环境要求Python 3.8OpenAI API Key或其他兼容的LLM API如DeepSeek、通义千问等安装必要库# 创建虚拟环境可选 python -m venv venv source venv/bin/activate # Linux/Mac # venv\Scripts\activate # Windows # 安装依赖 pip install langchain langchain-openai langchain-core pip install python-dotenv # 用于管理API密钥项目结构llm_agent_skill_test/ ├── .env # 存储API密钥 ├── config.py # 配置文件 ├── skills.py # 技能定义 ├── agent_builder.py # 智能体构建器 ├── evaluator.py # 评估脚本 └── main.py # 主运行入口配置文件.envOPENAI_API_KEYyour_openai_api_key_here # 或其他LLM的API密钥如 DASHSCOPE_API_KEY配置文件config.pyimport os from dotenv import load_dotenv load_dotenv() class Config: LLM_API_KEY os.getenv(OPENAI_API_KEY) LLM_BASE_URL os.getenv(OPENAI_BASE_URL, https://api.openai.com/v1) # 可替换为其他端点 LLM_MODEL gpt-3.5-turbo # 或 gpt-4, qwen-max 等4. 核心实验构建与对比不同技能配置的智能体我们将设计一个实验对比智能体在拥有不同技能组合下完成同一组任务的表现。4.1 定义实验技能在skills.py中我们定义三个技能一个“好”技能一个“有缺陷但相关”的技能一个“无关”技能。from langchain.tools import tool from typing import List import random import time tool def reliable_text_summarizer(text: str) - str: 一个可靠的长文本总结器。能够生成准确、连贯的摘要保留核心观点。适用于新闻、报告、论文等文体。 # 模拟一个高质量的总结过程此处简化 sentences text.split(. ) if len(sentences) 3: summary . .join(sentences[:3]) . else: summary text # 模拟处理时间 time.sleep(0.5) return f可靠摘要{summary} tool def buggy_text_summarizer(text: str) - str: 一个文本总结器。可以将输入的文本内容进行总结概括。 # 模拟一个有缺陷的实现可能丢失关键信息或格式错误 # 缺陷1随机截取可能不连贯 words text.split() if len(words) 20: # 随机选取一段模拟总结不全面 start random.randint(0, len(words)-10) buggy_summary .join(words[start:start10]) else: buggy_summary text # 缺陷2输出格式不符合预期 if random.random() 0.7: buggy_summary f[DEBUG] Summary processed. Result: {buggy_summary} # 模拟更长的处理时间 time.sleep(2.0) return buggy_summary tool def keyword_extractor(text: str) - List[str]: 从文本中提取最重要的关键词。返回一个关键词列表。 # 模拟关键词提取 words [w.lower().strip(.,!?) for w in text.split() if len(w) 4] keywords list(set(words))[:5] # 简单去重并取前5个长词 return keywords # 工具列表方便按需组合 ALL_SKILLS { reliable_summarizer: reliable_text_summarizer, buggy_summarizer: buggy_text_summarizer, keyword_extractor: keyword_extractor, }4.2 构建智能体创建函数在agent_builder.py中我们创建一个函数用于根据给定的技能列表构建智能体。from langchain.agents import create_tool_calling_agent, AgentExecutor from langchain_core.prompts import ChatPromptTemplate from langchain_openai import ChatOpenAI from config import Config from typing import List from langchain.tools import BaseTool def build_agent(skills: List[BaseTool], system_prompt: str None) - AgentExecutor: 根据提供的技能列表构建一个智能体执行器。 参数: skills: 技能Tool列表。 system_prompt: 自定义系统提示词。如果为None使用默认提示词。 返回: AgentExecutor 实例。 # 初始化LLM llm ChatOpenAI( modelConfig.LLM_MODEL, api_keyConfig.LLM_API_KEY, base_urlConfig.LLM_BASE_URL, temperature0, # 降低随机性使实验更稳定 ) # 定义提示词模板 if system_prompt is None: system_prompt 你是一个有帮助的AI助手可以调用工具来完成任务。 请严格按照用户的要求思考并规划步骤然后调用合适的工具。 如果你已经通过工具获得了足够的信息请直接给出最终答案不要重复调用工具或添加无关解释。 prompt ChatPromptTemplate.from_messages([ (system, system_prompt), (placeholder, {chat_history}), (human, {input}), (placeholder, {agent_scratchpad}), ]) # 创建智能体 agent create_tool_calling_agent(llmllm, toolsskills, promptprompt) # 创建执行器 agent_executor AgentExecutor(agentagent, toolsskills, verboseFalse, handle_parsing_errorsTrue) return agent_executor4.3 设计评估任务与运行实验在evaluator.py中我们设计评估任务和评分逻辑。from agent_builder import build_agent from skills import ALL_SKILLS from typing import Dict, List, Tuple import json # 定义测试任务 TEST_TASKS [ { id: 1, input: 请总结以下文章人工智能是当前科技发展的核心驱动力之一。它在图像识别、自然语言处理、自动驾驶等领域取得了突破性进展。然而AI的发展也带来了伦理、就业和安全方面的挑战。未来需要建立完善的治理框架。, expected_keywords: [人工智能, 发展, 挑战, 治理] # 期望摘要中包含的关键概念 }, { id: 2, input: 为这段文本做一个摘要机器学习模型需要大量的数据进行训练。数据的质量直接决定了模型的性能。因此数据清洗和标注是机器学习项目中至关重要且耗时的一环。, expected_keywords: [机器学习, 数据, 训练, 清洗] } ] def evaluate_agent(agent_executor, task: Dict) - Dict: 执行单个任务并评估结果。 try: response agent_executor.invoke({input: task[input]}) output response.get(output, ) # 简单的评估逻辑检查输出是否包含期望的关键词 score 0 for keyword in task[expected_keywords]: if keyword in output: score 1 relevance_score score / len(task[expected_keywords]) # 检查是否调用了工具 intermediate_steps response.get(intermediate_steps, []) tools_called [step[0].tool for step in intermediate_steps] return { task_id: task[id], output: output, relevance_score: round(relevance_score, 2), tools_called: tools_called, error: None } except Exception as e: return { task_id: task[id], output: , relevance_score: 0.0, tools_called: [], error: str(e) } def run_experiment(skill_configs: Dict[str, List]) - Dict[str, List]: 运行对比实验。 参数: skill_configs: 字典键为配置名称值为技能名称列表。 例如{only_reliable: [reliable_summarizer], with_buggy: [reliable_summarizer, buggy_summarizer]} 返回: 包含所有配置下所有任务评估结果的字典。 results {} for config_name, skill_names in skill_configs.items(): print(f\n 测试配置: {config_name} ) print(f使用的技能: {skill_names}) # 构建技能列表 skills [ALL_SKILLS[name] for name in skill_names] # 构建智能体 agent build_agent(skills) config_results [] for task in TEST_TASKS: result evaluate_agent(agent, task) config_results.append(result) print(f 任务 {task[id]}: 相关性得分{result[relevance_score]}, 调用工具{result[tools_called]}) results[config_name] config_results return results4.4 执行与结果分析在main.py中我们运行实验并分析数据。from evaluator import run_experiment, TEST_TASKS import json # 定义不同的技能配置 skill_configurations { 只有可靠总结器: [reliable_summarizer], 只有缺陷总结器: [buggy_summarizer], 可靠缺陷总结器: [reliable_summarizer, buggy_summarizer], 可靠总结器关键词提取: [reliable_summarizer, keyword_extractor], 全技能: [reliable_summarizer, buggy_summarizer, keyword_extractor], } if __name__ __main__: print(开始智能体技能配置对比实验...) print(f测试任务数量: {len(TEST_TASKS)}) all_results run_experiment(skill_configurations) print(\n *50) print(实验结果汇总分析) print(*50) # 计算每个配置的平均分 summary {} for config_name, results in all_results.items(): avg_score sum([r[relevance_score] for r in results]) / len(results) error_count sum([1 for r in results if r[error] is not None]) summary[config_name] { 平均相关性得分: round(avg_score, 3), 错误次数: error_count, 典型工具调用: results[0][tools_called] if results else [] } # 打印汇总表格 print(\n配置名称 | 平均得分 | 错误次数 | 典型调用工具) print(- * 60) for config_name, data in summary.items(): print(f{config_name:20} | {data[平均相关性得分]:8} | {data[错误次数]:8} | {data[典型工具调用]}) # 关键发现 print(\n *50) print(关键发现与解读) print(*50) print(1. **‘可靠缺陷总结器’配置得分可能低于‘只有可靠总结器’配置。**) print( - 这表明即使添加了与任务相关的技能buggy_summarizer但由于其描述模糊或实现有缺陷) print( 可能导致LLM困惑错误地选择了缺陷技能或尝试组合调用从而拉低整体表现。) print(\n2. **技能数量增加可能增加调用链复杂度。**) print( - 在‘全技能’配置中智能体可能先调用keyword_extractor再调用总结器) print( 增加了步骤和潜在的错误传递尽管最终可能完成任务但效率降低。) print(\n3. **缺陷技能可能引入错误或延迟。**) print( - buggy_summarizer 模拟了长延迟和随机输出这会导致智能体响应变慢) print( 并且其输出可能干扰LLM生成最终答案。) # 保存详细结果 with open(experiment_results.json, w, encodingutf-8) as f: json.dump(all_results, f, ensure_asciiFalse, indent2) print(\n详细结果已保存至 experiment_results.json。)运行python main.py你可能会得到类似下表的输出配置名称 | 平均得分 | 错误次数 | 典型调用工具 ------------------------------------------------------------ 只有可靠总结器 | 0.95 | 0 | [reliable_text_summarizer] 只有缺陷总结器 | 0.40 | 0 | [buggy_text_summarizer] 可靠缺陷总结器 | 0.70 | 0 | [buggy_text_summarizer] # 注意可能错误选择了缺陷技能 可靠总结器关键词提取 | 0.85 | 0 | [reliable_text_summarizer] # 或先调用了关键词提取器 全技能 | 0.75 | 0 | [keyword_extractor, reliable_text_summarizer]结果分析配置2只有缺陷总结器得分最低符合预期。配置3可靠缺陷总结器的得分显著低于配置1只有可靠总结器。这就是我们提出的核心问题添加一个相关但劣质的技能导致智能体表现比仅拥有优质技能时更差。原因可能是LLM被buggy_summarizer的描述误导而调用了它。配置4和5引入了无关或部分相关的技能增加了决策路径的复杂性也可能导致得分小幅下降或调用链变长。5. 常见问题与排查思路在实际开发中遇到智能体表现不佳时可以按照以下清单进行排查问题现象可能原因排查步骤与解决方案智能体拒绝调用任何工具直接回答。1. 工具描述不清晰或与任务匹配度低。2. 系统提示词未明确要求调用工具。3. LLM温度temperature过高随机性太强。1. 优化工具描述确保其功能、输入输出清晰。2. 在系统提示词中强调“你必须使用工具”。3. 将temperature设为0或较低值增加确定性。智能体调用了错误的工具。1. 工具描述相似导致LLM混淆。2. 任务指令模糊。3. 上下文中有误导信息。1. 使工具描述更具区分度突出各自独特用途。2. 细化任务指令明确期望的动作。3. 检查对话历史避免历史信息干扰当前决策。智能体调用工具顺序混乱或重复调用。1. 智能体规划能力不足。2. 工具执行结果未提供足够信息导致智能体认为需要继续调用。3. 未设置最大迭代次数限制。1. 使用更强大的LLM如GPT-4作为智能体核心。2. 确保工具返回结构清晰、信息完整的结果。3. 在AgentExecutor中设置max_iterations参数防止死循环。添加新技能后原有任务表现下降。本文核心问题新技能引入干扰。1.隔离测试单独测试新技能确保其功能和质量达标。2.描述审查对比新旧技能描述避免重叠和歧义。3.提示词调优根据新技能集调整系统提示词明确优先级。4.技能路由对于复杂场景考虑实现一个基于规则的或训练过的技能路由器Router而非完全依赖LLM选择。智能体响应速度显著变慢。1. 某个工具执行耗时过长。2. LLM生成工具调用参数的过程变慢技能描述过长。3. 网络延迟。1. 为工具设置超时timeout机制并优化其性能。2. 精简工具描述移除冗余信息。3. 使用流式响应streaming改善用户体验。6. 最佳实践与工程建议为了避免“相关技能导致表现下降”的陷阱并构建高效的LLM智能体请遵循以下实践6.1 技能设计原则单一职责每个技能应只做一件事并做好。避免创建“瑞士军刀”式的多功能工具。描述精准技能描述应像API文档一样清晰明确输入、输出、边界条件和异常情况。使用关键词帮助LLM匹配。防御性实现技能代码应有充分的输入验证、错误处理和日志记录。避免因技能崩溃导致整个智能体失败。性能监控为技能执行时间、调用成功率设置监控指标。及时识别并替换性能瓶颈或不可靠的技能。6.2 智能体架构优化技能分层与路由不要将所有技能扁平化地提供给LLM。可以设计分层架构第一层路由器。根据用户意图可通过快速意图分类获得选择一小部分相关技能。第二层执行器。LLM只在路由器筛选出的技能子集中进行选择和调用。动态技能加载根据对话上下文或用户身份动态加载不同的技能集减少不必要的干扰。验证与回退机制当智能体调用一个技能后可以设计一个简单的验证步骤例如检查输出格式或关键信息是否存在。如果验证失败可以触发回退例如尝试另一个技能或提示用户澄清。6.3 提示词工程在系统提示词中明确优先级例如“如果你有一个名为‘精确总结器’的工具请优先使用它来完成总结任务而不是其他通用的文本处理器。”提供少量示例Few-Shot在提示词中提供1-2个正确调用技能解决任务的示例引导LLM模仿正确的决策过程。限制技能选择空间在提示词中说明“请从以下N个工具中选择最合适的一个”而不是笼统地说“你可以使用工具”。6.4 测试与评估体系建立基准测试集覆盖核心任务、边缘案例和可能产生混淆的任务。进行A/B测试任何新技能上线前在影子模式或小流量下进行A/B测试对比添加新技能前后的核心指标任务完成率、用户满意度、平均响应时间等。实施持续评估自动化运行基准测试当智能体更新如LLM版本升级、技能变更、提示词修改后自动评估性能是否回归。通过将智能体开发视为一个严谨的软件工程过程而非简单的提示词堆砌我们可以有效规避“技能越多越好”的误区构建出真正稳定、高效、可靠的AI应用。记住智能体的能力不在于它拥有多少技能而在于它能否在正确的时机可靠地调用正确的技能。