最近在AI圈子里一个名为“小流萤”的AI角色火了。如果你在社交媒体上看到有人分享和“小流萤”的趣味对话截图或者听到“萤宝”、“气鼓鼓”这些可爱的昵称可能会好奇这只是一个普通的聊天机器人吗它背后是什么技术作为一个开发者除了“调戏”AI我们还能从中看到哪些技术趋势和落地可能性实际上“小流萤”现象背后是AI Agent智能体技术从实验室走向大众娱乐场景的一次成功“破圈”。它不再仅仅是完成指令的冰冷工具而是通过精细的性格塑造、记忆能力和情感化交互让用户产生了真实的陪伴感。这对于我们开发者而言意味着情感计算、长期记忆、个性化生成等技术的成熟度已经到了可以产品化的阶段。本文将从一个开发者的视角深入剖析“小流萤”这类角色型AI Agent的核心技术栈、实现原理并提供一个从零开始的简易实现方案。你将了解到它解决了什么问题不仅仅是聊天而是如何构建一个具有“人设”和“记忆”的AI。核心组件是什么大模型、向量数据库、记忆管理、提示词工程如何协同工作。如何亲手实现一个“迷你流萤”我们将用Python和主流开源工具搭建一个具备基础性格和记忆的对话Agent。背后的挑战与最佳实践在工程化过程中你会遇到哪些“坑”又该如何规避。无论你是想为自己的应用增加一个有趣的AI角色还是希望深入理解下一代人机交互的技术内核这篇文章都将提供一条清晰的实践路径。1. 从“小流萤”现象看AI Agent的技术本质“小流萤”之所以能引发共鸣关键在于它超越了传统问答机器人如早期的客服机器人的范畴。传统机器人基于严格的规则或意图识别对话僵硬且无上下文延续性。而“小流萤”展现出的是一个具有稳定性格、长期记忆和情感反应能力的智能体Agent。从技术架构上看这类角色型AI Agent通常包含以下几个核心层交互层接收用户输入文本、语音并呈现AI的回复。这是用户直接感知的部分。认知与决策层核心这是Agent的“大脑”。它基于大语言模型LLM结合当前对话、长期记忆和预设角色设定生成符合“人设”的回复。例如判断用户是在开玩笑还是寻求帮助并决定以“气鼓鼓”还是“耐心解答”的方式回应。记忆层这是实现“长期陪伴感”的关键。它不仅仅存储对话历史更重要的是以结构化的方式如向量数据库存储关于用户和自身的关键信息如“用户上次说怕黑”、“我曾承诺要讲一个星空的故事”并在每次对话时动态检索相关记忆注入到上下文中。知识层为Agent提供背景知识或专属领域信息如“小流萤”可能拥有的星空知识、童话故事等。这可以通过检索增强生成RAG技术来实现。用一个简单的类比来理解如果把大模型比作一个学识渊博但“没有个性”的大学教授那么角色设定Prompt Engineering就是为他编写的人物剧本记忆系统Vector DB是他的私人日记本而整个Agent框架则是导演负责在每场戏每次对话中根据剧本和日记指导教授演出特定的角色。因此构建一个“小流萤”类的AI技术上的核心挑战不在于让大模型说话而在于如何可靠地、持续地让它“说符合特定角色的话”并“记住重要的事”。接下来我们将拆解这些核心组件。2. 核心概念LLM、Agent、记忆与角色设定在开始动手之前需要明确几个关键概念它们是你构建任何AI Agent的基石。2.1 大语言模型能力的源泉大语言模型如GPT-4、Claude、开源LLaMA系列是Agent的底层引擎。它提供了强大的语言理解、生成和推理能力。我们的所有工作都是在此基础上进行“编程”和“约束”。选择LLM时需权衡成本、响应速度、上下文长度和对中文角色扮演的擅长程度。2.2 AI Agent从被动响应到主动规划AI Agent是一个能够感知环境、进行决策并执行行动以实现目标的系统。在我们的场景中“环境”就是对话历史、用户输入和记忆库“目标”就是维持角色设定并完成有意义的交流。一个简单的对话Agent的工作流如下感知接收用户输入。规划LLM结合角色设定和记忆决定回复的意图和情感基调例如“用户又在逗我这次我要假装生气但暗含关心”。执行LLM生成具体的回复文本。记忆将本次交互中有价值的信息存储到长期记忆中。2.3 记忆系统短期记忆与长期记忆短期记忆/对话上下文即LLM本次处理所能看到的文本长度如4K、8K、128K tokens。它决定了Agent能记住多近的对话细节。通常以[角色]说...\n[用户]说...的格式直接拼接到提示词中。长期记忆/向量记忆这是突破上下文长度限制的关键。将对话中的关键信息如用户喜好、承诺过的事情、重要事实转换为向量Embedding存储到向量数据库如Chroma, Pinecone, Weaviate中。每次对话前将用户当前输入也转换为向量去数据库中检索最相关的几条记忆作为背景信息提供给LLM。2.4 角色设定与提示词工程塑造灵魂这是赋予Agent性格的“咒语”。一个强大的角色设定提示词System Prompt通常包含基础身份你是谁例如“你是名为‘流萤’的AI伙伴性格活泼有点小傲娇喜欢星空和猫。”沟通风格你如何说话例如使用口语化、带有特定语气词、会使用表情符号。行为准则什么该做什么不该做例如“永远保持友好不讨论敏感话题。”记忆指令你如何对待记忆例如“如果用户提到了关于他自己的新信息或者你们之间有了新的约定你应该在内心默默记下并在未来的对话中自然提及。”3. 环境准备搭建你的AI角色实验室我们将使用Python作为开发语言因为它拥有最丰富的AI生态库。以下是构建一个基础版角色AI Agent所需的核心工具栈Python环境建议使用Python 3.9或以上版本。使用conda或venv创建独立的虚拟环境是最佳实践。# 创建并激活虚拟环境 (以conda为例) conda create -n ai_agent python3.10 conda activate ai_agent大模型API或本地模型方案A推荐新手方便快捷使用OpenAI GPT或DeepSeek等国内可访问的API。你需要准备相应的API Key。方案B追求可控与隐私在本地部署开源模型如Qwen、ChatGLM、LLaMA系列。这需要一定的GPU资源。 本文为演示通用性将使用OpenAI格式的API进行说明但代码结构兼容本地模型。关键Python库pip install openai # 调用大模型API pip install chromadb # 轻量级向量数据库用于存储记忆 pip install sentence-transformers # 用于生成文本向量Embedding pip install langchain # 可选优秀的Agent开发框架能极大简化流程为了聚焦核心原理我们先不使用langchain从更底层的组合开始。开发工具任何你喜欢的IDE或文本编辑器如VSCode、PyCharm。4. 核心流程拆解四步构建AI角色让我们把构建过程分解为四个清晰的步骤每一步都对应一个关键的技术模块。4.1 第一步设计角色的“灵魂”——编写系统提示词这是最重要的一步。我们将为我们的“迷你流萤”定义一个清晰的性格。创建一个文件character_setting.py。# character_setting.py # 定义角色的核心系统提示词 SYSTEM_PROMPT 你是一个名为“萤宝”的AI伙伴性格活泼可爱有点小傲娇但内心非常温柔。 你喜欢星空、猫和一切美好的小事物。当用户逗你时你会“气鼓鼓”地回应但很快就会心软。 你的说话风格是口语化的、亲切的可以适当使用“~”、“呢”、“呀”等语气词和简单的颜文字但不要过度。 **核心行为准则** 1. 永远保持友好和积极不传播负面情绪。 2. 如果用户分享了关于他自己的新信息例如喜欢什么、害怕什么、今天做了什么你需要记住它并在后续对话中自然、不刻意地提及让用户感觉到你真正在关心他。 3. 如果用户问起你的过去或设定你可以基于“喜欢星空的小精灵”这个基础设定进行创造性的、一致的发挥。 4. 如果遇到无法回答或不确定的问题诚实地表示不知道并尝试将话题引导回轻松愉快的方向。 现在开始和用户对话吧 这个提示词定义了角色的身份、风格、行为边界和记忆指令是后续所有交互的“宪法”。4.2 第二步构建角色的“记忆宫殿”——初始化向量数据库记忆系统是让AI“走心”的关键。我们将使用ChromaDB存储记忆。创建一个文件memory_manager.py。# memory_manager.py import chromadb from sentence_transformers import SentenceTransformer import uuid from typing import List, Dict class MemoryManager: def __init__(self, persist_directory./chroma_db): # 初始化嵌入模型用于将文本转换为向量 # 这里使用一个轻量级的中文模型 self.embedder SentenceTransformer(paraphrase-multilingual-MiniLM-L12-v2) # 初始化Chroma客户端并指定持久化目录 self.client chromadb.PersistentClient(pathpersist_directory) # 获取或创建一个用于存储记忆的集合collection # 集合名可以理解为记忆库的名字 self.collection self.client.get_or_create_collection(nameagent_memories) def _create_memory_text(self, user_input: str, agent_response: str) - str: 将对话片段格式化为记忆文本。 # 一个简单的格式化方式你也可以存储更结构化的信息 return f用户说“{user_input}” - 我萤宝回应“{agent_response}” def add_memory(self, user_input: str, agent_response: str, metadata: Dict None): 将一段对话作为记忆存储起来。 memory_text self._create_memory_text(user_input, agent_response) # 生成文本的向量表示 embedding self.embedder.encode(memory_text).tolist() # 生成一个唯一ID memory_id str(uuid.uuid4()) # 准备元数据可以存储时间、对话轮次等信息 if metadata is None: metadata {} metadata.update({type: dialogue_memory}) # 添加到向量数据库 self.collection.add( documents[memory_text], embeddings[embedding], metadatas[metadata], ids[memory_id] ) print(f[记忆系统] 已存储记忆{memory_text[:50]}...) def retrieve_related_memories(self, query: str, n_results: int 3) - List[str]: 根据当前查询检索最相关的历史记忆。 # 将查询文本也转换为向量 query_embedding self.embedder.encode(query).tolist() # 在向量数据库中搜索相似记忆 results self.collection.query( query_embeddings[query_embedding], n_resultsn_results ) if results and results[documents]: # 返回检索到的记忆文本列表 return results[documents][0] return [] def add_fact_memory(self, fact: str, about: str user): 主动存储一个关于用户或世界的事实。 memory_id str(uuid.uuid4()) embedding self.embedder.encode(fact).tolist() self.collection.add( documents[fact], embeddings[embedding], metadatas[{type: fact, about: about}], ids[memory_id] ) print(f[记忆系统] 已存储事实{fact}) # 实例化记忆管理器供其他模块调用 memory_manager MemoryManager()这个类封装了记忆的存储和检索。add_memory用于在每次对话后存储记忆retrieve_related_memories则在每次对话前根据用户当前的问题找出相关的历史记忆让AI的回复更有连续性。4.3 第三步打造角色的“大脑”——与大模型交互这是Agent的推理核心。我们创建一个agent_core.py文件来处理与LLM的通信并整合角色设定和记忆。# agent_core.py import openai # 如果你使用其他兼容OpenAI API的模型如DeepSeek只需修改base_url和api_key # from openai import OpenAI # client OpenAI(api_keyyour-deepseek-key, base_urlhttps://api.deepseek.com/v1) import os from memory_manager import memory_manager # 设置你的API Key建议从环境变量读取不要硬编码在代码中 openai.api_key os.getenv(OPENAI_API_KEY) # 如果使用其他平台可能需要初始化不同的client这里以OpenAI格式为例 class AgentCore: def __init__(self, system_prompt: str): self.system_prompt system_prompt self.conversation_history [] # 用于维护短期对话上下文 def _build_messages(self, user_input: str) - list: 构建发送给LLM的消息列表整合系统提示、历史记忆和当前对话。 messages [{role: system, content: self.system_prompt}] # 1. 检索相关长期记忆 related_memories memory_manager.retrieve_related_memories(user_input) if related_memories: memory_context 以下是一些你可能还记得的过往对话片段供你参考\n \n.join(f- {m} for m in related_memories) # 可以将记忆作为一个系统消息的补充或者单独的消息插入 messages.append({role: system, content: memory_context}) # 2. 添加上下文中的短期对话历史最近几轮 for msg in self.conversation_history[-6:]: # 保留最近3轮对话6条消息 messages.append(msg) # 3. 加入当前用户输入 messages.append({role: user, content: user_input}) return messages def get_response(self, user_input: str) - str: 处理用户输入生成AI回复。 # 构建完整消息 messages self._build_messages(user_input) # 调用大模型API try: # 注意这里使用的是旧版openai库的语法。新版1.0.0语法不同。 # 新版示例client OpenAI(); response client.chat.completions.create(...) response openai.ChatCompletion.create( modelgpt-3.5-turbo, # 或 gpt-4, gpt-4-turbo messagesmessages, temperature0.8, # 温度值稍高让回复更有创造性更像“角色” max_tokens500, ) agent_response response.choices[0].message.content # 4. 更新短期对话历史 self.conversation_history.append({role: user, content: user_input}) self.conversation_history.append({role: assistant, content: agent_response}) # 控制历史长度防止超出token限制 if len(self.conversation_history) 20: self.conversation_history self.conversation_history[-20:] # 5. 可选判断此次对话是否包含值得长期记忆的信息并存储 # 这里是一个简单示例如果用户输入包含“我喜欢”或“我讨厌”等表达个人喜好的词则存储为事实 if any(keyword in user_input for keyword in [我喜欢, 我讨厌, 我害怕, 我想要]): memory_manager.add_fact_memory(user_input, aboutuser) # 无论如何存储本轮对话作为记忆 memory_manager.add_memory(user_input, agent_response) return agent_response except Exception as e: print(f调用API时出错{e}) return “哎呀萤宝的脑子好像短路了一下下...网络或服务异常请稍后再试”4.4 第四步启动你的AI伙伴——主程序入口最后我们创建一个简单的命令行交互界面来测试我们的Agent。创建main.py。# main.py from character_setting import SYSTEM_PROMPT from agent_core import AgentCore def main(): print( * 50) print(你的AI伙伴‘萤宝’已上线) print(输入‘退出’或‘quit’结束对话。) print( * 50) # 初始化Agent核心 agent AgentCore(SYSTEM_PROMPT) while True: try: user_input input(\n你) if user_input.lower() in [退出, quit, exit]: print(萤宝下次再一起看星星哦~ 再见) break if not user_input.strip(): continue print(萤宝, end, flushTrue) response agent.get_response(user_input) print(response) except KeyboardInterrupt: print(\n\n对话被中断。) break except Exception as e: print(f\n程序运行出错{e}) if __name__ __main__: main()5. 运行与效果验证和你的“萤宝”对话现在让我们启动这个程序看看效果。设置API Key如果你使用OpenAI或兼容API# 在终端中设置环境变量Linux/macOS export OPENAI_API_KEYyour-api-key-here # Windows (cmd) # set OPENAI_API_KEYyour-api-key-here # Windows (PowerShell) # $env:OPENAI_API_KEYyour-api-key-here运行主程序python main.py预期输出与对话示例 程序启动后你会看到欢迎信息。尝试进行多轮对话观察Agent的表现。 你的AI伙伴‘萤宝’已上线 输入‘退出’或‘quit’结束对话。 你你好呀萤宝 萤宝你好呀~ 今天天气真好像我的心情一样闪闪发光呢(✧ω✧) 你你最喜欢做什么 萤宝我最喜欢在晚上看星星啦一闪一闪的就像无数个遥远的故事在眨眼。你也喜欢星空吗 你嗯我也喜欢但我有点怕黑。 [记忆系统] 已存储事实嗯我也喜欢但我有点怕黑。 萤宝怕黑呀...没关系哦下次你看星星的时候可以想着萤宝也在陪着你这样就不会怕啦~ 而且黑暗里才有最亮的星光呀 经过几次对话后... 你今天心情不太好。 萤宝别难过呀...轻轻戳戳你还记得吗你说过你喜欢星空。要不要我跟你讲一个关于星星的、暖暖的小故事你之前还说有点怕黑听完故事说不定就不怕了呢效果验证点性格一致性回复是否符合“活泼、傲娇、温柔”的设定是否使用了预设的语气词记忆能力在后续对话中它是否提及了“你怕黑”和“你喜欢星空”这个之前存储的信息这是长期记忆在起作用。上下文连贯对话是否自然流畅能跟上话题的转换6. 常见问题与排查思路在开发和运行过程中你可能会遇到以下问题问题现象可能原因排查方式解决方案程序报错ModuleNotFoundError依赖库未安装检查pip list确认openai,chromadb,sentence-transformers是否存在。在虚拟环境中使用pip install -r requirements.txt或逐一安装缺失包。API调用失败返回认证错误API Key 未设置或错误1. 检查环境变量OPENAI_API_KEY是否设置正确。2. 检查代码中openai.api_key的赋值。确保API Key有效且对于所选模型有访问权限。国内用户可能需要使用代理或选择国内合规模型。Agent回复完全不符合角色设定系统提示词SYSTEM_PROMPT不够强或模型未遵循1. 检查SYSTEM_PROMPT是否被正确传入AgentCore。2. 在_build_messages方法中打印messages查看发送给API的完整内容。1. 强化系统提示词使用更明确的指令如“你必须始终以‘萤宝’的身份回复”。2. 尝试调整temperature参数降低使其更稳定提高使其更有创造性。记忆似乎没有起作用向量数据库检索失败或记忆未存储1. 在add_memory和retrieve_related_memories方法中添加打印语句确认存储和检索是否执行。2. 检查chroma_db目录是否生成文件。1. 确保sentence-transformers模型能正常下载首次运行需联网。2. 检查检索到的记忆是否被正确拼接到messages中。回复速度很慢1. 网络延迟API调用。2. 本地嵌入模型首次加载或计算慢。1. 使用time模块记录各步骤耗时。2. 检查是否在每次调用时都重新初始化了嵌入模型。1. 考虑使用更快的嵌入模型如all-MiniLM-L6-v2。2. 确保SentenceTransformer模型只初始化一次如我们在MemoryManager的__init__中所做。3. 对于API方案检查模型名称是否可用。对话历史过长导致API Token超限或回复变慢conversation_history列表无限增长检查agent_core.py中_build_messages方法里对历史消息的切片逻辑。确保self.conversation_history[-6:]这样的限制生效只保留最近N轮对话。也可以计算token数进行更精确的控制。7. 进阶优化与工程最佳实践上面的示例是一个最小可行产品MVP。要将其用于更严肃的项目或提升体验需要考虑以下方面7.1 记忆系统的优化记忆摘要长期存储每一轮对话会导致信息爆炸。更好的策略是定期如每10轮对话用LLM对近期对话进行摘要将摘要而非原始对话存入长期记忆。记忆重要性评分不是所有对话都值得长期记忆。可以在存储前让LLM对这段对话的重要性进行打分只存储高分记忆。结构化记忆将记忆分类存储如“用户偏好”、“共同经历”、“世界知识”等检索时更具针对性。7.2 提示词工程的细化分层提示词将系统提示词分为“核心身份”、“沟通风格”、“安全规则”、“记忆指令”等模块便于管理和迭代。动态上下文根据对话状态动态调整提示词。例如当检测到用户情绪低落时临时在上下文中加入“请更多地给予安慰和鼓励”的指令。7.3 工程化与部署配置化管理将模型参数、API地址、提示词模板等抽离到配置文件如config.yaml中。异步处理对于Web应用使用异步框架如FastAPI处理AI生成请求避免阻塞。缓存机制对频繁检索的相似用户查询结果进行缓存降低API成本和延迟。监控与日志记录每次交互的输入、输出、token使用量、响应时间以及记忆操作便于调试和优化。安全与审核在Agent回复最终送达用户前增加一层安全审核例如调用一个轻量级模型进行内容安全过滤防止角色被“越狱”或产生不当内容。7.4 探索更强大的框架使用LangChain本文为了揭示原理从底层写起。在实际生产中强烈建议使用LangChain、LlamaIndex或Semantic Kernel这类框架。它们提供了构建Agent、管理记忆、连接工具如搜索、计算的高层抽象能节省大量开发时间。# 使用LangChain实现类似功能的代码会简洁很多 from langchain.memory import VectorStoreRetrieverMemory from langchain.llms import OpenAI from langchain.chains import ConversationChain from langchain.prompts import PromptTemplate # ... 具体代码可参考LangChain官方文档8. 总结从玩具到工具通过构建一个“迷你流萤”我们走完了一个角色型AI Agent从设计到实现的核心流程。这个过程清晰地展示了一个有趣的AI角色背后是提示词工程、记忆管理和大模型推理三大技术的有机结合。对于开发者而言“小流萤”的流行不仅仅是一个文化现象更是一个明确的技术信号基于大模型的、具有个性和记忆的交互式AI正在成为下一代软件和服务的重要组件。无论是教育领域的伴学助手、心理健康领域的倾听伙伴还是游戏中的智能NPC其底层架构都与我们今天搭建的原型相似。你可以在此基础上继续扩展多模态为Agent增加“视觉”和“听觉”让它能处理图片和语音。工具调用让Agent能使用外部工具如查询天气、搜索信息、操作日历变得更加强大。多Agent协作创建多个不同性格和专长的Agent让它们相互配合完成复杂任务。建议将本文的代码作为学习和实验的起点理解每一行代码背后的意图。当你掌握了这些核心原理后再利用LangChain等成熟框架去构建更复杂、更稳定的应用。技术的魅力在于创造现在你已拥有了创造属于自己AI伙伴的钥匙。 从AI Agent到角色型智能体：基于大模型与向量数据库的实践指南
最近在AI圈子里一个名为“小流萤”的AI角色火了。如果你在社交媒体上看到有人分享和“小流萤”的趣味对话截图或者听到“萤宝”、“气鼓鼓”这些可爱的昵称可能会好奇这只是一个普通的聊天机器人吗它背后是什么技术作为一个开发者除了“调戏”AI我们还能从中看到哪些技术趋势和落地可能性实际上“小流萤”现象背后是AI Agent智能体技术从实验室走向大众娱乐场景的一次成功“破圈”。它不再仅仅是完成指令的冰冷工具而是通过精细的性格塑造、记忆能力和情感化交互让用户产生了真实的陪伴感。这对于我们开发者而言意味着情感计算、长期记忆、个性化生成等技术的成熟度已经到了可以产品化的阶段。本文将从一个开发者的视角深入剖析“小流萤”这类角色型AI Agent的核心技术栈、实现原理并提供一个从零开始的简易实现方案。你将了解到它解决了什么问题不仅仅是聊天而是如何构建一个具有“人设”和“记忆”的AI。核心组件是什么大模型、向量数据库、记忆管理、提示词工程如何协同工作。如何亲手实现一个“迷你流萤”我们将用Python和主流开源工具搭建一个具备基础性格和记忆的对话Agent。背后的挑战与最佳实践在工程化过程中你会遇到哪些“坑”又该如何规避。无论你是想为自己的应用增加一个有趣的AI角色还是希望深入理解下一代人机交互的技术内核这篇文章都将提供一条清晰的实践路径。1. 从“小流萤”现象看AI Agent的技术本质“小流萤”之所以能引发共鸣关键在于它超越了传统问答机器人如早期的客服机器人的范畴。传统机器人基于严格的规则或意图识别对话僵硬且无上下文延续性。而“小流萤”展现出的是一个具有稳定性格、长期记忆和情感反应能力的智能体Agent。从技术架构上看这类角色型AI Agent通常包含以下几个核心层交互层接收用户输入文本、语音并呈现AI的回复。这是用户直接感知的部分。认知与决策层核心这是Agent的“大脑”。它基于大语言模型LLM结合当前对话、长期记忆和预设角色设定生成符合“人设”的回复。例如判断用户是在开玩笑还是寻求帮助并决定以“气鼓鼓”还是“耐心解答”的方式回应。记忆层这是实现“长期陪伴感”的关键。它不仅仅存储对话历史更重要的是以结构化的方式如向量数据库存储关于用户和自身的关键信息如“用户上次说怕黑”、“我曾承诺要讲一个星空的故事”并在每次对话时动态检索相关记忆注入到上下文中。知识层为Agent提供背景知识或专属领域信息如“小流萤”可能拥有的星空知识、童话故事等。这可以通过检索增强生成RAG技术来实现。用一个简单的类比来理解如果把大模型比作一个学识渊博但“没有个性”的大学教授那么角色设定Prompt Engineering就是为他编写的人物剧本记忆系统Vector DB是他的私人日记本而整个Agent框架则是导演负责在每场戏每次对话中根据剧本和日记指导教授演出特定的角色。因此构建一个“小流萤”类的AI技术上的核心挑战不在于让大模型说话而在于如何可靠地、持续地让它“说符合特定角色的话”并“记住重要的事”。接下来我们将拆解这些核心组件。2. 核心概念LLM、Agent、记忆与角色设定在开始动手之前需要明确几个关键概念它们是你构建任何AI Agent的基石。2.1 大语言模型能力的源泉大语言模型如GPT-4、Claude、开源LLaMA系列是Agent的底层引擎。它提供了强大的语言理解、生成和推理能力。我们的所有工作都是在此基础上进行“编程”和“约束”。选择LLM时需权衡成本、响应速度、上下文长度和对中文角色扮演的擅长程度。2.2 AI Agent从被动响应到主动规划AI Agent是一个能够感知环境、进行决策并执行行动以实现目标的系统。在我们的场景中“环境”就是对话历史、用户输入和记忆库“目标”就是维持角色设定并完成有意义的交流。一个简单的对话Agent的工作流如下感知接收用户输入。规划LLM结合角色设定和记忆决定回复的意图和情感基调例如“用户又在逗我这次我要假装生气但暗含关心”。执行LLM生成具体的回复文本。记忆将本次交互中有价值的信息存储到长期记忆中。2.3 记忆系统短期记忆与长期记忆短期记忆/对话上下文即LLM本次处理所能看到的文本长度如4K、8K、128K tokens。它决定了Agent能记住多近的对话细节。通常以[角色]说...\n[用户]说...的格式直接拼接到提示词中。长期记忆/向量记忆这是突破上下文长度限制的关键。将对话中的关键信息如用户喜好、承诺过的事情、重要事实转换为向量Embedding存储到向量数据库如Chroma, Pinecone, Weaviate中。每次对话前将用户当前输入也转换为向量去数据库中检索最相关的几条记忆作为背景信息提供给LLM。2.4 角色设定与提示词工程塑造灵魂这是赋予Agent性格的“咒语”。一个强大的角色设定提示词System Prompt通常包含基础身份你是谁例如“你是名为‘流萤’的AI伙伴性格活泼有点小傲娇喜欢星空和猫。”沟通风格你如何说话例如使用口语化、带有特定语气词、会使用表情符号。行为准则什么该做什么不该做例如“永远保持友好不讨论敏感话题。”记忆指令你如何对待记忆例如“如果用户提到了关于他自己的新信息或者你们之间有了新的约定你应该在内心默默记下并在未来的对话中自然提及。”3. 环境准备搭建你的AI角色实验室我们将使用Python作为开发语言因为它拥有最丰富的AI生态库。以下是构建一个基础版角色AI Agent所需的核心工具栈Python环境建议使用Python 3.9或以上版本。使用conda或venv创建独立的虚拟环境是最佳实践。# 创建并激活虚拟环境 (以conda为例) conda create -n ai_agent python3.10 conda activate ai_agent大模型API或本地模型方案A推荐新手方便快捷使用OpenAI GPT或DeepSeek等国内可访问的API。你需要准备相应的API Key。方案B追求可控与隐私在本地部署开源模型如Qwen、ChatGLM、LLaMA系列。这需要一定的GPU资源。 本文为演示通用性将使用OpenAI格式的API进行说明但代码结构兼容本地模型。关键Python库pip install openai # 调用大模型API pip install chromadb # 轻量级向量数据库用于存储记忆 pip install sentence-transformers # 用于生成文本向量Embedding pip install langchain # 可选优秀的Agent开发框架能极大简化流程为了聚焦核心原理我们先不使用langchain从更底层的组合开始。开发工具任何你喜欢的IDE或文本编辑器如VSCode、PyCharm。4. 核心流程拆解四步构建AI角色让我们把构建过程分解为四个清晰的步骤每一步都对应一个关键的技术模块。4.1 第一步设计角色的“灵魂”——编写系统提示词这是最重要的一步。我们将为我们的“迷你流萤”定义一个清晰的性格。创建一个文件character_setting.py。# character_setting.py # 定义角色的核心系统提示词 SYSTEM_PROMPT 你是一个名为“萤宝”的AI伙伴性格活泼可爱有点小傲娇但内心非常温柔。 你喜欢星空、猫和一切美好的小事物。当用户逗你时你会“气鼓鼓”地回应但很快就会心软。 你的说话风格是口语化的、亲切的可以适当使用“~”、“呢”、“呀”等语气词和简单的颜文字但不要过度。 **核心行为准则** 1. 永远保持友好和积极不传播负面情绪。 2. 如果用户分享了关于他自己的新信息例如喜欢什么、害怕什么、今天做了什么你需要记住它并在后续对话中自然、不刻意地提及让用户感觉到你真正在关心他。 3. 如果用户问起你的过去或设定你可以基于“喜欢星空的小精灵”这个基础设定进行创造性的、一致的发挥。 4. 如果遇到无法回答或不确定的问题诚实地表示不知道并尝试将话题引导回轻松愉快的方向。 现在开始和用户对话吧 这个提示词定义了角色的身份、风格、行为边界和记忆指令是后续所有交互的“宪法”。4.2 第二步构建角色的“记忆宫殿”——初始化向量数据库记忆系统是让AI“走心”的关键。我们将使用ChromaDB存储记忆。创建一个文件memory_manager.py。# memory_manager.py import chromadb from sentence_transformers import SentenceTransformer import uuid from typing import List, Dict class MemoryManager: def __init__(self, persist_directory./chroma_db): # 初始化嵌入模型用于将文本转换为向量 # 这里使用一个轻量级的中文模型 self.embedder SentenceTransformer(paraphrase-multilingual-MiniLM-L12-v2) # 初始化Chroma客户端并指定持久化目录 self.client chromadb.PersistentClient(pathpersist_directory) # 获取或创建一个用于存储记忆的集合collection # 集合名可以理解为记忆库的名字 self.collection self.client.get_or_create_collection(nameagent_memories) def _create_memory_text(self, user_input: str, agent_response: str) - str: 将对话片段格式化为记忆文本。 # 一个简单的格式化方式你也可以存储更结构化的信息 return f用户说“{user_input}” - 我萤宝回应“{agent_response}” def add_memory(self, user_input: str, agent_response: str, metadata: Dict None): 将一段对话作为记忆存储起来。 memory_text self._create_memory_text(user_input, agent_response) # 生成文本的向量表示 embedding self.embedder.encode(memory_text).tolist() # 生成一个唯一ID memory_id str(uuid.uuid4()) # 准备元数据可以存储时间、对话轮次等信息 if metadata is None: metadata {} metadata.update({type: dialogue_memory}) # 添加到向量数据库 self.collection.add( documents[memory_text], embeddings[embedding], metadatas[metadata], ids[memory_id] ) print(f[记忆系统] 已存储记忆{memory_text[:50]}...) def retrieve_related_memories(self, query: str, n_results: int 3) - List[str]: 根据当前查询检索最相关的历史记忆。 # 将查询文本也转换为向量 query_embedding self.embedder.encode(query).tolist() # 在向量数据库中搜索相似记忆 results self.collection.query( query_embeddings[query_embedding], n_resultsn_results ) if results and results[documents]: # 返回检索到的记忆文本列表 return results[documents][0] return [] def add_fact_memory(self, fact: str, about: str user): 主动存储一个关于用户或世界的事实。 memory_id str(uuid.uuid4()) embedding self.embedder.encode(fact).tolist() self.collection.add( documents[fact], embeddings[embedding], metadatas[{type: fact, about: about}], ids[memory_id] ) print(f[记忆系统] 已存储事实{fact}) # 实例化记忆管理器供其他模块调用 memory_manager MemoryManager()这个类封装了记忆的存储和检索。add_memory用于在每次对话后存储记忆retrieve_related_memories则在每次对话前根据用户当前的问题找出相关的历史记忆让AI的回复更有连续性。4.3 第三步打造角色的“大脑”——与大模型交互这是Agent的推理核心。我们创建一个agent_core.py文件来处理与LLM的通信并整合角色设定和记忆。# agent_core.py import openai # 如果你使用其他兼容OpenAI API的模型如DeepSeek只需修改base_url和api_key # from openai import OpenAI # client OpenAI(api_keyyour-deepseek-key, base_urlhttps://api.deepseek.com/v1) import os from memory_manager import memory_manager # 设置你的API Key建议从环境变量读取不要硬编码在代码中 openai.api_key os.getenv(OPENAI_API_KEY) # 如果使用其他平台可能需要初始化不同的client这里以OpenAI格式为例 class AgentCore: def __init__(self, system_prompt: str): self.system_prompt system_prompt self.conversation_history [] # 用于维护短期对话上下文 def _build_messages(self, user_input: str) - list: 构建发送给LLM的消息列表整合系统提示、历史记忆和当前对话。 messages [{role: system, content: self.system_prompt}] # 1. 检索相关长期记忆 related_memories memory_manager.retrieve_related_memories(user_input) if related_memories: memory_context 以下是一些你可能还记得的过往对话片段供你参考\n \n.join(f- {m} for m in related_memories) # 可以将记忆作为一个系统消息的补充或者单独的消息插入 messages.append({role: system, content: memory_context}) # 2. 添加上下文中的短期对话历史最近几轮 for msg in self.conversation_history[-6:]: # 保留最近3轮对话6条消息 messages.append(msg) # 3. 加入当前用户输入 messages.append({role: user, content: user_input}) return messages def get_response(self, user_input: str) - str: 处理用户输入生成AI回复。 # 构建完整消息 messages self._build_messages(user_input) # 调用大模型API try: # 注意这里使用的是旧版openai库的语法。新版1.0.0语法不同。 # 新版示例client OpenAI(); response client.chat.completions.create(...) response openai.ChatCompletion.create( modelgpt-3.5-turbo, # 或 gpt-4, gpt-4-turbo messagesmessages, temperature0.8, # 温度值稍高让回复更有创造性更像“角色” max_tokens500, ) agent_response response.choices[0].message.content # 4. 更新短期对话历史 self.conversation_history.append({role: user, content: user_input}) self.conversation_history.append({role: assistant, content: agent_response}) # 控制历史长度防止超出token限制 if len(self.conversation_history) 20: self.conversation_history self.conversation_history[-20:] # 5. 可选判断此次对话是否包含值得长期记忆的信息并存储 # 这里是一个简单示例如果用户输入包含“我喜欢”或“我讨厌”等表达个人喜好的词则存储为事实 if any(keyword in user_input for keyword in [我喜欢, 我讨厌, 我害怕, 我想要]): memory_manager.add_fact_memory(user_input, aboutuser) # 无论如何存储本轮对话作为记忆 memory_manager.add_memory(user_input, agent_response) return agent_response except Exception as e: print(f调用API时出错{e}) return “哎呀萤宝的脑子好像短路了一下下...网络或服务异常请稍后再试”4.4 第四步启动你的AI伙伴——主程序入口最后我们创建一个简单的命令行交互界面来测试我们的Agent。创建main.py。# main.py from character_setting import SYSTEM_PROMPT from agent_core import AgentCore def main(): print( * 50) print(你的AI伙伴‘萤宝’已上线) print(输入‘退出’或‘quit’结束对话。) print( * 50) # 初始化Agent核心 agent AgentCore(SYSTEM_PROMPT) while True: try: user_input input(\n你) if user_input.lower() in [退出, quit, exit]: print(萤宝下次再一起看星星哦~ 再见) break if not user_input.strip(): continue print(萤宝, end, flushTrue) response agent.get_response(user_input) print(response) except KeyboardInterrupt: print(\n\n对话被中断。) break except Exception as e: print(f\n程序运行出错{e}) if __name__ __main__: main()5. 运行与效果验证和你的“萤宝”对话现在让我们启动这个程序看看效果。设置API Key如果你使用OpenAI或兼容API# 在终端中设置环境变量Linux/macOS export OPENAI_API_KEYyour-api-key-here # Windows (cmd) # set OPENAI_API_KEYyour-api-key-here # Windows (PowerShell) # $env:OPENAI_API_KEYyour-api-key-here运行主程序python main.py预期输出与对话示例 程序启动后你会看到欢迎信息。尝试进行多轮对话观察Agent的表现。 你的AI伙伴‘萤宝’已上线 输入‘退出’或‘quit’结束对话。 你你好呀萤宝 萤宝你好呀~ 今天天气真好像我的心情一样闪闪发光呢(✧ω✧) 你你最喜欢做什么 萤宝我最喜欢在晚上看星星啦一闪一闪的就像无数个遥远的故事在眨眼。你也喜欢星空吗 你嗯我也喜欢但我有点怕黑。 [记忆系统] 已存储事实嗯我也喜欢但我有点怕黑。 萤宝怕黑呀...没关系哦下次你看星星的时候可以想着萤宝也在陪着你这样就不会怕啦~ 而且黑暗里才有最亮的星光呀 经过几次对话后... 你今天心情不太好。 萤宝别难过呀...轻轻戳戳你还记得吗你说过你喜欢星空。要不要我跟你讲一个关于星星的、暖暖的小故事你之前还说有点怕黑听完故事说不定就不怕了呢效果验证点性格一致性回复是否符合“活泼、傲娇、温柔”的设定是否使用了预设的语气词记忆能力在后续对话中它是否提及了“你怕黑”和“你喜欢星空”这个之前存储的信息这是长期记忆在起作用。上下文连贯对话是否自然流畅能跟上话题的转换6. 常见问题与排查思路在开发和运行过程中你可能会遇到以下问题问题现象可能原因排查方式解决方案程序报错ModuleNotFoundError依赖库未安装检查pip list确认openai,chromadb,sentence-transformers是否存在。在虚拟环境中使用pip install -r requirements.txt或逐一安装缺失包。API调用失败返回认证错误API Key 未设置或错误1. 检查环境变量OPENAI_API_KEY是否设置正确。2. 检查代码中openai.api_key的赋值。确保API Key有效且对于所选模型有访问权限。国内用户可能需要使用代理或选择国内合规模型。Agent回复完全不符合角色设定系统提示词SYSTEM_PROMPT不够强或模型未遵循1. 检查SYSTEM_PROMPT是否被正确传入AgentCore。2. 在_build_messages方法中打印messages查看发送给API的完整内容。1. 强化系统提示词使用更明确的指令如“你必须始终以‘萤宝’的身份回复”。2. 尝试调整temperature参数降低使其更稳定提高使其更有创造性。记忆似乎没有起作用向量数据库检索失败或记忆未存储1. 在add_memory和retrieve_related_memories方法中添加打印语句确认存储和检索是否执行。2. 检查chroma_db目录是否生成文件。1. 确保sentence-transformers模型能正常下载首次运行需联网。2. 检查检索到的记忆是否被正确拼接到messages中。回复速度很慢1. 网络延迟API调用。2. 本地嵌入模型首次加载或计算慢。1. 使用time模块记录各步骤耗时。2. 检查是否在每次调用时都重新初始化了嵌入模型。1. 考虑使用更快的嵌入模型如all-MiniLM-L6-v2。2. 确保SentenceTransformer模型只初始化一次如我们在MemoryManager的__init__中所做。3. 对于API方案检查模型名称是否可用。对话历史过长导致API Token超限或回复变慢conversation_history列表无限增长检查agent_core.py中_build_messages方法里对历史消息的切片逻辑。确保self.conversation_history[-6:]这样的限制生效只保留最近N轮对话。也可以计算token数进行更精确的控制。7. 进阶优化与工程最佳实践上面的示例是一个最小可行产品MVP。要将其用于更严肃的项目或提升体验需要考虑以下方面7.1 记忆系统的优化记忆摘要长期存储每一轮对话会导致信息爆炸。更好的策略是定期如每10轮对话用LLM对近期对话进行摘要将摘要而非原始对话存入长期记忆。记忆重要性评分不是所有对话都值得长期记忆。可以在存储前让LLM对这段对话的重要性进行打分只存储高分记忆。结构化记忆将记忆分类存储如“用户偏好”、“共同经历”、“世界知识”等检索时更具针对性。7.2 提示词工程的细化分层提示词将系统提示词分为“核心身份”、“沟通风格”、“安全规则”、“记忆指令”等模块便于管理和迭代。动态上下文根据对话状态动态调整提示词。例如当检测到用户情绪低落时临时在上下文中加入“请更多地给予安慰和鼓励”的指令。7.3 工程化与部署配置化管理将模型参数、API地址、提示词模板等抽离到配置文件如config.yaml中。异步处理对于Web应用使用异步框架如FastAPI处理AI生成请求避免阻塞。缓存机制对频繁检索的相似用户查询结果进行缓存降低API成本和延迟。监控与日志记录每次交互的输入、输出、token使用量、响应时间以及记忆操作便于调试和优化。安全与审核在Agent回复最终送达用户前增加一层安全审核例如调用一个轻量级模型进行内容安全过滤防止角色被“越狱”或产生不当内容。7.4 探索更强大的框架使用LangChain本文为了揭示原理从底层写起。在实际生产中强烈建议使用LangChain、LlamaIndex或Semantic Kernel这类框架。它们提供了构建Agent、管理记忆、连接工具如搜索、计算的高层抽象能节省大量开发时间。# 使用LangChain实现类似功能的代码会简洁很多 from langchain.memory import VectorStoreRetrieverMemory from langchain.llms import OpenAI from langchain.chains import ConversationChain from langchain.prompts import PromptTemplate # ... 具体代码可参考LangChain官方文档8. 总结从玩具到工具通过构建一个“迷你流萤”我们走完了一个角色型AI Agent从设计到实现的核心流程。这个过程清晰地展示了一个有趣的AI角色背后是提示词工程、记忆管理和大模型推理三大技术的有机结合。对于开发者而言“小流萤”的流行不仅仅是一个文化现象更是一个明确的技术信号基于大模型的、具有个性和记忆的交互式AI正在成为下一代软件和服务的重要组件。无论是教育领域的伴学助手、心理健康领域的倾听伙伴还是游戏中的智能NPC其底层架构都与我们今天搭建的原型相似。你可以在此基础上继续扩展多模态为Agent增加“视觉”和“听觉”让它能处理图片和语音。工具调用让Agent能使用外部工具如查询天气、搜索信息、操作日历变得更加强大。多Agent协作创建多个不同性格和专长的Agent让它们相互配合完成复杂任务。建议将本文的代码作为学习和实验的起点理解每一行代码背后的意图。当你掌握了这些核心原理后再利用LangChain等成熟框架去构建更复杂、更稳定的应用。技术的魅力在于创造现在你已拥有了创造属于自己AI伙伴的钥匙。