AI和大模型——Agent的memory

一、记忆AI就是对人脑的仿生学迈出的一小步。人类的大脑最重要的一个特点就是存在着记忆英文一般表述为memory。因为有了记忆人才可以去学习知识、研究科学以及与其它人之间进行交流。同样人的大脑的记忆是有限的所以大脑会在适当的时间把他认为不重要的东西忘记。一个人的记忆力越好从理论上看其它能力可能会更优秀。或者反过来说一个人越优秀理论上其记忆能力越好。二、Agent的记忆既然AI和大模型也是需要通过提示词来进行那么如何管理和记忆这些提示词的上下文就非常重要。由于大模型的特点其作为无状态的机制本身就存在着一些固有的问题如上下文窗口大小有限、跨会话丢失上下文以及无法持续自行处理相关上下文等。所以现在大多数情况下大模型的提示词记忆大多已经转到了Agent中。也就是说Agent现在负责与大模型进行上下文交互的管理即处理相关的记忆。正常的情况下Agent与大模型的交互不可能一轮就会达到目标而是需要多轮甚至长期的反复的上下文交互才能够达到目标。那么如何处理历史的上下文相关资料则成为记忆的一个重要的功能。但正如人的记忆力它会记忆也会忘记丢弃一些上下文信息怎么处理这些上期的上下文信息就是一个必须要解决的技术。三、记忆的类型回想一下我们学习时老师经常提到的一些记忆的方式什么艾宾浩斯记忆法、联想记忆、思维导图等各种方法。从心理 学上来看主要分为三种即感觉记忆、短时记忆和长时记忆。Agent也可以参考它们分为三种情况有的资料里也分成四种大家可以查找参阅短期记忆它类似于短期记忆把各种随时输入的上下文窗口内的信息上进行记忆长期基础记忆它包含了一部分的感觉记忆即工作场景的内容、时间和地点等等也包括语义上的记忆如一些概念、语法、法规等等程序记忆它侧重的是“动作”和“流程”的记忆比如写一个法律文书需要的整体的流程之类的。对于Agent来说要想实现一个好的memory管理必须支持短期长期的多层管理体系。四、Agent对memory的处理方式明白了记忆的类型就可以有会对性的进行记忆的处理。对于Agent来说面对这三种情况解决的方法主要是使用滑动窗口解决短期记忆使用摘要压缩变相增加滑动窗口的大小使用RAG向量数据库存储处理长期和程序记忆在实际的应用中Agent往往不会采用一种方式来处理记忆而是会综合的使用上面的三种整体的运用达到最优的效果。但这里涉及到了一个很重要的问题Agent的反思机制ReAct和重要性评分机制。它可以准确的触发大模型的抽象分析和丢弃的原则。通过这层机制也可以让Agent变得更智能减少AI与用户的交互复杂度。五、Mem0框架在Agent的记忆处理中有一个Mem0框架它从根本上解决了大模型的无状态控制问题。它通过记忆提取、存储和检索以期能够实现类似人的大脑一样的记忆处理过程。它把记忆行为划分为四类新增(ADD)、更新(UPDATE)、删除(DELETE)还是忽略(NOOP)已有的记忆确保记忆库的准确性。Mem0框架分为三层智能处理层一个智能引擎参与和用户的交互并进行实时的分析通过记忆状态进行评估管理实现上面的四种操作行为处理。它为后续进行检索创建相关的权重依据混合存储层采用三层混合存储策略并根据实际情况选择最优的方式。即向量数据库语义检索、知识图谱关系依赖和键值数据库元数据管理精准检索层在大模型需要进行历史上下文历史记忆时框架会根据实际需要对存储的内容进行检索并通过多级过滤保证返回数据信息的准确性和相关性其实AI现在的发展和互联网发展的过程很相似从一开始的各自为战到慢慢的小范围内的统一框架最后形成大的跨领域的框架。Mem0只是一个开始大家可以拭目以待。六、总结AI的发展到底会是什么样目前看没有权威的说法也不可能有。这对于开发和从业人员来说反而是好事。正如互联网刚刚起步机会到处都是。但正是机会多才不知道哪个是正确的。看人品拼运气。