今天分享的方案是海德堡大学联合Aleph Alpha提出GLM-RAG用图语言模型替代GNN做图RAG检索器让query在第一注意力层就与子图融合语义判断早于结构传播。多跳OOD任务超GFM-RAG和G-Reasoner达SOTA。落脚点在这知识图谱上的RAG需要检索器同时捕捉图结构和语义。现有GNN检索器GFM-RAG浅层语义集成seed实体用query embedding初始化其余节点用零向量节点表示由相对seed的图距离驱动而非语义特征节点文本仅识别seed检索中无进一步作用典型失败问哪个国家维持边境部队并声称Bernd Baumgart为公民GFM-RAG把东德和1976夏季奥运会当同等相关邻居结构相似但语义无关检索出Bruce Jenner和Kourtney Kardashian。核心思路GLM-RAG沿用GFM-RAG的KG/QA构建/排序/生成机制仅替换KG检索组件为GLM检索器形成受控对比环境。GLM把预训练LM转为graph transformer保留语言理解能力让RAG在token级原生处理文本属性图。GLM检索器GLM检索器与GNN检索器根本不同GNN不利用图中丰富文本特征仅依赖query和原始图结构GLM通过GLM的文本编码能力充分利用图中语义。流程围绕seed实体抽取局部子图转为文本三元组序列节点和关系用底层LM自己的tokenizer和token embedding层tokenizetoken通过LM层用attention masking编码图结构逐实体embedding与投影query向量element-wise相乘过scoring head关键差异GNN仅seed实体用非零embedding初始化query和图结构分离传播GLM检索器query-graph交互在第一注意力层就发生–问题文本在GLM第一注意力层与抽取子图结构融合语义判断早于结构传播GLM桥接两种注意力模式GLM把预训练LM转为graph transformer两步知识子图预处理边节点标签单独tokenize按原图结构连接每个三元组表为类似自然文本的token序列同时跨三元组共享节点token修改LM自注意力用相对位置编码捕捉同三元组内token对距离使模型像读顺序文本一样读三元组两种注意力模式LM典型注意力模式应用于三元组像读顺序文本GNN-like注意力模式捕捉整体图结构结果模型能像读连续语言一样读带标签图同时具备强语言理解和图推理能力。KG构建与排序生成文档语料用LM-based NER构建实体级KG文档-元组[(EMNLP_2026, is_in, Budapest), (Budapest, capital_of, Hungary)]查询转seed实体作KG起点排序后最相关实体映射回文档LM基于query和top-k文档生成答案实验结果多跳OOD达SOTAMultihopRAG Recall2 60.0超GFM-RAG(39.0)和G-Reasoner 20点G-Bench Medical 76.9/CS 76.6达SOTANovel第二。域内多跳可比MuSiQue Recall2 76.9HotPotQA EM 55.7最佳GFM-RAG与GFM-RAG*有无预训练近乎相同质疑预训练必要性GFM-RAG和GLM-RAG最佳证明利用节点语义的优势。单跳vanilla RAG全胜扩展性7个单跳OOD数据集vanilla RAG全胜所有图RAG方法单跳不需多跳推理GLM-RAG随模型规模域内和OOD都上升GFM-RAG*无提升GFM-RAG仅域内与GNN过拟合/过平滑一致。学AI大模型的正确顺序千万不要搞错了2026年AI风口已来各行各业的AI渗透肉眼可见超多公司要么转型做AI相关产品要么高薪挖AI技术人才机遇直接摆在眼前有往AI方向发展或者本身有后端编程基础的朋友直接冲AI大模型应用开发转岗超合适就算暂时不打算转岗了解大模型、RAG、Prompt、Agent这些热门概念能上手做简单项目也绝对是求职加分王给大家整理了超全最新的AI大模型应用开发学习清单和资料手把手帮你快速入门学习路线:✅大模型基础认知—大模型核心原理、发展历程、主流模型GPT、文心一言等特点解析✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑✅开发基础能力—Python进阶、API接口调用、大模型开发框架LangChain等实操✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经以上6大模块看似清晰好上手实则每个部分都有扎实的核心内容需要吃透我把大模型的学习全流程已经整理好了抓住AI时代风口轻松解锁职业新可能希望大家都能把握机遇实现薪资/职业跃迁这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】 GraphRAG退场，GLM-RAG换秘籍了
今天分享的方案是海德堡大学联合Aleph Alpha提出GLM-RAG用图语言模型替代GNN做图RAG检索器让query在第一注意力层就与子图融合语义判断早于结构传播。多跳OOD任务超GFM-RAG和G-Reasoner达SOTA。落脚点在这知识图谱上的RAG需要检索器同时捕捉图结构和语义。现有GNN检索器GFM-RAG浅层语义集成seed实体用query embedding初始化其余节点用零向量节点表示由相对seed的图距离驱动而非语义特征节点文本仅识别seed检索中无进一步作用典型失败问哪个国家维持边境部队并声称Bernd Baumgart为公民GFM-RAG把东德和1976夏季奥运会当同等相关邻居结构相似但语义无关检索出Bruce Jenner和Kourtney Kardashian。核心思路GLM-RAG沿用GFM-RAG的KG/QA构建/排序/生成机制仅替换KG检索组件为GLM检索器形成受控对比环境。GLM把预训练LM转为graph transformer保留语言理解能力让RAG在token级原生处理文本属性图。GLM检索器GLM检索器与GNN检索器根本不同GNN不利用图中丰富文本特征仅依赖query和原始图结构GLM通过GLM的文本编码能力充分利用图中语义。流程围绕seed实体抽取局部子图转为文本三元组序列节点和关系用底层LM自己的tokenizer和token embedding层tokenizetoken通过LM层用attention masking编码图结构逐实体embedding与投影query向量element-wise相乘过scoring head关键差异GNN仅seed实体用非零embedding初始化query和图结构分离传播GLM检索器query-graph交互在第一注意力层就发生–问题文本在GLM第一注意力层与抽取子图结构融合语义判断早于结构传播GLM桥接两种注意力模式GLM把预训练LM转为graph transformer两步知识子图预处理边节点标签单独tokenize按原图结构连接每个三元组表为类似自然文本的token序列同时跨三元组共享节点token修改LM自注意力用相对位置编码捕捉同三元组内token对距离使模型像读顺序文本一样读三元组两种注意力模式LM典型注意力模式应用于三元组像读顺序文本GNN-like注意力模式捕捉整体图结构结果模型能像读连续语言一样读带标签图同时具备强语言理解和图推理能力。KG构建与排序生成文档语料用LM-based NER构建实体级KG文档-元组[(EMNLP_2026, is_in, Budapest), (Budapest, capital_of, Hungary)]查询转seed实体作KG起点排序后最相关实体映射回文档LM基于query和top-k文档生成答案实验结果多跳OOD达SOTAMultihopRAG Recall2 60.0超GFM-RAG(39.0)和G-Reasoner 20点G-Bench Medical 76.9/CS 76.6达SOTANovel第二。域内多跳可比MuSiQue Recall2 76.9HotPotQA EM 55.7最佳GFM-RAG与GFM-RAG*有无预训练近乎相同质疑预训练必要性GFM-RAG和GLM-RAG最佳证明利用节点语义的优势。单跳vanilla RAG全胜扩展性7个单跳OOD数据集vanilla RAG全胜所有图RAG方法单跳不需多跳推理GLM-RAG随模型规模域内和OOD都上升GFM-RAG*无提升GFM-RAG仅域内与GNN过拟合/过平滑一致。学AI大模型的正确顺序千万不要搞错了2026年AI风口已来各行各业的AI渗透肉眼可见超多公司要么转型做AI相关产品要么高薪挖AI技术人才机遇直接摆在眼前有往AI方向发展或者本身有后端编程基础的朋友直接冲AI大模型应用开发转岗超合适就算暂时不打算转岗了解大模型、RAG、Prompt、Agent这些热门概念能上手做简单项目也绝对是求职加分王给大家整理了超全最新的AI大模型应用开发学习清单和资料手把手帮你快速入门学习路线:✅大模型基础认知—大模型核心原理、发展历程、主流模型GPT、文心一言等特点解析✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑✅开发基础能力—Python进阶、API接口调用、大模型开发框架LangChain等实操✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经以上6大模块看似清晰好上手实则每个部分都有扎实的核心内容需要吃透我把大模型的学习全流程已经整理好了抓住AI时代风口轻松解锁职业新可能希望大家都能把握机遇实现薪资/职业跃迁这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】