目录前置案例——多模态编码应用实践案例一双塔架构案例二统一编码器架构案例三多向量 Late Interaction 架构一、概念介绍二、技术难点2.1 跨模态异构与语义对齐2.2 细粒度交互与效率的平衡2.3 计算与存储资源瓶颈2.4 长尾分布与泛化能力不足2.5 标注数据稀缺与评估体系不完善三、典型的模型和应用3.1 双塔/双编码器Bi-encoder模型3.2 统一编码器Unified Encoder模型3.3 多向量嵌入 Late Interaction 模型四、发展趋势摘要多模态编码是文本数据与其它模态数据组合表示、对齐表示的重要技术专门支撑多模态、跨模态应用。本文系统介绍了多模态编码的三大主流模型架构及其应用。首先通过三个可运行案例直观对比了双塔模型、统一编码器和多向量Late Interaction模型在图文检索任务中的实现差异。随后深入阐述了多模态编码的概念、技术难点包括跨模态语义对齐、效率与精度平衡、资源瓶颈等并详细分析了三类典型模型的原理、代码实现与适用场景。最后总结了各类模型的优缺点及未来发展趋势为构建高效、准确的多模态检索系统提供实践指导。前置案例——多模态编码应用实践为了直观感受三类模型的差异我们先通过三个实际可运行的小案例分别使用双塔模型、统一编码器和多向量Late Interaction模型完成同一个任务——从图像中检索出与文本查询最匹配的内容对比不同模型的实现方式、输入输出和效果。案例一双塔架构概念说明双塔架构的核心是「两个编码器完全独立分别编码查询和候选」图像与文本各自生成单条向量最终通过余弦相似度计算匹配程度。 因为编码过程完全解耦文档侧向量可以离线预计算并存入向量数据库检索时仅需编码查询是百万级以上大规模检索的标准方案。代码演示import torch import torch.nn.functional as F from transformers import CLIPModel, CLIPProcessor from PIL import Image # 替换为你的本地模型路径 model_path 你的模型路径 model CLIPModel.from_pretrained(model_path).eval() processor CLIPProcessor.from_pretrained(model_path) # 输入预处理 texts [a cat on a sofa, a car on the road] inputs processor( texttexts, imagesImage.open(你的图片路径), return_tensorspt, paddingTrue ) # 【双塔核心】 with torch.no_grad(): outputs model(**inputs) image_emb outputs.image_embeds # 图像嵌入 (1, dim) text_emb outputs.text_embeds # 文本嵌入 (2, dim) # 归一化并计算余弦相似度 image_emb F.normalize(image_emb, p2, dim1) text_emb F.normalize(text_emb, p2, dim1) similarity (image_emb text_emb.T).squeeze() print(相似度结果, similarity.tolist())输出示例相似度结果 [0.2788020670413971, 0.16158394515514374]案例二统一编码器架构概念说明统一编码器的核心是「单一共用骨干网络图文拼接后联合输入」图像特征与文本 token 拼接后一起进入模型通过自注意力实现深度的跨模态交互。 它能捕捉细粒度语义关联支持问答、推理等复杂任务但每对查询 - 候选都需完整前向计算无法离线预计算适合高精度重排序或小规模场景。代码演示import torch from transformers import Qwen2VLForConditionalGeneration, AutoProcessor from PIL import Image # 加载本地模型请替换为实际路径 model_path 你的模型路径 model Qwen2VLForConditionalGeneration.from_pretrained( model_path, torch_dtypeauto, device_mapauto ) processor AutoProcessor.from_pretrained(model_path) # 准备图像和查询 image Image.open(你的图片路径).convert(RGB) query 请描述这张图片的内容 # 构建统一编码器的输入图像和文本拼接后一起送入模型 messages [{role: user, content: [ {type: image, image: image}, {type: text, text: query} ]}] text processor.apply_chat_template(messages, tokenizeFalse, add_generation_promptTrue) inputs processor(text[text], images[image], return_tensorspt, paddingTrue).to(model.device) # 一次前向生成回答深度交互 with torch.no_grad(): generated_ids model.generate(**inputs, max_new_tokens128) output processor.batch_decode(generated_ids, skip_special_tokensTrue)[0] print(output)输出示例system You are a helpful assistant. user 请描述这张图片的内容 assistant 这张图片展示了一只猫正在沙发上睡觉。猫的身体侧卧在沙发上头枕在柔软的垫子上身体放松显得非 常舒适和安详。背景是白色的沙发和窗帘光线柔和营造出一种宁静的氛围。猫的毛色是灰色和白色相间 的条纹显得非常可爱。案例三多向量 Late Interaction 架构概念说明多向量延迟交互架构是前两者的折中编码阶段图文仍各自独立保留离线预计算优势但不再压缩为单个全局向量而是输出一组 token/patch 级的细粒度向量仅在匹配打分阶段做延迟交互。 它既保留了双塔的检索效率又能精准匹配文档中的公式、表格、代码片段等局部细节是视觉文档 RAG 的主流方案。代码演示import torch from PIL import Image from colpali_engine.models import ColPali, ColPaliProcessor # 本地模型路径 model_path 你的模型路径 # 自动选择设备与数据类型 device cuda if torch.cuda.is_available() else cpu dtype torch.bfloat16 if device cuda else torch.float32 # 加载模型与处理器 model ColPali.from_pretrained( model_path, torch_dtypedtype, device_mapdevice, local_files_onlyTrue ).eval() processor ColPaliProcessor.from_pretrained(model_path, local_files_onlyTrue) # 单张文档截图 单条查询 image Image.open(你的图片路径).convert(RGB) query 包含傅里叶变换公式的论文截图 # 【多向量Late Interaction核心】 # 图像、查询各自输出一组多粒度向量不是单个全局向量 batch_img processor.process_images([image]).to(model.device) batch_q processor.process_queries([query]).to(model.device) with torch.no_grad(): image_emb model(**batch_img) query_emb model(**batch_q) # Late‑Interactionpatch‑token之间细粒度匹配打分 score processor.score_multi_vector(query_emb, image_emb) print(f细粒度匹配得分: {score[0][0].item():.4f})输出示例细粒度匹配得分: 9.0684一、概念介绍随着互联网数据的爆炸式增长文本、图像、音频、视频等多模态数据已成为信息的主要载体。传统的单一模态处理方法难以充分挖掘跨模态信息之间的关联而多模态编码Multimodal Encoding旨在将不同模态的数据映射到统一的向量空间使得语义相近的内容在该空间中距离更近从而支持跨模态检索、生成、理解等任务。例如一段描述“一只猫在沙发上”的文本与一张对应图片经过编码后应获得相似的向量表示而一段“如何做红烧肉”的文本与一张风景照则应相距较远。多模态编码的核心任务是将异构的原始数据转换为可计算的数值表示。对于文本通常使用分词器将句子切分为 token再通过语言模型编码为向量对于图像则通过视觉编码器如 Vision Transformer将像素网格编码为特征向量。编码后不同模态的向量被对齐到同一语义空间中从而可以进行相似度计算、聚类、分类等操作。多模态编码的应用场景十分广泛跨模态检索如以文搜图输入文字找图片、以图搜文输入图片找描述、图文互搜等。多模态生成如文生图DALL·E、Stable Diffusion、图生文图像描述生成等其基础往往依赖对齐的图文编码。多模态理解如视觉问答VQA、视觉推理、文档理解等需要模型同时理解图文信息。推荐系统结合用户行为、商品图像、文本描述等多模态信息进行个性化推荐。自动驾驶融合摄像头图像、雷达点云、地图文本等实现环境感知。在多模态检索场景中编码模型的设计直接影响检索的精度、效率和适用规模。根据架构和交互方式的不同主流的多模态检索编码模型可分为三大类这三类模型各有侧重适用于不同的任务场景双塔/双编码器模型查询和候选分别独立编码通过余弦相似度匹配效率高适合大规模检索。统一编码器模型查询和候选联合输入单一共享骨干网络进行深度交互精度高但计算成本大。多向量嵌入 Late Interaction 模型输入被编码为多个 token 级向量在匹配阶段进行延迟交互计算兼顾效率与精度。二、技术难点多模态编码虽然发展迅速但仍面临诸多挑战。以下从数据、模型、训练和部署等角度分析主要技术难点。2.1 跨模态异构与语义对齐文本是离散符号序列图像是连续像素矩阵两者统计特性差异巨大。简单将特征映射到同一空间并不能保证语义一致。跨模态对齐往往是非对称、细粒度的一个词可能对应图像中的某个区域一句话可能对应视频中的一段动作。模型必须学习深层语义对应而非仅依赖表面统计关联。当前对比学习方法多实现全局对齐区域级、物体级的细粒度对齐仍显不足成为提升理解精度的关键瓶颈。2.2 细粒度交互与效率的平衡高精度检索需要细粒度交互如 token 级对齐、交叉注意力但计算成本高难以大规模部署粗粒度匹配如全局向量相似度高效却丢失局部信息。双塔模型压缩整个输入为单向量无法区分“红色苹果”与“红色汽车”统一编码器精度高但每对查询-候选都需完整前向传播无法离线预计算。多向量Late Interaction 折中但存储和检索复杂度仍高于双塔。如何在精度与效率间根据场景权衡是系统设计的核心难点。2.3 计算与存储资源瓶颈Transformer 类模型参数量庞大训练需大量 GPU 资源推理阶段计算开销高。双塔模型每个文档仅存一个向量存储友好多向量模型需存多个 token 级向量例如 ColPali 默认输出 128 个 patch 向量存储量为双塔的百倍以上百万文档需数百 GB。向量数据库索引与查询性能面临挑战。对资源有限者从零训练几乎不可行微调也需一定算力如何在有限资源下获得可用模型是实际难题。2.4 长尾分布与泛化能力不足真实数据长尾分布显著高频概念样本充足罕见概念样本稀疏。模型对高频概念表示较好对长尾概念表示不稳定甚至错误。稀疏样本使模型难以学到区分性特征易过拟合表面特征。同时模型对噪声、遮挡、文本歧义等扰动鲁棒性不足面对分布偏移性能下降明显。零样本泛化到未见模态组合或全新领域的能力有限限制了开放世界中的应用。2.5 标注数据稀缺与评估体系不完善高质量多模态标注数据获取成本高互联网弱监督数据噪声大清洗困难细粒度对齐标注更昂贵。评估方面常用 RecallK 等指标只衡量排序质量无法全面反映语义理解准确性可能将错误匹配排在前面仍获高分。不同基准数据集构建方式、领域分布、标注标准不一模型公平比较困难。人工评估主观且成本高缺乏统一权威基准和细粒度指标制约了模型真实能力的判断与技术推广。三、典型的模型和应用3.1 双塔/双编码器Bi-encoder模型原理双塔模型采用两个独立的编码器分别处理查询和候选将二者映射到同一个向量空间然后通过余弦相似度计算匹配分数。其核心优势在于编码解耦查询编码器和文档编码器可以独立运行文档候选向量可以离线预先计算并存储检索时只需编码查询向量然后进行高效的向量相似度搜索如使用 FAISS、Milvus 等向量数据库因此特别适合大规模语料库百万级以上。双塔模型的训练通常采用对比学习Contrastive Learning方法。以 CLIP 为例给定一个批次的 N 个图文对模型计算所有可能的 N×N 个图文相似度得分然后使用 InfoNCE 损失函数最大化正确对的相似度最小化错误对的相似度。具体地对于图像到文本的方向损失为代表模型包括CLIPContrastive Language-Image Pre-training和GMEGeneral Multimodal Embedding。CLIP 由 OpenAI 于 2021 年提出使用 4 亿图文对训练在零样本图像分类、图文检索等任务上表现出色。GME 则进一步扩展了多模态、多语言的通用嵌入能力支持文本、图像、图文对等多种输入。代码示例from transformers import CLIPModel, CLIPProcessor from PIL import Image import torch # 模型路径 model_path 你的模型路径 model CLIPModel.from_pretrained(model_path) processor CLIPProcessor.from_pretrained(model_path) # 测试 image Image.open(你的图片路径) texts [a cat on a sofa, a car on the road, an apple on the table] inputs processor(texttexts, imagesimage, return_tensorspt, paddingTrue) with torch.no_grad(): outputs model(**inputs) probs outputs.logits_per_image.softmax(dim1) for i, text in enumerate(texts): print(f图像与「{text}」的相似度概率: {probs[0][i].item():.4f})输出示例图像与「a cat on a sofa」的相似度概率: 0.9996 图像与「a car on the road」的相似度概率: 0.0000 图像与「an apple on the table」的相似度概率: 0.0004适用场景通用图文检索、以文搜图、以图搜文等对效率要求高的大规模匹配任务。在数据规模达到百万级以上、查询延迟要求苛刻的场景中双塔模型几乎是唯一的选择。3.2 统一编码器Unified Encoder模型原理统一编码器模型采用单一共享的骨干网络处理所有输入模态文本、图像、图文组合实现深度的模态融合。与双塔模型不同它不再分别编码查询和文档而是将查询-文档对拼接后一次性输入模型由模型同时理解两者的语义并输出相关性分数或融合表示。这种架构天然适配复杂的文档理解任务如论文截图、表格识别能够捕捉细粒度的跨模态交互。统一编码器的典型实现基于视觉语言模型Vision-Language Model, VLM如 Qwen2-VL、LLaVA、GPT-4V 等。这些模型通常包含一个视觉编码器如 ViT和一个大型语言模型LLM通过跨模态连接层如 MLP 或 Q-Former将视觉特征映射到语言模型的输入空间。在处理图文对时图像被转换为一系列视觉 token与文本 token 拼接后输入 LLMLLM 通过自注意力机制同时关注文本和视觉 token实现深度交互。典型的专门检索类统一编码器包括 ALBEF、BLIP 系列的深度融合架构通过跨模态注意力实现查询与候选的细粒度匹配。代码示例import torch from transformers import Qwen2VLForConditionalGeneration, AutoProcessor from PIL import Image # 1. 设置模型路径 model_path 你的模型路径 # 2. 加载模型和处理器 # 使用 device_mapauto 自动分配设备GPU优先torch_dtypeauto 自动选择浮点类型 model Qwen2VLForConditionalGeneration.from_pretrained( model_path, torch_dtypeauto, device_mapauto ) processor AutoProcessor.from_pretrained(model_path) # 3. 准备图像和查询文本 image_path 你的图片路径 # 请替换为你的图片路径 image Image.open(image_path).convert(RGB) query_text 请描述这张图片的内容 # 可以替换为任何你希望查询的问题 # 4. 构建对话格式输入Qwen2-VL 使用聊天模板 messages [ { role: user, content: [ {type: image, image: image}, {type: text, text: query_text} ] } ] # 应用聊天模板生成模型输入所需的文本 text processor.apply_chat_template(messages, tokenizeFalse, add_generation_promptTrue) # 5. 处理输入文本图像转换为张量 inputs processor( text[text], images[image], return_tensorspt, paddingTrue ).to(model.device) # 6. 模型推理生成回答 with torch.no_grad(): generated_ids model.generate( **inputs, max_new_tokens256, do_sampleFalse, temperatureNone, top_pNone ) # 7. 解码输出 generated_text processor.batch_decode( generated_ids, skip_special_tokensTrue, clean_up_tokenization_spacesFalse )[0] print(模型输出) print(generated_text)输出示例模型输出 system You are a helpful assistant. user 请描述这张图片的内容 assistant 这张图片展示了一只猫在沙发上睡觉的场景。猫的身体侧卧在沙发上头枕在柔软的垫子上身体放松 显得非常舒适和安详。猫的毛色是灰色和白色相间的条纹眼睛闭着显得非常放松。背景是白色的沙 发和垫子整体氛围温馨而宁静。适用场景学术论文截图检索、表格识别、需要高精度匹配的文档理解任务适合作为重排序器提升精度。在数据规模不大、对精度要求高的场景中可以全量使用统一编码器进行检索。3.3 多向量嵌入 Late Interaction 模型原理多向量嵌入模型将每个输入编码为多个 token 级向量而非单一向量然后在匹配阶段使用Late Interaction延迟交互机制计算细粒度相似度。所谓“延迟”是指查询和文档先各自编码为多向量直到匹配阶段才进行交互计算这样既保留了部分离线预计算的能力又能捕捉 token 级别的对应关系。以ColPali为代表它将文档页面图像编码为多个 patch 向量通常为 128 个或更多将查询文本编码为多个 token 向量然后计算两者之间的最大相似度求和MaxSim或其他交互得分。具体地对于查询的第 ii 个 token 向量 qiqi 和文档的第 jj 个 patch 向量 djdjMaxSim 得分为另一个代表模型是BGE-VL-Screenshot专门针对截图场景优化同样采用多向量交互。这些模型通常基于视觉语言模型如 ColPali 基于 PaliGemma在编码阶段输出所有 token 的隐藏状态然后通过池化或直接使用这些 token 向量进行检索。代码示例import torch from PIL import Image from colpali_engine.models import ColPali, ColPaliProcessor # 1. 设置本地模型路径 model_path 你的模型路径 # 请改为你的实际模型文件夹路径 # 2. 自动选择设备与数据类型 if torch.cuda.is_available(): device cuda dtype torch.bfloat16 elif torch.backends.mps.is_available(): # Apple Silicon GPU device mps dtype torch.float32 else: device cpu dtype torch.float32 print(f使用设备: {device}, 数据类型: {dtype}) # 3. 加载模型和处理器 model ColPali.from_pretrained( model_path, torch_dtypedtype, device_mapdevice, local_files_onlyTrue, ).eval() processor ColPaliProcessor.from_pretrained( model_path, local_files_onlyTrue, ) # 4. 准备输入数据 # 图像可以替换为你自己的文档截图路径 images [ Image.open(你的图片路径).convert(RGB), # 请替换为实际图片路径 # 可以添加更多图像... ] queries [ 包含傅里叶变换公式的论文截图, # 可以添加更多查询... ] # 5. 处理输入并推理 batch_images processor.process_images(images).to(model.device) batch_queries processor.process_queries(queries).to(model.device) with torch.no_grad(): image_embeddings model(**batch_images) query_embeddings model(**batch_queries) # 6. 计算多向量得分Late Interaction scores processor.score_multi_vector(query_embeddings, image_embeddings) print(查询与各图像的匹配得分) for i, query in enumerate(queries): for j, image in enumerate(images): print(f查询「{query}」 vs 图像{j}: {scores[i][j].item():.4f})输出示例查询与各图像的匹配得分 查询「包含傅里叶变换公式的论文截图」 vs 图像0: 9.0684适用场景高精度 RAG检索增强生成系统、多语言文档检索、代码与界面截图匹配、需要细粒度视觉-文本对齐的任务。四、发展趋势本章系统介绍了多模态编码的三类主流模型双塔/双编码器模型、统一编码器模型和多向量嵌入Late Interaction 模型。三类模型在架构设计、交互方式和适用场景上各有侧重实际应用中需要根据数据规模、精度要求、实时性需求和硬件资源进行权衡。双塔模型以其高效性成为大规模检索的首选它通过对比学习将查询和文档映射到统一向量空间支持离线预计算和快速向量检索但在细粒度语义捕捉上存在局限。统一编码器通过深度交互提供高精度匹配能够理解复杂语义和细节但计算成本高通常用于重排序或小规模高精度场景。多向量嵌入Late Interaction 模型结合了离线预计算的效率和 token 级交互的精度在视觉文档检索等需要细粒度对齐的任务中表现出色但存储开销较大依赖专用向量数据库。未来多模态编码的发展趋势包括更强大的预训练模型随着视觉语言模型如 GPT-4V、Gemini、Qwen2-VL的快速迭代统一编码器的能力将不断提升同时训练和推理效率也会通过模型压缩、蒸馏等技术得到优化。统一的编码架构双塔、统一编码器和多向量模型的界限正逐渐模糊。例如ColPali 结合了统一编码器骨干和多向量输出GME 既可作为双塔也可作为统一编码器。未来可能出现更灵活的架构根据任务动态调整交互粒度。多模态 RAG 的普及检索增强生成RAG已成为大模型应用的重要范式多模态 RAG 将检索对象从纯文本扩展到图像、表格、公式等对多向量模型和统一编码器的需求将快速增长。高效的检索算法针对多向量和交叉编码器的专用索引结构如 PLATT、ColBERTv2 的质心索引正在发展将进一步提升多向量模型的检索效率使其在大规模场景中更具竞争力。跨模态的细粒度对齐未来的模型将更注重区域级、物体级的对齐甚至引入结构化知识如知识图谱来增强语义理解。总之多模态编码作为多模态人工智能的基础技术正处于快速发展阶段。实际系统设计时应充分理解各类模型的原理和优缺点结合具体业务需求选择或组合使用最合适的方案以构建高效、准确、可扩展的多模态检索系统。 第八章 多模态编码
目录前置案例——多模态编码应用实践案例一双塔架构案例二统一编码器架构案例三多向量 Late Interaction 架构一、概念介绍二、技术难点2.1 跨模态异构与语义对齐2.2 细粒度交互与效率的平衡2.3 计算与存储资源瓶颈2.4 长尾分布与泛化能力不足2.5 标注数据稀缺与评估体系不完善三、典型的模型和应用3.1 双塔/双编码器Bi-encoder模型3.2 统一编码器Unified Encoder模型3.3 多向量嵌入 Late Interaction 模型四、发展趋势摘要多模态编码是文本数据与其它模态数据组合表示、对齐表示的重要技术专门支撑多模态、跨模态应用。本文系统介绍了多模态编码的三大主流模型架构及其应用。首先通过三个可运行案例直观对比了双塔模型、统一编码器和多向量Late Interaction模型在图文检索任务中的实现差异。随后深入阐述了多模态编码的概念、技术难点包括跨模态语义对齐、效率与精度平衡、资源瓶颈等并详细分析了三类典型模型的原理、代码实现与适用场景。最后总结了各类模型的优缺点及未来发展趋势为构建高效、准确的多模态检索系统提供实践指导。前置案例——多模态编码应用实践为了直观感受三类模型的差异我们先通过三个实际可运行的小案例分别使用双塔模型、统一编码器和多向量Late Interaction模型完成同一个任务——从图像中检索出与文本查询最匹配的内容对比不同模型的实现方式、输入输出和效果。案例一双塔架构概念说明双塔架构的核心是「两个编码器完全独立分别编码查询和候选」图像与文本各自生成单条向量最终通过余弦相似度计算匹配程度。 因为编码过程完全解耦文档侧向量可以离线预计算并存入向量数据库检索时仅需编码查询是百万级以上大规模检索的标准方案。代码演示import torch import torch.nn.functional as F from transformers import CLIPModel, CLIPProcessor from PIL import Image # 替换为你的本地模型路径 model_path 你的模型路径 model CLIPModel.from_pretrained(model_path).eval() processor CLIPProcessor.from_pretrained(model_path) # 输入预处理 texts [a cat on a sofa, a car on the road] inputs processor( texttexts, imagesImage.open(你的图片路径), return_tensorspt, paddingTrue ) # 【双塔核心】 with torch.no_grad(): outputs model(**inputs) image_emb outputs.image_embeds # 图像嵌入 (1, dim) text_emb outputs.text_embeds # 文本嵌入 (2, dim) # 归一化并计算余弦相似度 image_emb F.normalize(image_emb, p2, dim1) text_emb F.normalize(text_emb, p2, dim1) similarity (image_emb text_emb.T).squeeze() print(相似度结果, similarity.tolist())输出示例相似度结果 [0.2788020670413971, 0.16158394515514374]案例二统一编码器架构概念说明统一编码器的核心是「单一共用骨干网络图文拼接后联合输入」图像特征与文本 token 拼接后一起进入模型通过自注意力实现深度的跨模态交互。 它能捕捉细粒度语义关联支持问答、推理等复杂任务但每对查询 - 候选都需完整前向计算无法离线预计算适合高精度重排序或小规模场景。代码演示import torch from transformers import Qwen2VLForConditionalGeneration, AutoProcessor from PIL import Image # 加载本地模型请替换为实际路径 model_path 你的模型路径 model Qwen2VLForConditionalGeneration.from_pretrained( model_path, torch_dtypeauto, device_mapauto ) processor AutoProcessor.from_pretrained(model_path) # 准备图像和查询 image Image.open(你的图片路径).convert(RGB) query 请描述这张图片的内容 # 构建统一编码器的输入图像和文本拼接后一起送入模型 messages [{role: user, content: [ {type: image, image: image}, {type: text, text: query} ]}] text processor.apply_chat_template(messages, tokenizeFalse, add_generation_promptTrue) inputs processor(text[text], images[image], return_tensorspt, paddingTrue).to(model.device) # 一次前向生成回答深度交互 with torch.no_grad(): generated_ids model.generate(**inputs, max_new_tokens128) output processor.batch_decode(generated_ids, skip_special_tokensTrue)[0] print(output)输出示例system You are a helpful assistant. user 请描述这张图片的内容 assistant 这张图片展示了一只猫正在沙发上睡觉。猫的身体侧卧在沙发上头枕在柔软的垫子上身体放松显得非 常舒适和安详。背景是白色的沙发和窗帘光线柔和营造出一种宁静的氛围。猫的毛色是灰色和白色相间 的条纹显得非常可爱。案例三多向量 Late Interaction 架构概念说明多向量延迟交互架构是前两者的折中编码阶段图文仍各自独立保留离线预计算优势但不再压缩为单个全局向量而是输出一组 token/patch 级的细粒度向量仅在匹配打分阶段做延迟交互。 它既保留了双塔的检索效率又能精准匹配文档中的公式、表格、代码片段等局部细节是视觉文档 RAG 的主流方案。代码演示import torch from PIL import Image from colpali_engine.models import ColPali, ColPaliProcessor # 本地模型路径 model_path 你的模型路径 # 自动选择设备与数据类型 device cuda if torch.cuda.is_available() else cpu dtype torch.bfloat16 if device cuda else torch.float32 # 加载模型与处理器 model ColPali.from_pretrained( model_path, torch_dtypedtype, device_mapdevice, local_files_onlyTrue ).eval() processor ColPaliProcessor.from_pretrained(model_path, local_files_onlyTrue) # 单张文档截图 单条查询 image Image.open(你的图片路径).convert(RGB) query 包含傅里叶变换公式的论文截图 # 【多向量Late Interaction核心】 # 图像、查询各自输出一组多粒度向量不是单个全局向量 batch_img processor.process_images([image]).to(model.device) batch_q processor.process_queries([query]).to(model.device) with torch.no_grad(): image_emb model(**batch_img) query_emb model(**batch_q) # Late‑Interactionpatch‑token之间细粒度匹配打分 score processor.score_multi_vector(query_emb, image_emb) print(f细粒度匹配得分: {score[0][0].item():.4f})输出示例细粒度匹配得分: 9.0684一、概念介绍随着互联网数据的爆炸式增长文本、图像、音频、视频等多模态数据已成为信息的主要载体。传统的单一模态处理方法难以充分挖掘跨模态信息之间的关联而多模态编码Multimodal Encoding旨在将不同模态的数据映射到统一的向量空间使得语义相近的内容在该空间中距离更近从而支持跨模态检索、生成、理解等任务。例如一段描述“一只猫在沙发上”的文本与一张对应图片经过编码后应获得相似的向量表示而一段“如何做红烧肉”的文本与一张风景照则应相距较远。多模态编码的核心任务是将异构的原始数据转换为可计算的数值表示。对于文本通常使用分词器将句子切分为 token再通过语言模型编码为向量对于图像则通过视觉编码器如 Vision Transformer将像素网格编码为特征向量。编码后不同模态的向量被对齐到同一语义空间中从而可以进行相似度计算、聚类、分类等操作。多模态编码的应用场景十分广泛跨模态检索如以文搜图输入文字找图片、以图搜文输入图片找描述、图文互搜等。多模态生成如文生图DALL·E、Stable Diffusion、图生文图像描述生成等其基础往往依赖对齐的图文编码。多模态理解如视觉问答VQA、视觉推理、文档理解等需要模型同时理解图文信息。推荐系统结合用户行为、商品图像、文本描述等多模态信息进行个性化推荐。自动驾驶融合摄像头图像、雷达点云、地图文本等实现环境感知。在多模态检索场景中编码模型的设计直接影响检索的精度、效率和适用规模。根据架构和交互方式的不同主流的多模态检索编码模型可分为三大类这三类模型各有侧重适用于不同的任务场景双塔/双编码器模型查询和候选分别独立编码通过余弦相似度匹配效率高适合大规模检索。统一编码器模型查询和候选联合输入单一共享骨干网络进行深度交互精度高但计算成本大。多向量嵌入 Late Interaction 模型输入被编码为多个 token 级向量在匹配阶段进行延迟交互计算兼顾效率与精度。二、技术难点多模态编码虽然发展迅速但仍面临诸多挑战。以下从数据、模型、训练和部署等角度分析主要技术难点。2.1 跨模态异构与语义对齐文本是离散符号序列图像是连续像素矩阵两者统计特性差异巨大。简单将特征映射到同一空间并不能保证语义一致。跨模态对齐往往是非对称、细粒度的一个词可能对应图像中的某个区域一句话可能对应视频中的一段动作。模型必须学习深层语义对应而非仅依赖表面统计关联。当前对比学习方法多实现全局对齐区域级、物体级的细粒度对齐仍显不足成为提升理解精度的关键瓶颈。2.2 细粒度交互与效率的平衡高精度检索需要细粒度交互如 token 级对齐、交叉注意力但计算成本高难以大规模部署粗粒度匹配如全局向量相似度高效却丢失局部信息。双塔模型压缩整个输入为单向量无法区分“红色苹果”与“红色汽车”统一编码器精度高但每对查询-候选都需完整前向传播无法离线预计算。多向量Late Interaction 折中但存储和检索复杂度仍高于双塔。如何在精度与效率间根据场景权衡是系统设计的核心难点。2.3 计算与存储资源瓶颈Transformer 类模型参数量庞大训练需大量 GPU 资源推理阶段计算开销高。双塔模型每个文档仅存一个向量存储友好多向量模型需存多个 token 级向量例如 ColPali 默认输出 128 个 patch 向量存储量为双塔的百倍以上百万文档需数百 GB。向量数据库索引与查询性能面临挑战。对资源有限者从零训练几乎不可行微调也需一定算力如何在有限资源下获得可用模型是实际难题。2.4 长尾分布与泛化能力不足真实数据长尾分布显著高频概念样本充足罕见概念样本稀疏。模型对高频概念表示较好对长尾概念表示不稳定甚至错误。稀疏样本使模型难以学到区分性特征易过拟合表面特征。同时模型对噪声、遮挡、文本歧义等扰动鲁棒性不足面对分布偏移性能下降明显。零样本泛化到未见模态组合或全新领域的能力有限限制了开放世界中的应用。2.5 标注数据稀缺与评估体系不完善高质量多模态标注数据获取成本高互联网弱监督数据噪声大清洗困难细粒度对齐标注更昂贵。评估方面常用 RecallK 等指标只衡量排序质量无法全面反映语义理解准确性可能将错误匹配排在前面仍获高分。不同基准数据集构建方式、领域分布、标注标准不一模型公平比较困难。人工评估主观且成本高缺乏统一权威基准和细粒度指标制约了模型真实能力的判断与技术推广。三、典型的模型和应用3.1 双塔/双编码器Bi-encoder模型原理双塔模型采用两个独立的编码器分别处理查询和候选将二者映射到同一个向量空间然后通过余弦相似度计算匹配分数。其核心优势在于编码解耦查询编码器和文档编码器可以独立运行文档候选向量可以离线预先计算并存储检索时只需编码查询向量然后进行高效的向量相似度搜索如使用 FAISS、Milvus 等向量数据库因此特别适合大规模语料库百万级以上。双塔模型的训练通常采用对比学习Contrastive Learning方法。以 CLIP 为例给定一个批次的 N 个图文对模型计算所有可能的 N×N 个图文相似度得分然后使用 InfoNCE 损失函数最大化正确对的相似度最小化错误对的相似度。具体地对于图像到文本的方向损失为代表模型包括CLIPContrastive Language-Image Pre-training和GMEGeneral Multimodal Embedding。CLIP 由 OpenAI 于 2021 年提出使用 4 亿图文对训练在零样本图像分类、图文检索等任务上表现出色。GME 则进一步扩展了多模态、多语言的通用嵌入能力支持文本、图像、图文对等多种输入。代码示例from transformers import CLIPModel, CLIPProcessor from PIL import Image import torch # 模型路径 model_path 你的模型路径 model CLIPModel.from_pretrained(model_path) processor CLIPProcessor.from_pretrained(model_path) # 测试 image Image.open(你的图片路径) texts [a cat on a sofa, a car on the road, an apple on the table] inputs processor(texttexts, imagesimage, return_tensorspt, paddingTrue) with torch.no_grad(): outputs model(**inputs) probs outputs.logits_per_image.softmax(dim1) for i, text in enumerate(texts): print(f图像与「{text}」的相似度概率: {probs[0][i].item():.4f})输出示例图像与「a cat on a sofa」的相似度概率: 0.9996 图像与「a car on the road」的相似度概率: 0.0000 图像与「an apple on the table」的相似度概率: 0.0004适用场景通用图文检索、以文搜图、以图搜文等对效率要求高的大规模匹配任务。在数据规模达到百万级以上、查询延迟要求苛刻的场景中双塔模型几乎是唯一的选择。3.2 统一编码器Unified Encoder模型原理统一编码器模型采用单一共享的骨干网络处理所有输入模态文本、图像、图文组合实现深度的模态融合。与双塔模型不同它不再分别编码查询和文档而是将查询-文档对拼接后一次性输入模型由模型同时理解两者的语义并输出相关性分数或融合表示。这种架构天然适配复杂的文档理解任务如论文截图、表格识别能够捕捉细粒度的跨模态交互。统一编码器的典型实现基于视觉语言模型Vision-Language Model, VLM如 Qwen2-VL、LLaVA、GPT-4V 等。这些模型通常包含一个视觉编码器如 ViT和一个大型语言模型LLM通过跨模态连接层如 MLP 或 Q-Former将视觉特征映射到语言模型的输入空间。在处理图文对时图像被转换为一系列视觉 token与文本 token 拼接后输入 LLMLLM 通过自注意力机制同时关注文本和视觉 token实现深度交互。典型的专门检索类统一编码器包括 ALBEF、BLIP 系列的深度融合架构通过跨模态注意力实现查询与候选的细粒度匹配。代码示例import torch from transformers import Qwen2VLForConditionalGeneration, AutoProcessor from PIL import Image # 1. 设置模型路径 model_path 你的模型路径 # 2. 加载模型和处理器 # 使用 device_mapauto 自动分配设备GPU优先torch_dtypeauto 自动选择浮点类型 model Qwen2VLForConditionalGeneration.from_pretrained( model_path, torch_dtypeauto, device_mapauto ) processor AutoProcessor.from_pretrained(model_path) # 3. 准备图像和查询文本 image_path 你的图片路径 # 请替换为你的图片路径 image Image.open(image_path).convert(RGB) query_text 请描述这张图片的内容 # 可以替换为任何你希望查询的问题 # 4. 构建对话格式输入Qwen2-VL 使用聊天模板 messages [ { role: user, content: [ {type: image, image: image}, {type: text, text: query_text} ] } ] # 应用聊天模板生成模型输入所需的文本 text processor.apply_chat_template(messages, tokenizeFalse, add_generation_promptTrue) # 5. 处理输入文本图像转换为张量 inputs processor( text[text], images[image], return_tensorspt, paddingTrue ).to(model.device) # 6. 模型推理生成回答 with torch.no_grad(): generated_ids model.generate( **inputs, max_new_tokens256, do_sampleFalse, temperatureNone, top_pNone ) # 7. 解码输出 generated_text processor.batch_decode( generated_ids, skip_special_tokensTrue, clean_up_tokenization_spacesFalse )[0] print(模型输出) print(generated_text)输出示例模型输出 system You are a helpful assistant. user 请描述这张图片的内容 assistant 这张图片展示了一只猫在沙发上睡觉的场景。猫的身体侧卧在沙发上头枕在柔软的垫子上身体放松 显得非常舒适和安详。猫的毛色是灰色和白色相间的条纹眼睛闭着显得非常放松。背景是白色的沙 发和垫子整体氛围温馨而宁静。适用场景学术论文截图检索、表格识别、需要高精度匹配的文档理解任务适合作为重排序器提升精度。在数据规模不大、对精度要求高的场景中可以全量使用统一编码器进行检索。3.3 多向量嵌入 Late Interaction 模型原理多向量嵌入模型将每个输入编码为多个 token 级向量而非单一向量然后在匹配阶段使用Late Interaction延迟交互机制计算细粒度相似度。所谓“延迟”是指查询和文档先各自编码为多向量直到匹配阶段才进行交互计算这样既保留了部分离线预计算的能力又能捕捉 token 级别的对应关系。以ColPali为代表它将文档页面图像编码为多个 patch 向量通常为 128 个或更多将查询文本编码为多个 token 向量然后计算两者之间的最大相似度求和MaxSim或其他交互得分。具体地对于查询的第 ii 个 token 向量 qiqi 和文档的第 jj 个 patch 向量 djdjMaxSim 得分为另一个代表模型是BGE-VL-Screenshot专门针对截图场景优化同样采用多向量交互。这些模型通常基于视觉语言模型如 ColPali 基于 PaliGemma在编码阶段输出所有 token 的隐藏状态然后通过池化或直接使用这些 token 向量进行检索。代码示例import torch from PIL import Image from colpali_engine.models import ColPali, ColPaliProcessor # 1. 设置本地模型路径 model_path 你的模型路径 # 请改为你的实际模型文件夹路径 # 2. 自动选择设备与数据类型 if torch.cuda.is_available(): device cuda dtype torch.bfloat16 elif torch.backends.mps.is_available(): # Apple Silicon GPU device mps dtype torch.float32 else: device cpu dtype torch.float32 print(f使用设备: {device}, 数据类型: {dtype}) # 3. 加载模型和处理器 model ColPali.from_pretrained( model_path, torch_dtypedtype, device_mapdevice, local_files_onlyTrue, ).eval() processor ColPaliProcessor.from_pretrained( model_path, local_files_onlyTrue, ) # 4. 准备输入数据 # 图像可以替换为你自己的文档截图路径 images [ Image.open(你的图片路径).convert(RGB), # 请替换为实际图片路径 # 可以添加更多图像... ] queries [ 包含傅里叶变换公式的论文截图, # 可以添加更多查询... ] # 5. 处理输入并推理 batch_images processor.process_images(images).to(model.device) batch_queries processor.process_queries(queries).to(model.device) with torch.no_grad(): image_embeddings model(**batch_images) query_embeddings model(**batch_queries) # 6. 计算多向量得分Late Interaction scores processor.score_multi_vector(query_embeddings, image_embeddings) print(查询与各图像的匹配得分) for i, query in enumerate(queries): for j, image in enumerate(images): print(f查询「{query}」 vs 图像{j}: {scores[i][j].item():.4f})输出示例查询与各图像的匹配得分 查询「包含傅里叶变换公式的论文截图」 vs 图像0: 9.0684适用场景高精度 RAG检索增强生成系统、多语言文档检索、代码与界面截图匹配、需要细粒度视觉-文本对齐的任务。四、发展趋势本章系统介绍了多模态编码的三类主流模型双塔/双编码器模型、统一编码器模型和多向量嵌入Late Interaction 模型。三类模型在架构设计、交互方式和适用场景上各有侧重实际应用中需要根据数据规模、精度要求、实时性需求和硬件资源进行权衡。双塔模型以其高效性成为大规模检索的首选它通过对比学习将查询和文档映射到统一向量空间支持离线预计算和快速向量检索但在细粒度语义捕捉上存在局限。统一编码器通过深度交互提供高精度匹配能够理解复杂语义和细节但计算成本高通常用于重排序或小规模高精度场景。多向量嵌入Late Interaction 模型结合了离线预计算的效率和 token 级交互的精度在视觉文档检索等需要细粒度对齐的任务中表现出色但存储开销较大依赖专用向量数据库。未来多模态编码的发展趋势包括更强大的预训练模型随着视觉语言模型如 GPT-4V、Gemini、Qwen2-VL的快速迭代统一编码器的能力将不断提升同时训练和推理效率也会通过模型压缩、蒸馏等技术得到优化。统一的编码架构双塔、统一编码器和多向量模型的界限正逐渐模糊。例如ColPali 结合了统一编码器骨干和多向量输出GME 既可作为双塔也可作为统一编码器。未来可能出现更灵活的架构根据任务动态调整交互粒度。多模态 RAG 的普及检索增强生成RAG已成为大模型应用的重要范式多模态 RAG 将检索对象从纯文本扩展到图像、表格、公式等对多向量模型和统一编码器的需求将快速增长。高效的检索算法针对多向量和交叉编码器的专用索引结构如 PLATT、ColBERTv2 的质心索引正在发展将进一步提升多向量模型的检索效率使其在大规模场景中更具竞争力。跨模态的细粒度对齐未来的模型将更注重区域级、物体级的对齐甚至引入结构化知识如知识图谱来增强语义理解。总之多模态编码作为多模态人工智能的基础技术正处于快速发展阶段。实际系统设计时应充分理解各类模型的原理和优缺点结合具体业务需求选择或组合使用最合适的方案以构建高效、准确、可扩展的多模态检索系统。