AI 术语：微调、推理、上下文、量化、Embedding 详解

这五个词是当前 AI 领域最高频的核心术语覆盖了从模型训练到部署落地、从底层原理到上层应用的完整链路。本文不讲数学公式用生活化的类比让你真正理解而非记住这些概念。目录前言为什么你需要搞懂这五个词一张图看清五个术语的关系第一章Embedding嵌入——让机器理解世界的第一步第二章微调Fine-tuning——让通用模型变成你的专属模型第三章推理Inference——模型干活的过程第四章上下文Context——AI 的临时记忆第五章量化Quantization——让大象跳芭蕾第六章五个术语的协同全景总结与记忆口诀前言为什么你需要搞懂这五个词如果你关注 AI 领域下面这些话你一定耳熟这个模型支持128K 上下文可以一口气读完《三体》三部曲。我们用LoRA 微调了 Qwen-7B在客服场景准确率达到 95%。INT4量化后模型只有 4GB笔记本就能跑。Embedding模型是 RAG 知识库的基石。推理速度提升了 3 倍延迟降到了 200ms。听起来很专业但说实话——大部分人对这些词的理解停留在能认出、说不出的阶段。这篇文章的目标是让你不仅能认出这些词还能在茶余饭后给别人讲清楚它们到底是什么。不用数学公式用类比和场景。一张图看清五个术语的关系在分别展开之前先用一张生命周期图建立全局认知。这五个术语分布在 AI 模型的训练、部署、使用三个不同阶段Embedding基础能力 │ ▼ ┌──────────────────────────────────────────────────────────────┐ │ 训练阶段 │ │ │ │ 预训练模型 ────▶ Fine-tuning微调───▶ 微调后模型 │ │ (通用基座) ↓ 自有数据适配 (领域专用) │ │ │ │ │ ▼ │ │ Quantization量化 │ │ ↓ 压缩瘦身 │ │ 量化后模型 │ │ │ │ └──────────────────────────────────────────────┼───────────────┘ │ ▼ ┌──────────────────────────────────────────────────────────────┐ │ 部署使用阶段 │ │ │ │ 用户输入 ──▶ [Context 上下文窗口] ──▶ Inference推理 │ │ (容纳对话历史 ↓ 模型计算输出 │ │ 检索文档指令) 返回结果 │ │ │ └──────────────────────────────────────────────────────────────┘术语所处阶段一句话Embedding贯穿全流程把文字/图片变成一串数字让计算机能理解Fine-tuning训练阶段给通用模型喂你的私有数据让它变成你的领域专家Quantization训练→部署过渡给模型压缩瘦身精度换速度大模型变小模型Context使用阶段AI 对话时的临时记忆窗口决定了它能记住多少信息Inference使用阶段模型根据输入给出输出的计算过程就是模型在干活第一章Embedding嵌入——让机器理解世界的第一步1.1 核心问题计算机怎么理解一段文字计算机的母语是数字不是人类的自然语言。它只能做数学运算。所以我们必须把文字、图片、声音都翻译成数字——这个翻译结果就是Embedding。1.2 生活类比地图坐标想象你要给朋友描述北京故宫的位置你会怎么说门外汉说法在北京城中心天安门北边精确说法北纬 39.9163°东经 116.3972°第一种描述人类能懂计算机完全不懂。第二种是一个坐标可以用数学公式精确计算两点距离。Embedding 就是给每个词、每句话、每张图分配一个语义坐标。语义相近的词坐标也近。1.3 直观示例从 One-Hot 到 Dense Embedding第一阶段One-Hot 编码最笨的方法假设我们的词汇表只有 4 个词[猫, 狗, 苹果, 香蕉]猫 → [1, 0, 0, 0] 狗 → [0, 1, 0, 0] 苹果 → [0, 0, 1, 0] 香蕉 → [0, 0, 0, 1]问题显而易见猫和狗都是动物但 One-Hot 编码里它们的距离和猫 vs 苹果一样远词汇表如果有 10 万个词每个词就是 10 万维的向量稀疏到崩溃完全没有语义信息第二阶段Word2Vec / Embedding聪明的方法猫 → [0.82, -0.31, 0.15, 0.44, -0.27] (5 维) 狗 → [0.79, -0.28, 0.12, 0.41, -0.24] ← 和猫距离很近 苹果 → [-0.15, 0.73, -0.51, -0.33, 0.18] ← 和猫距离很远 香蕉 → [-0.12, 0.69, -0.48, -0.30, 0.21] ← 和苹果距离很近关键进步维度从 10 万压缩到了几百如 768、1536猫和狗的向量距离很近 → 模型知道它们是同类苹果和香蕉距离也很近 → 模型知道它们都是水果甚至能做语义运算国王 - 男人 女人 ≈ 女王1.4 Embedding 的三种主流应用场景场景输入输出典型用途文本 Embedding一句话/一段文章一个固定长度向量如 1536 维RAG 知识库检索、语义搜索、文本聚类词 Embedding一个词一个向量同义词检测、词类比推理多模态 Embedding文本 图片同一语义空间内的向量CLIP 图文检索、以文搜图1.5 Embedding 在 RAG 架构中的核心地位RAG检索增强生成是目前解决大模型幻觉和知识过时问题的主流方案。它的第一步就是 Embedding用户提问公司年假怎么申请 │ ▼ [Embedding 模型] → 问题向量 q [0.23, -0.45, 0.78, ...] │ ▼ [向量数据库] → 计算 q 与所有文档向量的余弦相似度 │ ▼ 找到 Top-3 最相关文档片段 │ ▼ [大模型] 结合检索到的文档片段生成准确答案没有 EmbeddingRAG 就是空中楼阁。Embedding 的质量直接决定了检索的准确率。常用 Embedding 模型OpenAItext-embedding-3-small/large、BGEBAAI、M3E、Jina Embeddings。第二章微调Fine-tuning——让通用模型变成你的专属模型2.1 微调是什么微调Fine-tuning是指在一个已经预训练好的大模型基础上用少量领域数据继续训练使模型在特定任务上表现更好。预训练模型通才 微调后模型专才 ┌──────────────┐ ┌──────────────┐ │ 懂天文地理 │ │ 精通你公司的 │ │ 会写诗写代码 │ 自有数据 │ 产品文档和 │ │ 能聊天翻译 │ ▶ │ 客服话术 │ │ 但不懂你的业务 │ │ 还能保持通用能力│ └──────────────┘ └──────────────┘2.2 生活类比名校毕业生入职想象你招了一个清华计算机系的毕业生预训练阶段他在大学四年学了数学、编程、算法、操作系统……通用知识微调阶段入职后你给他看公司的产品文档、代码规范、业务流程……领域数据结果他既保持了名校毕业生的基础素养又快速适应了你公司的特定需求微调就是这个入职培训的过程——不改底子加上专业。2.3 微调 vs 从头训练 vs 提示工程维度提示工程 (Prompt)微调 (Fine-tuning)从头训练 (Pre-training)数据量0只需写好 prompt几百~几万条TB 级语料算力成本0单卡~多卡千卡集群时间分钟小时~天周~月效果不稳定依赖 prompt 质量稳定深入理解领域最强但成本不可承受适用场景通用问答特定业务场景基座模型厂商2.4 微调的三种主流方式2.4.1 全量微调Full Fine-tuning更新模型的所有参数。效果好但显存需求大。全量微调 7B 模型 → 约需 60GB 显存全精度 适合有 A100/H100 的企业用户2.4.2 参数高效微调PEFTLoRALoRALow-Rank Adaptation是目前最流行的微调方式。核心思想不修改原模型参数而是在旁边挂一个小的适配器。原始模型权重 W冻结不动 LoRA 低秩矩阵 ΔW A × B只训练这个 微调后的模型 ΔW 的参数量通常是原始模型的 0.1%~1%对比全量微调LoRA需训练参数量100%0.1%~1%显存需求7B 模型60GB16~24GB训练速度慢快 2~3 倍可切换性不可可随时插拔不同 LoRA效果最优接近全量2.4.3 QLoRA量化 LoRA在 4-bit 量化模型上做 LoRA 微调。消费级显卡RTX 3090/4090 24GB就能微调 7B 甚至 33B 模型。2.5 微调的数据准备格式示例以指令微调为例数据格式通常为[ { instruction: 你是公司的客服助手请用专业、友善的语气回答。, input: 你们的产品支持退款吗, output: 您好我们的产品支持 7 天无理由退款。您可以在「我的订单」页面直接申请退款将在 1-3 个工作日内原路返回。如果超过 7 天但商品存在质量问题也欢迎联系人工客服处理。请问还有其他问题吗 }, { instruction: 你是公司的客服助手请用专业、友善的语气回答。, input: 快递大概几天到, output: 您好我们的默认快递是中通和顺丰。中通一般 3-5 天送达顺丰 1-2 天。下单时您可以根据需要选择满 99 元还可以享受顺丰包邮哦 } ]⚠️ 微调数据的质量和多样性远比数量重要。1000 条高质量示例的效果往往好于 10000 条低质量数据。第三章推理Inference——模型干活的过程3.1 推理是什么推理Inference是指训练好的模型接收输入、经过计算、给出输出的过程。分为训练时的前向传播和部署后的推理服务两个语境。日常语境中推理通常指模型上线后响应用户请求的过程。你的每次 ChatGPT 对话、每次 AI 搜索、每次语音转文字背后都是推理在运行。3.2 生活类比考试 vs 做题阶段训练 (Training)推理 (Inference)类比学生在家刷题、背公式学生在考场答题计算方向前向传播 反向传播更新参数仅前向传播参数不变是否修改参数✅ 是❌ 否速度要求不那么敏感极敏感用户等着显存占用极大存梯度、优化器状态较小只存模型权重KV Cache批处理大 batch小 batch甚至逐条3.3 推理的关键指标指标含义目标延迟 (Latency)从输入到第一个 token 输出的时间越低越好 200ms 理想吞吐量 (Throughput)每秒能处理的请求数 / token 数越高越好首 token 时间 (TTFT)用户发出请求到看到第一个字的等待时间 500ms每 token 生成时间 (TPOT)生成每个后续 token 的平均时间 50ms显存占用 (VRAM)推理时占用的 GPU 显存在硬件限制内3.4 推理优化的常用手段推理优化工具箱 ├── 量化Quantization │ ├── INT8 / INT4 量化 → 下一篇详讲 │ └── GPTQ / AWQ / GGUF 格式 │ ├── KV Cache键值缓存 │ └── 把计算过的 Key-Value 存起来避免重复计算 │ ├── Flash Attention │ └── 优化注意力计算的内存访问模式提速 2~4 倍 │ ├── 批处理Dynamic Batching │ └── 把多个请求拼成一批同时处理提升 GPU 利用率 │ ├── Speculative Decoding推测解码 │ └── 用小模型猜大模型会输出什么确认后批量接受 │ ├── Tensor/Pipeline Parallelism │ └── 一张卡放不下就分到多张卡 │ └── 推理框架 ├── vLLM吞吐量王者 ├── TensorRT-LLMNVIDIA 官方极致优化 ├── llama.cppCPU 推理消费级硬件友好 ├── Ollama一键部署新手首选 └── SGLang结构化生成3.5 训练 vs 推理的显存计算以 LLaMA-7B 为例训练时显存 ≈ 模型参数 梯度 优化器状态 激活值 ≈ 14GB 14GB 28GB 变量 ≈ 60GB需要 A100 80GB 推理时显存 ≈ 模型参数 KV Cache ≈ 14GB(FP16) 或 4GB(INT4) 少量KV Cache ≈ 4~16GB消费级显卡可跑这就是为什么训练需要几百万的设备而推理可以在你的笔记本上跑。量化和推理优化是这背后的关键。第四章上下文Context——AI 的临时记忆4.1 上下文是什么上下文Context在大模型语境中有两层含义含义解释类比上下文窗口 (Context Window)模型一次能看到的最大 token 数量人的短期记忆容量上下文信息 (Context)输入给模型的背景信息、对话历史等你给 AI 的参考资料4.2 生活类比便利贴想象你是一个只能靠便利贴记忆的人你面前有一张128K 大小的便利贴你和别人的所有对话历史、你查到的资料、你的系统指令都写在这张便利贴上便利贴写满了最早写的内容就会被覆盖掉每次新对话便利贴是空白的这就是大模型的上下文机制——没有长期记忆只有这张有限的便利贴。4.3 上下文窗口的进化史时间模型上下文长度能一次读多少2018GPT-1512 tokens~400 字2019GPT-21,024 tokens~800 字2020GPT-32,048 tokens~1,500 字2022GPT-3.54,096~16K~3000~12000 字2023GPT-48K~128K一整本《哈利波特》2024Claude 3200K《三体》第一部2024Gemini 1.5 Pro1M~2M1 小时视频2024Kimi200K 字中文《三体》两部4.4 上下文窗口的两大工程挑战挑战一注意力机制的平方复杂度Transformer 的自注意力计算复杂度是O(n²)n 是上下文长度。这意味着上下文翻倍 → 计算量翻 4 倍 4K → 8K → 计算 x4 4K → 32K → 计算 x64 4K → 128K→ 计算 x1024这就是为什么长上下文模型的推理成本极高。Flash Attention 等优化算法是缓解这个问题的关键。挑战二大海捞针问题当上下文极长时模型可能无法准确关注到中间的关键信息——就像你在 200 页文档中找一句话很容易看漏。业界用Needle in a Haystack大海捞针测试来评估模型的长上下文检索能力在长文本中随机插入一句无关事实看模型能否准确提取。4.5 上下文 vs 微调什么时候该用哪个场景推荐方案原因临时参考一份文档上下文一次性的不需要记住让模型按特定风格回复微调需要模型内化这种风格查询公司最新的产品信息上下文RAG信息随时更新不适合微调让模型精通某个专业领域术语微调需要改变模型的底层知识每次对话都要遵循的格式系统提示词 微调组合使用效果最好核心原则频繁变化的信息用上下文RAG稳定的领域知识用微调。两者不是互斥的最佳实践是微调 RAG 组合使用。第五章量化Quantization——让大象跳芭蕾5.1 量化是什么量化Quantization是指将模型参数从高精度数值如 32 位浮点数 FP32转换为低精度数值如 8 位整数 INT8 或 4 位整数 INT4从而大幅降低模型的显存占用和计算量的技术。FP32 精度每个参数占 4 字节 INT8 精度每个参数占 1 字节 → 体积缩小 75% INT4 精度每个参数占 0.5 字节 → 体积缩小 87.5%5.2 生活类比高清照片 → 缩略图你把一张 4000×3000 像素的高清照片10MB压缩成 800×600 的缩略图200KB文件小了 50 倍加载速度极快能认出照片里是什么精度有损但信息保留但细节确实丢失了放大看是糊的量化就是给模型做有损压缩——用可接受的精度损失换巨大的存储和速度收益。5.3 为什么量化是大模型普及的关键以 LLaMA-7B 为例精度模型大小最低显存能跑的硬件FP32~28 GB~32 GBA100、V100FP16~14 GB~16 GBRTX 3090/4090、A10INT8~7 GB~10 GBRTX 3070/4060INT4~4 GB~6 GBRTX 3060、笔记本 GPU、Apple M 系列Q2_K (GGUF)~2.5 GB~5 GBCPU 推理、树莓派 5量化让 70 亿参数的大模型从需要 3 万元的专业显卡变成了你手里的游戏显卡就能跑。这是 AI 民主化的关键技术。5.4 量化的三种主流方法方法代表工具原理适用场景训练后量化 (PTQ)GPTQ、AWQ训练完成后直接压缩不需要重新训练快速部署主流选择量化感知训练 (QAT)NVIDIA TensorRT训练时就模拟量化误差精度更高对精度要求极高的场景动态量化GGUF / llama.cpp推理时动态量化CPU 友好消费级设备、边缘部署5.5 常见量化格式速查GGUF原 GGML ├── 用于 llama.cpp / Ollama ├── CPU GPU 混合推理 ├── 文件单一分发方便 ├── 常见变体Q4_K_M, Q5_K_M, Q8_0 └── 推荐Q4_K_M速度与精度的最佳平衡点 GPTQ ├── GPU 专用 ├── 需要校准数据集 ├── 推理速度快 └── 推荐配合 ExLlama / vLLM 使用 AWQ ├── GPTQ 的改进版 ├── 保护关键权重通道 ├── 精度通常优于 GPTQ └── 推荐vLLM 原生支持 bitsandbytes (bnb) ├── HuggingFace 原生集成 ├── 一行代码加载 4bit/8bit 模型 └── 推荐研究和快速原型5.6 量化精度损失到底有多大用一个真实测试数据来说明LLaMA-7BMMLU 基准测试精度MMLU 准确率相对 FP16 损失FP16基准45.3%—INT845.1%-0.2%INT4 (GPTQ)44.5%-0.8%INT4 (AWQ)44.8%-0.5%Q4_K_M (GGUF)44.2%-1.1%结论INT8 量化几乎无损INT4 量化损失通常在 1% 以内。用 1% 的精度换 75% 的显存节省这笔交易极度划算。第六章五个术语的协同全景6.1 一个完整的 AI 产品落地流程把这五个术语串起来就是一个 AI 产品从 0 到 1 的标准流程Step 1: 选择基座模型 ↓ Step 2: 准备 Embedding 模型用于知识库检索 ↓ Step 3: 准备微调数据用 LoRA/QLoRA 做 Fine-tuning ↓ Step 4: 对微调后的模型做 QuantizationINT4/INT8 ↓ Step 5: 部署推理服务vLLM / Ollama / TensorRT-LLM ↓ Step 6: 用户使用 - 输入进入 Context 窗口 - 模型做 Inference 计算 - 输出结果6.2 实际案例搭建一个公司内部智能客服步骤对应术语实际操作①Embedding把公司产品文档/FAQ 用 BGE 模型生成向量存入向量数据库②Fine-tuning收集 2000 条优质客服对话用 QLoRA 微调 Qwen2.5-7B③Quantization微调后的模型用 AWQ INT4 量化从 14GB 压缩到 4GB④Inference用 vLLM 部署推理服务配置 4096 的 Context 窗口⑤Context用户提问时先检索向量库中 Top-3 文档连同对话历史一起放入上下文窗口⑥Inference模型结合上下文信息生成准确答案并返回6.3 速记口诀Embedding 是翻译官万物变成数字串 Fine-tuning 是培训课通才变成专家干 Quantization 是压缩包大象塞进小房间 Context 是便利贴记忆有限记眼前 Inference 是上战场输入一来就出答案总结与记忆口诀五行口诀终极版术语口诀关键词Embedding文字图片变向量语义远近坐标量向量化、语义空间Fine-tuning通用模型喂数据领域专家就是你领域适配、LoRAQuantization大模型压成小体积精度换速度很可以INT4/INT8、压缩Context临时记忆有上限对话历史都放里Token 窗口、短期记忆Inference模型上线接客忙输入一来就算账前向传播、延迟一图速查表EmbeddingFine-tuningQuantizationContextInference是什么文本转数字领域适配训练模型压缩记忆窗口模型计算什么时候用检索、聚类、搜索定制化需求资源受限部署每次对话每次请求影响什么检索准确率领域专业度显存/速度能记多少信息用户体验成本低毫秒级中有 GPU 即可低一次操作无额外成本高持续消耗是否修改模型❌✅✅精度❌❌本文作者专注于 AI 技术科普与工程实践。上一篇《一张图看懂 AI、机器学习、深度学习、大模型四者关系》下一篇预告《算力科普GPU 显存、NPU、量化原理本地跑大模型硬件怎么选》版权声明本文为原创内容转载请标注出处。如果这篇文章让你真正理解了这五个高频术语欢迎点赞、收藏、关注让更多人告别似懂非懂。