从 0 开始学 AI：第 6 课，Token、上下文窗口、Prompt、Embedding 是什么？

从 0 开始学 AI第 6 课Token、上下文窗口、Prompt、Embedding 是什么1. 这一课要解决什么问题2. 什么是 Token3. Token 为什么重要3.1 影响模型能处理多少内容3.2 影响生成速度3.3 影响使用成本4. 什么是上下文窗口5. 上下文窗口不是永久记忆6. 什么是 Prompt7. 一个好 Prompt 通常包含什么8. 什么是 Embedding9. Embedding 有什么用10. Token、Prompt、Embedding 的区别11. Embedding 和 RAG 的关系12. 常见误区误区 1Token 等于一个字或一个词误区 2上下文窗口就是永久记忆误区 3Prompt 就是随便提问误区 4Embedding 会直接生成答案13. 本课核心总结14. 本课自测问题1. 这一课要解决什么问题前面我们已经学习了AI 是什么机器学习、深度学习、大模型的关系数据、算法、算力CPU、GPU、显存模型、参数、训练、推理这一课开始进入大模型应用中的常见概念Token上下文窗口PromptEmbedding可以先记住一句话Token 是模型处理文本的基本单位Prompt 是给模型的任务说明Embedding 是把内容变成语义向量的方法。2. 什么是 TokenToken 是大模型处理文本时的基本单位。人看到的是一句完整的话我想学习 AI但模型通常会先把文字拆成更小的单位再转换成数字处理。这些被拆出来的单位就叫 Token。Token 可能是一个汉字一个词一个英文单词的一部分一个标点符号所以Token 不一定等于一个字也不一定等于一个词。简单理解Token 是模型读取和生成文本时使用的“文字颗粒”。3. Token 为什么重要Token 重要主要有三个原因。3.1 影响模型能处理多少内容模型一次能处理的 Token 数量是有限的。如果输入内容太长超过模型能处理的范围可能会出现前面内容被截断模型忽略部分信息回答漏掉关键条件输出质量下降3.2 影响生成速度输入越长、输出越长模型需要处理的 Token 越多。一般来说Token 越多 → 计算越多 → 速度可能越慢3.3 影响使用成本很多大模型服务会按照 Token 数量计算费用。通常包括输入 Token 输出 Token所以在实际使用 AI 时Token 也和成本有关。4. 什么是上下文窗口上下文窗口可以理解为模型当前一次能看到和处理的信息范围。你和模型对话时模型并不是只看最后一句话而是会参考当前对话中能看到的上下文。例如第 1 轮你说明背景 第 2 轮你提出要求 第 3 轮你补充限制 第 4 轮模型生成回答模型回答时会尽量参考前面的内容。这些它能参考的信息就属于上下文窗口。5. 上下文窗口不是永久记忆上下文窗口更像一个临时工作区不是永久记忆。需要区分概念含义上下文窗口模型当前能看到的信息范围训练改变模型参数的学习过程记忆系统可能保存的长期偏好或历史信息数据库外部存储的信息来源普通对话中模型可以根据当前上下文回答问题但这通常不代表模型参数被改变。简单记法上下文窗口 当前能看到什么 训练 真正改变模型参数6. 什么是 PromptPrompt 可以理解为给模型的任务说明。你输入给模型的问题、背景、要求、格式、限制条件都可以算 Prompt 的一部分。例如一个简单 Prompt 是帮我写一篇 AI 入门文章。但这个 Prompt 比较模糊。模型不知道文章写给谁、写多长、什么风格、要不要例子。更好的 Prompt 可以这样写请面向 0 基础读者写一篇 AI 入门文章。 要求 1. 用通俗语言解释。 2. 不使用复杂公式。 3. 包含 AI、机器学习、深度学习、大模型的区别。 4. 用 Markdown 输出。 5. 最后给出 5 个自测问题。这个 Prompt 更清楚模型就更容易输出符合预期的内容。7. 一个好 Prompt 通常包含什么可以先记住这个简单公式好 Prompt 任务 背景 要求 输出格式 限制条件例如组成部分例子任务帮我总结这篇文章背景我是 AI 初学者要求保留核心观点解释关键术语输出格式用 Markdown分标题和小节限制条件不要太长不要使用复杂公式Prompt 的核心作用是把你的意图清楚地传达给模型。8. 什么是 EmbeddingEmbedding 可以理解为把文本、图片等内容转换成数字向量用来表示它们的语义。这里的“向量”可以先简单理解为一串数字。例如下面几句话表达不同但意思接近怎么学习 AI AI 入门应该怎么开始 零基础如何学习人工智能它们的 Embedding 向量通常会比较接近。而下面这句话语义就远一些今天晚上吃什么所以Embedding 的作用是让计算机能够比较内容之间的语义相似度。9. Embedding 有什么用Embedding 常见用途包括语义搜索相似内容匹配推荐系统文档去重聚类分析RAG 知识库检索普通关键词搜索更像你搜什么字我找包含这些字的内容。语义搜索更像即使用词不同只要意思接近我也能找到相关内容。例如你搜索大模型为什么会乱编系统也可能找到什么是 AI 幻觉因为它们语义相关。10. Token、Prompt、Embedding 的区别概念简单理解主要作用Token模型处理文本的基本单位让模型读取和生成文本上下文窗口模型一次能看到的信息范围决定模型能参考多少内容Prompt给模型的任务说明指导模型如何回答Embedding内容的语义向量表示用于语义搜索和相似匹配一句话串起来Prompt 会被拆成 Token 交给模型处理 模型在上下文窗口内参考信息 Embedding 用来把内容变成语义向量方便检索相关资料。11. Embedding 和 RAG 的关系RAG 的核心思路是先从外部资料中找相关内容再让大模型基于这些内容回答。那系统怎么从一堆资料中找到相关内容这就需要 Embedding。基本流程是把文档切成小片段 ↓ 给每个片段生成 Embedding ↓ 用户提问时也给问题生成 Embedding ↓ 比较问题和文档片段的语义相似度 ↓ 找出最相关的片段 ↓ 把片段和问题一起放进 Prompt ↓ 让大模型生成回答所以Embedding 是 RAG 做语义检索的重要基础。12. 常见误区误区 1Token 等于一个字或一个词不准确。Token 可能是一个字、一个词、一个词的一部分也可能是标点符号。不同模型的切分方式可能不同。误区 2上下文窗口就是永久记忆不对。上下文窗口只是模型当前能看到的信息范围不等于模型真正学会了新知识也不等于模型参数被改变。误区 3Prompt 就是随便提问不完全对。随便提问也是 Prompt但好的 Prompt 会明确说明任务、背景、要求、格式和限制。误区 4Embedding 会直接生成答案不对。Embedding 主要用于表示语义和检索相似内容。最终答案通常还是由大语言模型生成。13. 本课核心总结这一课需要记住四个概念Token模型处理文本的基本单位。 上下文窗口模型当前能看到和处理的信息范围。 Prompt给模型的任务说明。 Embedding把内容转换成语义向量的方法。它们之间的关系是Prompt 会被拆成 Token 模型在上下文窗口内理解任务 Embedding 帮助系统从资料中找到语义相关内容 找到的资料可以再放进 Prompt让模型生成答案。最简记忆版Token 负责文本颗粒化。 上下文窗口负责当前可见范围。 Prompt 负责表达任务。 Embedding 负责语义表示和检索。14. 本课自测问题Token 是什么它为什么重要上下文窗口是什么意思它是不是永久记忆Prompt 是什么一个好 Prompt 通常包含哪些信息Embedding 是什么它主要用来做什么为什么说 Embedding 是理解 RAG 的基础能用自己的话回答这些问题就说明已经理解了本课的核心内容。