ChatGPT 打字看起来像人在写，但底层机制完全不同。搞懂三个概念，后面学 Prompt、RAG、Agent 都会轻松很多。
Token：AI 的「字母表」
模型不直接处理「字」或「词」，而是处理 Token——一种介于字符和单词之间的切分单位。
"人工智能" → 可能被切成 ["人工", "智能"] 或 ["人", "工智", "能"]
"ChatGPT" → ["Chat", "G", "PT"]为什么重要？
- 计费按 Token 算：输入 + 输出总共花了多少 Token，就是多少钱
- 上下文窗口按 Token 限：「128K 上下文」= 最多塞 128 000 个 Token
- 中文通常 1 个字 ≈ 1
2 个 Token，英文 1 个词 ≈ 11.5 个 Token
上下文窗口：模型的「短期记忆」
你发给模型的所有内容——系统提示、历史对话、你的问题——都在 上下文窗口 里。
┌─────────────────────────────────┐
│ 系统提示 (system prompt) │
│ 历史对话 (多轮) │
│ 你的当前问题 │
│ ← 模型从这里开始生成 → │
└─────────────────────────────────┘
上下文窗口 (有限大小)关键事实：
- 窗口满了，最早的内容会被「挤出去」，模型就「忘了」
- 不同模型窗口不同：4K、32K、128K、200K……
- 窗口越大，能塞的文档越多，但 处理速度越慢、费用越高
概率采样：一个字一个字「猜」
模型生成文本的过程，本质是 反复预测下一个 Token 是什么：
输入: "今天天气"
模型预测下一个 Token 的概率:
"很好" → 35%
"不错" → 28%
"真热" → 15%
"怎么样" → 12%
... 其他 → 10%然后从中 采样 选一个。两个重要参数：
- Temperature（温度）：越高越随机、越有创意；越低越确定、越保守
- 写代码 → 低温度（0~0.3）
- 头脑风暴 → 高温度（0.7~1.0）
- Top-p：只从概率最高的前 p% 候选里选，过滤掉离谱的选项
为什么 AI 会「幻觉」
因为模型不是在「查事实」，是在「预测最像真的文本」。如果训练数据里某个事实出现频率高，它就倾向于生成；如果没有，它可能 编造一个听起来合理的答案。
这不是 bug，是机制决定的。所以：
永远不要让 LLM 独自处理需要 100% 准确的事实性任务——除非配合 RAG 或工具验证（后面会讲）。
动手感受
下次用 ChatGPT 时，留意这几件事：
- 长对话到后面，它是否「忘了」前面说的？
- 同一个问题问两次，答案是否略有不同？（采样随机性）
- 让它算复杂数学题，是否出错？（预测 vs 计算）
小结
| 概念 | 一句话 |
|---|---|
| Token | 模型的最小处理单位，影响计费和容量 |
| 上下文窗口 | 模型的短期记忆，有上限 |
| 概率采样 | 逐 Token 预测，温度控制随机性 |
下一篇：既然知道模型怎么工作了，怎么问它才能得到好答案？——Prompt 入门。