原生多模态：统一模型架构的现在与未来

基础系列第 07 篇介绍了多模态的概念。这篇深入 架构层面——模型怎么从底层统一处理不同模态，以及这对产品和工程意味着什么。

基础系列已有「多模态 AI」入门篇（Lv.4），本文从架构角度深入，建议先读基础篇。

三代多模态架构

第一代：流水线拼接（2022-2023）

图片 → 独立 Vision Model → 文字描述 → LLM → 回答
音频 → 独立 ASR Model   → 文字      → LLM → 回答

问题：

• 信息在转换中丢失（图片 → 文字描述 → 理解，两次有损压缩）
• 三个独立模型，延迟高、成本高
• 无法做跨模态推理（「图里的声音是什么」做不到）

代表：GPT-4V 早期架构、LLaVA

第二代：视觉 Token 融合（2023-2024）

图片 → Vision Encoder → 视觉 Token ─┐
                                      ├→ 统一 Transformer → 输出
文字 → Text Tokenizer → 文字 Token ─┘

视觉和文字 token 在同一个 Transformer 里处理，模型能 直接关联 视觉和语言信息。

代表：GPT-4V、Claude 3、Gemini 1.5、LLaVA-1.5

改进：不再丢信息到文字中间层，但 每种模态仍需独立 Encoder。

第三代：原生统一（2024-2026）

任何模态输入 → 统一 Tokenizer → 统一 Transformer → 任何模态输出

目标：Any-to-Any——文字、图片、音频、视频，进什么都行，出什么也都行。

代表：

• GPT-4o（OpenAI）：文字 + 图片 + 音频统一
• Gemini 2.0（Google）：文字 + 图片 + 音频 + 视频
• Chameleon（Meta）：早期 Any-to-Any 探索
• Unified-IO 2（Google Research）：统一生成和理解

GPT-4o 的多模态设计

OpenAI 2024 年 5 月发布 GPT-4o（「o」= omni），关键突破：

能力:
  输入: 文字 + 图片 + 音频（实时）
  输出: 文字 + 图片 + 音频（实时）
  延迟: 语音对话 ~320ms（接近人类反应速度）

架构特点:
  - 端到端训练，不是 ASR + LLM + TTS 拼接
  - 音频直接作为 token 输入，不转文字
  - 一个模型处理所有模态

Realtime API 的工程意义

传统语音对话:
  用户说话 → ASR(300ms) → LLM(500ms) → TTS(300ms) → 播放
  总延迟: ~1100ms（明显卡顿）

GPT-4o Realtime:
  用户说话 → 统一模型(320ms) → 直接输出音频
  总延迟: ~320ms（接近自然对话）

这对 语音 AI 产品（客服、助手、教育）是质变。

Gemini 2.0 的长视频理解

Google Gemini 2.0 的多模态亮点：

上下文: 1M token（约 1 小时视频 / 700 页文档）
原生视频: 不需要抽帧 → 文字，直接处理视频 token
多模态输出: 可以生成图片（Nano Banana / Imagen 3 集成）

真实案例：Google AI Studio

开发者上传 30 分钟产品演示视频，Gemini 2.0 能：

• 按时间戳总结每个功能点
• 回答「第 15 分钟演示的导出功能怎么用的」
• 生成对应的功能说明文档

这是第二代/第三代架构才做得到的能力。

训练统一多模态模型

训练数据:
  (图片, 描述) 对
  (音频, 转录) 对
  (视频, 摘要) 对
  (文字, 文字) 对
  (图片, 图片) 对 — 编辑/风格迁移
  全部 → 统一 token 序列 → 下一个 token 预测

关键挑战：

1. 模态对齐：不同模态的信息密度不同（1 张图 ≈ 1000 文字 token）
2. 数据配比：哪种模态训练多少，影响最终能力偏向
3. 计算成本：多模态训练比纯文本贵 5-10 倍

工程落地：什么时候用多模态

场景	是否需要原生多模态	替代方案
截图问答	✅ GPT-4V / Claude 3	OCR + 文本 LLM（精度低）
实时语音对话	✅ GPT-4o Realtime	ASR + LLM + TTS（延迟高）
视频内容分析	✅ Gemini 2.0	抽帧 + 逐帧 GPT-4V（贵且丢信息）
文档 OCR	⚠️ 过度	专用 OCR（PaddleOCR、Tesseract）更便宜
纯文本任务	❌ 浪费	文本模型更便宜更好

原则：没有多模态输入需求，就不要用多模态模型——纯文本模型更便宜、更快、更好。

机器人视角：多模态 = 机器人的「感官」

机器人需要的多模态:
  视觉 → 摄像头 → 理解环境
  听觉 → 麦克风 → 理解指令
  触觉 → 传感器 → 理解物理交互
  动作 →  motor 控制 → 输出

统一多模态模型 → 机器人的「大脑」
  所有传感器输入 → 统一模型 → 动作决策

VLA（Vision-Language-Action）模型就是这个方向——详见「机器人与 AI」篇。

参考资料

• GPT-4o System Card (OpenAI)
• Gemini 2.0 Technical Report
• Chameleon Paper (Meta)
• OpenAI Realtime API Docs

小结

多模态架构正在从「拼接」走向「统一」。GPT-4o 和 Gemini 2.0 代表当前最高水准。工程上，按需使用——有多模态输入才上多模态模型，否则纯文本模型是更优选择。