之前的文章都在聊「文字进、文字出」。但 AI 已经能看图、听声音、甚至生成视频了——这就是 多模态（Multimodal）。
什么是多模态
单模态: 文字 → 模型 → 文字 (ChatGPT 早期)
多模态: 文字 + 图片 → 模型 → 文字 (GPT-4V)
文字 → 模型 → 图片 (DALL-E, Midjourney)
音频 → 模型 → 文字 (Whisper 语音识别)
文字 → 模型 → 音频 (TTS 语音合成)核心变化：模型不再只处理一种类型的输入/输出，而是 在同一个架构里统一理解多种信息。
怎么做到的（简化版）
早期做法是流水线：先用视觉模型提取图片特征，再把特征转成文字描述，最后交给 LLM。问题是信息在转换过程中会丢失。
现在的做法是 端到端训练：模型在训练阶段同时「看」图片和「读」文字，学会两种信息之间的关联。GPT-4V、Gemini、Claude 3 都是这个路线。
训练数据:
[一张猫的照片 + "这是一只橘猫" ]
[一张图表 + "这张柱状图显示 Q3 销售增长 20%" ]
[一张 UI 截图 + "这是一个登录页面，包含邮箱和密码字段" ]
→ 模型学会: 看到图片 ↔ 理解内容 ↔ 用语言表达能做什么（2026 年的真实能力）
看图理解
- 描述图片内容、回答关于图片的问题
- 读取图表、表格、截图中的数据
- 分析 UI 设计、代码截图、架构图
你: [上传一张报错截图]
AI: "这是一个 Python ImportError，缺少 pandas 模块。
运行 pip install pandas 即可解决。"图片生成
- 文字描述 → 生成图片（DALL-E 3, Midjourney, Stable Diffusion）
- 图片编辑：inpainting（局部修改）、风格迁移
语音
- 语音转文字（Whisper）：多语言、高准确率、开源
- 文字转语音（TTS）：接近真人的语音合成
- 实时对话（GPT-4o 语音模式）：直接语音交互，低延迟
视频（仍在快速进化）
- 短视频生成（Sora, Kling, Runway）
- 视频理解（Gemini 1.5 可处理 1 小时视频）
- 但质量和一致性还不如图片和文字成熟
不能做什么（别被 demo 骗了）
| 看起来能 | 实际上 |
|---|---|
| 精确数图片里有几个物体 | 经常数错，尤其是小物体或重叠 |
| 理解复杂的空间关系 | 简单的可以，复杂的容易出错 |
| 生成文字清晰可读的图片 | 文字经常是乱码 |
| 生成长视频且人物一致 | 目前基本做不到 |
| 实时视频理解 | 延迟高，成本高 |
实用场景
作为开发者/技术爱好者，多模态最实用的几个场景：
- 截图问答：报错截图、UI 问题、设计稿评审
- 文档 OCR + 理解：拍照文档 → 提取结构化信息
- 代码截图 → 代码：白板上的伪代码 → 可运行代码
- Whisper 做字幕/会议纪要：开源、本地可跑、免费
和文本 AI 怎么配合
多模态不是替代文本 AI，是 扩展输入输出通道：
用户拍一张产品照片 + 问 "这个怎么修？"
→ 视觉模型理解图片
→ LLM 结合产品知识库 (RAG)
→ Agent 查维修手册 API
→ 输出维修步骤小结
多模态 AI 让模型从「只读书」变成「也能看、听、说」。目前 看图 + 对话 最成熟，视频生成 还在快速进步中。作为使用者，最实用的切入点是从 截图问答 和 Whisper 语音转文字 开始。
最后一篇：把前面学的串起来——AI 落地的实践 checklist。