视觉 AI 走两条完全不同的路：理解（看图说话）和 生成（文字变图/视频）。两条线的模型架构、应用场景、技术成熟度差异很大。

两条路线

理解路线（Vision Understanding）:
  图片 → 模型 → 文字描述 / 问答 / 分析
  代表: GPT-4V, Claude 3, Gemini, LLaVA

生成路线（Vision Generation）:
  文字 → 模型 → 图片 / 视频
  代表: DALL-E 3, Midjourney, Stable Diffusion, Sora

理解路线：模型怎么「看」

经典架构（Vision Encoder + LLM）

图片 → Vision Encoder（ViT）→ 视觉 Token → 和文字 Token 一起 → LLM → 输出
  • ViT（Vision Transformer）：把图片切成 patch，转成 token 序列
  • 视觉 token 和文字 token 在同一个 Transformer 里处理
  • GPT-4V、Claude 3、LLaVA 都是这个思路

CLIP：视觉理解的基石

OpenAI 的 CLIP（2021）是视觉 AI 的「基础设施」：

图片 → Image Encoder → 向量
文字 → Text Encoder  → 向量
→ 语义相近的图片和文字，向量距离近

CLIP 本身不能对话，但它是 countless 下游应用的基础：

  • 图片搜索（以文搜图）
  • RAG 中的图片检索
  • Stable Diffusion 的文本编码器
  • 零样本分类

实际应用场景

场景模型选择案例
截图问答GPT-4V / Claude 3「这个报错怎么修？」+ 截图
文档 OCR + 理解Gemini / GPT-4V拍照合同 → 提取关键条款
工业质检专用 ViT + 微调产品缺陷检测
医学影像辅助Med-PaLM / 专用模型X 光片初步筛查（需人工确认）
UI 设计评审GPT-4V上传设计稿 → 可用性分析

真实案例：GitHub Copilot Vision

2025 年 GitHub 给 Copilot 加了视觉能力——上传 UI mockup 或架构图，Copilot 能生成对应的 HTML/CSS 或代码框架。底层就是 Vision Encoder + 代码 LLM 的组合。

生成路线：模型怎么「画」

扩散模型（Diffusion Model）

Stable Diffusion、DALL-E 3、Midjourney 的核心：

1. 训练: 学会「去噪」——从纯噪声逐步还原清晰图片
2. 生成: 从随机噪声出发，按文字引导逐步去噪 → 生成图片

关键组件：

  • Text Encoder（通常是 CLIP）：把 prompt 转成引导信号
  • U-Net / DiT：去噪网络，逐步生成像素
  • VAE：在压缩的 latent space 操作（效率更高）

2026 年生成模型对比

模型质量文字渲染控制精度开源成本
Midjourney v7⭐⭐⭐⭐⭐差中否$10/月起
DALL-E 3⭐⭐⭐⭐较好高（via ChatGPT）否按量
Stable Diffusion 3.5⭐⭐⭐⭐差高（ControlNet）是自托管
Flux⭐⭐⭐⭐⭐较好高部分开源自托管/API
Sora / Kling视频—低否按量

视频生成

2025-2026 年最大突破：

Sora（OpenAI）:  物理一致性较好，最长 60s，未全面开放
Kling（快手）:   国内可用，1080p，最长 2 分钟
Runway Gen-3:    创意视频，电影级控制
Google Veo 2:    高质量，Google 生态集成

视频生成的核心挑战：时间一致性（人物前后一致）和 物理合理性（物体不会凭空出现）。

工程实践建议

理解任务

✅ 用 API 模型（GPT-4V / Claude 3）快速验证
✅ 批量处理用 Gemini Flash（便宜 + 长上下文）
✅ 隐私场景用 LLaVA 自部署
❌ 不要指望视觉模型精确计数（「图里有几个苹果」经常错）

生成任务

✅ 概念设计 / 原型 → Midjourney 或 DALL-E
✅ 产品素材 / 可控生成 → Stable Diffusion + ControlNet
✅ 需要 API 集成 → DALL-E 3 或 Flux API
❌ 不要用于需要精确文字的图片（招牌、UI 文字）
❌ 不要用于需要角色一致性的系列图（除非用 LoRA）

视觉 + 文本 = 多模态

理解线和生成线的融合趋势：

  • GPT-4o：同一模型既能看图又能生成图片
  • Gemini 2.0：原生多模态，图片/视频/音频统一处理
  • 未来方向：Unified Multimodal Model——一个模型，所有模态输入输出

详见本系列「原生多模态架构」篇。

参考资料

小结

视觉 AI = 理解（ViT + LLM，已成熟）+ 生成（Diffusion，快速进步）。工程上，理解任务优先用 API 模型验证；生成任务根据质量/成本/控制需求选工具。两条线正在融合为统一多模态模型。