机器人与 AI：从 LLM 到 VLA 模型

文本模型让 AI 能「思考」，视觉模型让 AI 能「看」，那 AI 怎么「动手」？这就是 具身智能（Embodied AI）——AI 进入物理世界。

为什么机器人 + AI 特别难

ChatGPT 犯错 → 用户看到错误文字，无物理后果
自动驾驶犯错 → 可能撞车
机器人犯错 → 可能砸东西、伤人

额外挑战:
  物理世界实时性（毫秒级响应）
  传感器噪声和不完美
  每个环境不同（不像互联网数据可复用）
  安全要求极高

三代机器人 AI

第一代：规则 + 传统 CV（2020 前）

摄像头 → 目标检测（YOLO）→ 规则引擎 → 预编程动作

工厂流水线能用，但 不能适应新环境。换个场景就要重新编程。

第二代：强化学习（2020-2023）

仿真环境 → RL 训练 → 策略网络 → 部署到真实机器人

代表：OpenAI 的 Dactyl（魔方）、Google 的 QT-Opt（抓取）

问题：Sim-to-Real gap——仿真里训练的模型，到真实世界经常失效。

第三代：VLA 模型（2024-2026）

Vision（摄像头）+ Language（指令）→ Action（动作）

把 LLM 的世界知识和推理能力 迁移到机器人控制：

人类: "把桌上的红杯子拿到_sink 旁边"
  ↓
VLA 模型:
  1. 视觉: 识别红杯子、sink 的位置
  2. 语言: 理解「拿到...旁边」的空间关系
  3. 动作: 生成机械臂运动轨迹

主流 VLA 模型

模型	机构	特点	状态
RT-2	Google DeepMind	最早 VLA 之一，PaLM + 机器人控制	研究
OpenVLA	斯坦福等	开源 VLA，7B/34B，可微调	开源
π0 (Pi-Zero)	Physical Intelligence	通用机器人基础模型	2024 发布
Helix	Figure AI	人形机器人专用，Figure 01 使用	商业
Optimus AI	Tesla	自研，Optimus 人形机器人	商业

RT-2 的关键思路（Google, 2023）

把机器人动作也 token 化:

  传统:  图片 → CNN → 动作向量（连续数值）
  RT-2:  图片 + 指令 → LLM → 动作 token 序列

  动作 token 示例: "move gripper to (0.3, 0.5, 0.2), close gripper"
  
  好处: 复用 LLM 的推理能力
         "看到空杯子 → 应该放到洗碗机"（常识推理）

OpenVLA：开源的选择

2024 年斯坦福等发布 OpenVLA——7B 参数的开源 VLA 模型：

基础: Llama 2 7B + 视觉 Encoder
训练: Open X-Embodiment 数据集（22 种机器人、100 万+ 轨迹）
能力: 看 + 听指令 + 输出 7-DoF 机械臂动作

对研究者和小团队，OpenVLA 是目前 最可复现 的 VLA 起点。

真实案例

Figure 01 + OpenAI（2024）

Figure AI 的人形机器人 Figure 01 集成了 GPT-4 做高层推理：

人类: "我饿了，桌上有啥能吃的？"
Figure 01:
  [GPT-4 推理] 桌上有苹果和能量棒，苹果更健康
  [VLA 控制]  伸手拿苹果，递给人类
  [GPT-4 生成] "给你一个苹果，是桌上最健康的选择"

展示了 LLM 推理 + VLA 控制 的分层架构。

Tesla Optimus

Tesla 的路线不同——不依赖 LLM 做推理，而是：

大量真实世界数据（Tesla 车队摄像头）
  → 端到端神经网络
  → 直接输出关节控制信号
  
优势: 不依赖语言，纯视觉驱动
劣势: 需要海量数据，泛化性待验证

1X NEO（家用机器人）

挪威 1X Technologies 的 NEO 机器人目标 家用场景：

策略: 先在仿真中训练基础动作 → 真实家庭微调
特点: 人形、轻量（30kg）、安全设计（软材料）
AI: 自研 VLA + 远程操控数据收集

当前瓶颈

瓶颈	现状	预计突破
数据稀缺	机器人轨迹数据比文本少 10 个数量级	仿真 + 远程操控规模化
Sim-to-Real	仿真训练 → 真实部署仍有 gap	更好的 domain randomization
泛化性	换环境/物体性能断崖下降	基础模型 + 少量微调
实时性	VLA 推理 100-500ms，不够快	小模型 + 专用芯片
安全	没有成熟的安全认证标准	行业标准和法规跟进
成本	人形机器人 $20K-$150K	规模量产降到 $5K 以下

对 AI 工程师意味着什么

短期（2026）:
  - VLA 模型是研究/创业热点，但离消费级产品还有距离
  - 工业场景（仓储、制造）已有成熟 AI 方案（非 VLA）
  - 关注 OpenVLA / RT-2 开源生态

中期（2027-2028）:
  - 家用机器人可能开始 Early Adopter 阶段
  - VLA 基础模型 + 场景微调 成为标准范式
  - 多模态 LLM → VLA 的迁移路径更清晰

长期:
  - 通用机器人 + 通用 AI = 真正的 AGI 物理形态？

和其他模型方向的关系

文本模型 → 机器人的「推理和规划」
视觉模型 → 机器人的「眼睛」
音频模型 → 机器人的「耳朵和嘴巴」
多模态统一 → 机器人的「大脑」
VLA 模型  → 机器人的「小脑」（运动控制）

完整机器人 AI = 大脑（LLM 推理）+ 小脑（VLA 控制）+ 感官（多模态）

参考资料

小结

机器人 AI 正在从「预编程 + 传统 CV」走向 VLA 基础模型。2026 年还在早期——研究活跃、产品刚起步、瓶颈明确。但对 AI 工程师来说，理解 VLA 架构和 Sim-to-Real 挑战，是把握下一个风口的必要知识。