音频 AI 不像文本和视觉那样被频繁讨论，但在 语音交互、内容创作、无障碍 等场景已经深度落地。三条产品线：识别（Speech-to-Text）、合成（Text-to-Speech）、生成（Music Generation）。
三条产品线
识别: 音频 → 模型 → 文字 Whisper, FunASR
合成: 文字 → 模型 → 语音 OpenAI TTS, ElevenLabs, ChatTTS
生成: 描述 → 模型 → 音乐 Suno, Udio, Stable Audio语音识别（ASR）
Whisper（OpenAI，2022）
开源语音识别的事实标准：
特点:
- 多语言（99 种语言）
- 高准确率（英文 WER < 5%）
- 开源可本地跑
- 支持翻译（任何语言 → 英文）
模型尺寸:
tiny (39M) → 实时、移动端
base (74M) → 平衡
small (244M) → 推荐日常使用
medium (769M) → 高准确率
large (1.5B) → 最高准确率真实案例
| 场景 | 方案 | 效果 |
|---|---|---|
| 会议纪 auto | Whisper large + LLM 摘要 | 1 小时会议 → 5 分钟出纪要 |
| 视频字幕 | Whisper + 时间戳对齐 | YouTube/B 站 UP 主标配 |
| 客服录音分析 | FunASR（阿里，中文优化） | 质检 + 情感分析 |
| 实时语音输入 | Whisper streaming / Deepgram | 替代键盘输入 |
中文 ASR 选型
英文为主 → Whisper（开源、免费、够好）
中文为主 → FunASR / Paraformer（阿里达摩院，中文 WER 更低）
实时场景 → Deepgram / AssemblyAI（API，低延迟）
隐私要求 → Whisper 本地部署（medium 模型 + GPU）语音合成（TTS）
技术演进
WaveNet (2016) → 早期 Google TTS，音质里程碑
Tacotron (2017) → 文本 → Mel 频谱 → 声码器
VITS (2021) → 端到端，质量大幅提升
ChatTTS (2024) → 对话感、韵律自然
OpenAI TTS (2024) → API 化，6 种预设声音
ElevenLabs (2024) → 声音克隆，情感表达最强2026 年 TTS 对比
| 产品 | 自然度 | 声音克隆 | 中文 | 延迟 | 定价 |
|---|---|---|---|---|---|
| OpenAI TTS | ⭐⭐⭐⭐ | 否 | 一般 | 低 | $15/1M chars |
| ElevenLabs | ⭐⭐⭐⭐⭐ | ✅ 3秒样本 | 较好 | 中 | $5/月起 |
| ChatTTS | ⭐⭐⭐⭐ | 否 | ✅ 原生 | 低 | 开源免费 |
| Fish Speech | ⭐⭐⭐⭐ | ✅ | ✅ 原生 | 低 | 开源免费 |
| Azure TTS | ⭐⭐⭐ | 有限 | ✅ | 低 | 按量 |
真实案例
- NotebookLM（Google）：上传文档 → 自动生成双人播客式音频解读
- 有声书制作：ElevenLabs 克隆作者声音 → 批量生成章节音频
- AI 客服：TTS + ASR 组成语音对话闭环
- 无障碍：视障用户的屏幕阅读器 + TTS 增强
音乐生成
2024-2025 年爆发的新品类：
Suno 和 Udio
输入: "一首关于星空的中文民谣，女声，吉他伴奏"
输出: 完整的 2-4 分钟歌曲（词 + 曲 + 人声 + 伴奏）| Suno v4 | Udio | |
|---|---|---|
| 质量 | 接近专业 Demo | 略高（音质细节） |
| 中文 | 较好 | 一般 |
| 时长 | 最长 4 分钟 | 最长 2 分钟 |
| 风格控制 | 标签 + 描述 | 描述 + 参考音频 |
| 定价 | 免费 50 首/月 | 免费 10 首/月 |
音乐生成的技术原理（简化）
文本描述 → Text Encoder → 条件向量
↓
随机噪声 → Diffusion/Transformer → 音频波形（或 MIDI → 渲染）和图像扩散模型类似，但在 时序音频 空间操作。挑战在于：
- 音乐有长程结构（前奏、主歌、副歌、Bridge）
- 人声和伴奏要协调
- 歌词和旋律要对齐
应用场景
✅ Demo 制作 / 灵感探索（音乐人快速验证想法）
✅ 游戏/视频配乐（低成本背景乐）
✅ 广告 jingle 原型
❌ 不能替代专业音乐制作（音质、混音、情感深度差距大）
❌ 版权状态不明确（训练数据版权争议）音频 AI 的组合应用
完整语音交互链路:
用户说话 → [ASR/Whisper] → 文字
↓
[LLM 处理]
↓
回复文字 → [TTS/ElevenLabs] → 语音输出
完整 AI 播客:
文档/文章 → [LLM 写脚本] → [TTS 双人对话] → 播客音频
代表产品: Google NotebookLM, 讯飞听见真实案例：OpenAI Realtime API
2024 年 OpenAI 发布 Realtime API，实现了 端到端语音对话——不需要 ASR → LLM → TTS 三段式，模型直接处理音频输入输出，延迟降到 300ms 以内。GPT-4o 的语音模式就是这个技术。
工程建议
语音识别 → Whisper local（隐私）或 Deepgram API（实时）
语音合成 → 英文 ElevenLabs，中文 ChatTTS/Fish Speech
音乐生成 → Suno（快速验证），Stable Audio（开源可控）
语音对话 → OpenAI Realtime API 或自建 ASR+LLM+TTS参考资料
小结
音频 AI 三条线——识别已成熟（Whisper 标配）、合成很实用（TTS 进产品）、音乐生成在爆发（Suno 颠覆 Demo 制作）。组合起来能搭建完整的语音 AI 产品。