前面七篇建立了 AI 的知识框架。这篇不讲概念，讲 怎么把 AI 从「能跑的 Demo」变成「能用的产品」。
1. 明确问题，而不是明确技术
❌ "我们要上 RAG"
✅ "客服每天回答 200 个重复的产品问题，占 60% 工时，
目标是自动处理 80% 的重复问题"先量化问题，再选技术方案。很多项目失败不是因为技术不行，是因为 解决的问题不存在。
2. 从最小场景开始
第一版只做:
- 1 个数据源（FAQ 文档）
- 1 种用户（内部客服）
- 1 种问题类型（产品功能咨询）
不要第一版就做:
- 10 个数据源 × 5 种用户 × 所有问题类型能服务 80% 用户的 20% 功能，就是 MVP。
3. 建立评估体系
没有评估 = 不知道有没有变好。
离线评估:
- 准备 50~100 个「问题 + 标准答案」测试集
- 每次改 Prompt / 换模型 / 调 RAG，跑一遍测试集
- 指标: 准确率、相关性评分、幻觉率
在线评估:
- 用户点赞/踩
- 人工抽检（每周抽 20 条）
- 业务指标: 客服工单量是否下降？4. 防幻觉策略
层级 1: Prompt 约束 — "只基于提供的资料回答，不确定就说不知道"
层级 2: RAG 引用 — 回答必须附带文档来源
层级 3: 置信度过滤 — 低置信度的回答自动转人工
层级 4: 人工审核 — 高风险场景（医疗、法律、金融）必须人工确认不要指望一个 Prompt 解决所有幻觉问题，多层防御。
5. 成本估算
单次对话成本 ≈ (输入 Token + 输出 Token) × 单价
例子 (GPT-4o):
输入 2000 Token × $2.5/1M = $0.005
输出 500 Token × $10/1M = $0.005
单次 ≈ $0.01
日活 1000 用户 × 每人 5 轮对话 = 5000 次/天
→ $50/天 → $1500/月
优化手段:
- 简单问题用小模型 (GPT-4o-mini, 便宜 10 倍)
- 缓存常见问题的回答
- RAG 减少输入 Token 量
- 限制每用户每日调用次数6. 安全红线
| 风险 | 防护 |
|---|---|
| Prompt 注入 | 输入过滤 + System Prompt 隔离 |
| 数据泄露 | 敏感数据不进 Prompt，API 调用走鉴权 |
| 过度权限 | Agent 工具最小权限原则 |
| 有害输出 | 输出过滤 + 内容审核 API |
| 依赖风险 | 多模型备份，关键流程不 100% 依赖 AI |
7. 监控和告警
上线后必须监控：
- 响应延迟 (P50, P99)
- 错误率 (API 超时、500 错误)
- Token 消耗 (日/周趋势，异常飙升告警)
- 用户反馈 (差评率)
- 幻觉检出率 (如果有自动检测)8. 用户体验设计
AI 产品的 UX 和传统软件不同：
- 展示不确定性：「以下回答基于产品手册 v3.2，如有疑问请联系客服」
- 允许纠正：「这个回答有帮助吗？」→ 收集反馈
- 优雅降级：AI 回答不了时，平滑转人工，不要显示「Error 500」
- 流式输出：长回答用 streaming，让用户看到「在思考」而不是干等
9. 迭代节奏
Week 1-2: MVP 上线（一个场景 + 基础 RAG）
Week 3-4: 收集反馈，优化 Prompt 和检索
Month 2: 扩展数据源，加评估体系
Month 3: 根据数据决定是否微调 / 加 Agent别追求一步到位。AI 产品的优化是 数据驱动 的，没有使用数据就优化是盲目的。
10. 团队能力
| 角色 | 需要什么能力 |
|---|---|
| 产品 | 定义场景、评估标准、用户体验 |
| 工程 | RAG 管线、API 集成、监控部署 |
| 领域专家 | 提供测试数据、审核回答质量 |
最小团队：1 个全栈工程师 + 1 个领域专家，2 周可以出 MVP。
完整 Checklist
□ 问题定义清晰，有量化目标
□ MVP 范围足够小
□ 有 50+ 条的测试集
□ 幻觉防护至少两层
□ 成本估算完成，有优化预案
□ 安全检查完成
□ 监控和告警就绪
□ 用户体验有降级方案
□ 迭代计划明确
□ 团队角色到位系列总结
八篇文章，从「AI 是什么」到「怎么落地」，覆盖了 AI 领域的核心知识链：
概念 → 原理 → Prompt → RAG → Agent → 架构选型 → 多模态 → 工程落地
Lv.1 Lv.2 Lv.2 Lv.3 Lv.3 Lv.4 Lv.4 Lv.5AI 变化很快，但底层逻辑相对稳定。掌握这些框架，新版本、新模型出来，你也能快速判断「这对我意味着什么」。
这个系列会持续更新。有新收获，就加新文章。