「RAG 客服」是最常见的 AI 落地场景，也是失败最多的。Shopify 的 Sidekick（AI 商家助手）是少数公开了工程路径和效果数据的案例。
背景
Shopify 有 数百万商家，Help Center 有 10 000+ 篇文档，客服团队每天处理海量重复问题：
- 「怎么设置运费？」
- 「我的支付为什么失败？」
- 「如何添加自定义域名？」
80% 的问题在文档里都有答案，但商家找不到或看不懂。
阶段 1：纯 RAG MVP（2023）
商家提问 → 检索 Help Center → LLM 生成回答 → 展示给商家第一版的问题：
| 问题 | 数据 |
|---|---|
| 检索不准 | 40% 的问题检索到错误文档 |
| 回答太泛 | 商家反馈「说了等于没说」 |
| 幻觉 | 15% 的回答包含文档里没有的信息 |
| 无行动 | 只能回答，不能帮商家操作 |
商家满意度：~60%（不够上线标准）。
阶段 2：混合检索 + 结构化回答（2024）
Shopify 工程团队的优化：
检索改进
纯向量检索（v1）
↓ 改为
混合检索 = 向量相似度 + BM25 关键词 + 文档 metadata 过滤
↓ 加
Reranker（cross-encoder 重排序 Top-20 → Top-3）检索准确率从 60% 提升到 85%。
回答结构化
不再生成自由文本，改为 结构化模板：
## 回答
[基于文档的直接回答]
## 相关步骤
1. 进入 Settings → Shipping
2. 点击 "Manage rates"
3. ...
## 来源
- [设置运费指南](link)
- [运费故障排查](link)
## 需要更多帮助？
[转人工客服] 按钮结构化输出让幻觉率从 15% 降到 3%——模型被约束在固定格式内。
阶段 3：RAG + Agent（2025，Sidekick）
Sidekick 不只是回答问题，还能 帮商家操作：
商家: "帮我设置美国地区的标准运费为 $5.99"
Sidekick:
1. [RAG] 检索运费设置文档 → 确认操作流程
2. [Agent] 调用 Shopify Admin API → 创建 shipping rate
3. [确认] "已为您设置美国标准运费 $5.99，[查看详情]"从「告诉你怎么做」升级到「帮你做」——这是 Agent 对 RAG 的增强。
Sidekick 的架构
┌─────────────────────────────────────────┐
│ Sidekick Agent │
│ │
│ ┌─────────┐ ┌──────────┐ ┌────────┐ │
│ │ RAG │ │ Admin │ │ Store │ │
│ │ (文档) │ │ API │ │ Context│ │
│ └─────────┘ └──────────┘ └────────┘ │
│ │
│ 商家画像 + 店铺状态 + 对话历史 │
└─────────────────────────────────────────┘关键设计：Store Context——Sidekick 知道你的店铺配置了什麼、用了哪些 App、最近有什么订单异常。这不是 RAG 能提供的，是 实时业务数据。
效果数据（Shopify 公开）
| 指标 | MVP (v1) | 当前 (Sidekick) |
|---|---|---|
| 问题自动解决率 | 30% | 82% |
| 商家满意度 | 60% | 91% |
| 平均响应时间 | 8s | 2s |
| 幻觉率 | 15% | < 2% |
| 人工客服工单量 | baseline | -40% |
关键工程决策回顾
- 不要第一版就上线——60% 满意度会伤害品牌
- 混合检索 > 纯向量——BM25 对精确术语匹配至关重要
- 结构化输出 > 自由文本——格式约束 = 质量约束
- RAG + Agent + 业务数据——三者组合才是完整方案
- 永远有转人工入口——AI 搞不定的 gracefully 降级
可复用的模式
即使你不是 Shopify，这个路径适用于任何「文档问答 + 业务操作」场景：
Phase 1: 纯 RAG 问答（验证检索质量）
↓ 检索准确率 > 80%
Phase 2: 结构化输出 + Rerank（提升回答质量）
↓ 满意度 > 85%
Phase 3: 加 Agent 工具（从「说」到「做」）
↓ 自动解决率 > 70%
Phase 4: 加业务上下文（个性化）参考资料
- Shopify Sidekick 产品页
- Shopify Engineering Blog — AI
- Shopify Editions 2024/2025 发布 Keynote（Sidekick 演示）
小结
Shopify 的路径证明：RAG 客服不是「接个 API 就完事」。检索质量、输出格式、Agent 能力、业务上下文——每一层都需要工程投入。但一旦到位，82% 自动解决率是真实可达的。