AI 研发从 Demo 到生产环境差了什么

很多 AI 功能在 Demo 阶段表现很好——模型效果好、响应快、看着能上线。但真上线后，问题会集中爆发：调用成本突然失控、线上错误难定位、Prompt 改一点坏一片、模型切换导致结果不稳定。

Demo 和生产的差距，几乎从来不在「模型效果」，而在工程化：你能不能观测、能不能回归、能不能控成本、能不能收住权限、能不能从故障里恢复。这篇逐项讲这五件事，以及每件事最容易被忽略的坑。

可观测性：请求链路、错误码、延迟、成本

AI 调用出问题，第一步永远是「看得见」。可观测性要覆盖四个维度：

• 请求链路：一次调用走了哪些环节（入口、路由、模型、工具），每一段的耗时
• 错误码：模型的原始错误是什么，别在入口吞掉
• 延迟：首字延迟、总延迟、模型耗时占比
• 成本：每笔调用的 token 消耗和金额

坑在这里：AI 的「错误」和「正常结果」边界模糊。传统后端，非 2xx 就是错误；但 AI 里，模型「拒绝回答」「输出被安全策略拦截」是正常业务结果，不是故障。你的观测如果只按 HTTP 状态码报警，会把「模型拒绝」误判成「服务挂了」，要么漏报真故障，要么被假告警淹没。观测要区分「基础设施错误」和「模型行为」。

评测集：固定样本回归，避免「改一点坏一片」

AI 系统最怕的是没有回归机制。你改了 Prompt，模型输出变了，可能变好了也可能变坏了——没有评测集，你只能「凭感觉」上线，然后被用户反馈打脸。

评测集要解决两件事：

1. 固定样本：一批有代表性的输入 + 期望输出，每次改 Prompt 跑一遍，看有没有退化
2. 分级覆盖：单元测试（解析器、命令层）、离线路由评测（代码结构）、live 真模型评测（模型行为），各自只证明各自能证明的事

这里有个我踩过的真实的坑：「绿色假证据」。我们的 live 评测名字里有 live，实际只跑路由仿真、不调真实模型——门禁全绿，用户却一直发现问题。原因是评测器根本没测到模型行为。所以评测要分清楚「什么证明什么」：离线评测只证明代码分派结构，模型行为必须用真模型跑。

策略层：模型路由、降级、熔断、重试

生产环境里，模型会挂、会限流、会突然变慢。策略层负责把这些「基础设施的不确定性」兜住：

• 路由：按任务类型、成本、延迟选模型
• 降级：主模型不可用，切备用模型
• 熔断：某个模型连续失败，暂时隔离它
• 重试：瞬时故障重试，但要有上限和退避

坑在于重试和降级的边界。不是所有失败都该重试——「模型拒绝」不该重试，「超时」才该。也不是所有失败都该降级——把「拒绝回答」误判成「模型挂了」，会白白多花一次调用的钱。策略层的每一条规则，都要分清「业务结果」和「基础设施故障」。

权限与配额：避免资源滥用

AI 的成本是「按量计费」的，所以权限和配额比传统后端更重要：

• 权限：谁能调、能调哪些模型、能不能调贵的模型
• 配额：调用次数、金额上限、有效期
• 审计：每笔调用是谁、花了多少

坑在于配额的「软硬」之分。硬闸是「超了就拒绝」，软提示是「快超了就告警」。只有硬闸没有软提示，用户会在某天突然发现所有调用被掐断；只有软提示没有硬闸，一个循环调用 bug 能一夜烧掉几百块。两者都要有。

发布流程：灰度、回滚、告警

AI 系统的发布，比传统后端更「危险」——因为模型行为的变化不是二进制的「对/错」，而是「好一点/坏一点」。所以发布流程要能「安全地试错」：

• 灰度：先小流量，再逐步放大
• 回滚：出问题能一键退回上一个版本
• 告警：关键指标（错误率、成本、延迟）异常自动报警

这里有个我们踩过的坑：把「口头的上线」当成「完整的发布」。功能通过预发后，我们一度把「上线」误当成可以省略 Code Review、测试报告和 Release PR。服务确实上线了，但发布链路不完整——后来我们补了报告、Review、生产验证，并把状态停在 post-release-reconciled，没有因为入口返回 200 就标记 complete。发布不是「部署成功」就结束，而是「验证过线上真实行为」才算完成。

flowchart LR
  Demo[Demo] -->|补齐五个闭环| Prod[生产]
  A[可观测性 · 看得见] --> Prod
  B[评测集 · 测得准] --> Prod
  C[策略层 · 兜得住] --> Prod
  D[权限配额 · 收得住] --> Prod
  E[发布流程 · 回得去] --> Prod

总结

AI 研发真正的门槛是工程化。没有工程化，Demo 很快；有工程化，产品才能稳定增长。

五件事，本质是五个「闭环」：

1. 可观测性——看得见（区分基础设施错误和模型行为）
2. 评测集——测得准（别被绿色假证据骗了）
3. 策略层——兜得住（路由、降级、熔断、重试）
4. 权限配额——收得住（软硬两道闸）
5. 发布流程——回得去（灰度、回滚、告警）

模型效果决定你的 Demo 能多惊艳，工程化决定你的产品能活多久。别把时间全花在调 Prompt 上，先把这五个闭环补上。