Shopify 详解 Sidekick 持续学习闭环：GraphQL agent 延迟更低、成本降 96%

Shopify 披露其持续学习闭环（flywheel）在 GraphQL agent 上的生产实践，称该闭环在质量上超过前沿模型，同时降低延迟并将成本削减 96%。该闭环的核心是把生产经验压缩进模型权重的连续空间，而非仅停留在 prompt、检索示例、路由规则和 harness 代码等离散产物中。流程从定义质量开始：用 rubric 将产品要求转为完整性、执行、响应质量和安全等评分标准，并由标注者据此把对话转为 ground truth，其中须包含随机抽样流量而非仅精选样本。rubric 定稿后，由两名最佳标注者或产品专家盲标 25 个随机样本，用 Cohen's kappa 记录标注者间一致性；若一致性很低（约 0.2），说明 rubric 含糊，需迭代。随后用 DSPy 及 GEPA、Agentic Context Engineering 等反思式优化器校准 judge，并通过回测历史 A/B 测试和定向退化测试验证其与线上指标一致。