Shopify 详解 Sidekick 持续学习闭环:GraphQL agent 延迟更低、成本降 96%
Shopify 披露其持续学习闭环(flywheel)在 GraphQL agent 上的生产实践,称该闭环在质量上超过前沿模型,同时降低延迟并将成本削减 96%。该闭环的核心是把生产经验压缩进模型权重的连续空间,而非仅停留在 prompt、检索示例、路由规则和 harness 代码等离散产物中。流程从定义质量开始:用 rubric 将产品要求转为完整性、执行、响应质量和安全等评分标准,并由标注者据此把对话转为 ground truth,其中须包含随机抽样流量而非仅精选样本。rubric 定稿后,由两名最佳标注者或产品专家盲标 25 个随机样本,用 Cohen's kappa 记录标注者间一致性;若一致性很低(约 0.2),说明 rubric 含糊,需迭代。随后用 DSPy 及 GEPA、Agentic Context Engineering 等反思式优化器校准 judge,并通过回测历史 A/B 测试和定向退化测试验证其与线上指标一致。