Human Forward 美国测试：200家零售商中63家拦截AI爬虫，58家却在robots.txt中声明欢迎

调查机构 Human Forward 将英国版测试引入美国市场，用8款购物助手测试200家零售商及DTC品牌，发现63个拦截爬虫的站点中有58个在robots.txt中明确声明欢迎AI抓取。在顺利完成读取的48家大型零售商中，仅2家允许AI代理完成结账流程；200个测试站点中有98个直接拒绝爬虫访问或页面无法正常打开。测试还发现，8款购物助手中有7款在被问及床垫品牌Purple时将其识别为颜色而非品牌。距离黑色星期五不足一个月，商家可从robots.txt放行名单配置、商品页结构化数据完整性、品牌词在助手回答中指向的实体对象三个维度自查。