美国200家零售商测试：63家拦截AI爬虫却有58家在robots.txt中声明欢迎

2026-11-07 13:41:51

调查机构Human Forward将英国版测试引入美国市场，使用8款购物助手对200家零售商及直面消费者品牌展开测试。在顺利完成读取的48家大型零售商中，仅有2家允许AI代理完成结账流程；200个测试站点中，有98个直接拒绝爬虫访问或页面无法正常打开。测试中最为显著的问题在于规则声明与实际行为之间的矛盾：63个拦截爬虫的站点中，有58个在robots.txt中明确声明欢迎AI抓取。此外，测试还发现，8款购物助手中有7款在被问及床垫品牌Purple时，将其识别为颜色而非品牌，显示该品牌在AI认知体系中尚未建立有效的实体身份。