喜好儿小斥候消息,2024年7月27日,Anthropic公司开发的ClaudeBot爬虫机器人因无视网站反AI抓取政策而引发多个网站所有者的不满。iFixit网站在24小时内遭到近百万次访问,违反了其使用条款,导致iFixit CEO Kyle Wiens在社交媒体上公开批评。
Wiens指出,iFixit的内容明确禁止未经许可的使用,包括用于训练机器学习或AI模型。他强调,ClaudeBot的频繁访问不仅未付费获取内容,还占用了服务器资源,对此表示不满,并提出愿意就内容许可和商业用途进行对话。
iFixit已在其robots.txt文件中添加了"爬行延迟"扩展,以应对此类问题。然而,iFixit并非唯一受影响的网站。Read the Docs联合创始人Eric Holscher和Freelancer.com CEO Matt Barrie也反映他们的网站遭受了类似的频繁抓取。
值得注意的是,ClaudeBot的此类行为并非首次。今年4月,Linux Mint网站论坛就曾将一次网站故障归咎于ClaudeBot的抓取活动造成的压力。