Anthropic爬虫机器人引发网站所有者不满

喜好儿小斥候消息,2024年7月27日,Anthropic公司开发的ClaudeBot爬虫机器人因无视网站反AI抓取政策而引发多个网站所有者的不满。iFixit网站在24小时内遭到近百万次访问,违反了其使用条款,导致iFixit CEO Kyle Wiens在社交媒体上公开批评。

Wiens指出,iFixit的内容明确禁止未经许可的使用,包括用于训练机器学习或AI模型。他强调,ClaudeBot的频繁访问不仅未付费获取内容,还占用了服务器资源,对此表示不满,并提出愿意就内容许可和商业用途进行对话。

iFixit已在其robots.txt文件中添加了"爬行延迟"扩展,以应对此类问题。然而,iFixit并非唯一受影响的网站。Read the Docs联合创始人Eric Holscher和Freelancer.com CEO Matt Barrie也反映他们的网站遭受了类似的频繁抓取。

值得注意的是,ClaudeBot的此类行为并非首次。今年4月,Linux Mint网站论坛就曾将一次网站故障归咎于ClaudeBot的抓取活动造成的压力。

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
今日签到
有新私信 私信列表
搜索