AIGC宇宙 AIGC宇宙

无视网站反 AI 抓取政策,Anthropic 爬虫机器人惹多个网站所有者不满

作者:清源
2024-07-27 06:17
据 The Verge 当地时间 26 日报道,Anthropic 公司使用的 ClaudeBot 在短短 24 小时之内,就访问了 iFixit 网站近百万次,此举违反了该网站的使用条款。这一显得有些疯狂的举动,引起 iFixit 的 CEO Kyle Wiens 直接在 X(推特)上开怼,AI在线附大意如下:“如果这些请求(指访问)中的任何一个访问了我们的使用条款,那么它会告诉你我们的内容被明确禁止使用。别问我,去问 Claude!”“我知道你渴望获得数据,Claude 也真的很聪明!但是,你真的有必要在 24

据 The Verge 当地时间 26 日报道,Anthropic 公司使用的 ClaudeBot 在短短 24 小时之内,就访问了 iFixit 网站近百万次,此举违反了该网站的使用条款。

这一显得有些疯狂的举动,引起 iFixit 的 CEO Kyle Wiens 直接在 X(推特)上开怼,AI在线附大意如下:

“如果这些请求(指访问)中的任何一个访问了我们的使用条款,那么它会告诉你我们的内容被明确禁止使用。别问我,去问 Claude!”

“我知道你渴望获得数据,Claude 也真的很聪明!但是,你真的有必要在 24 小时内访问我们的服务器 100 万次吗?你不仅在不付费的情况下获取我们的内容,还占用了我们的 devops 资源,一点都不酷!”

“如果你想要跟我们谈谈内容许可和商业用途的话,我们就在这呢。”

无视网站反 AI 抓取政策,Anthropic 爬虫机器人惹多个网站所有者不满

iFixit 的使用条款政策声明,“未经公司事先明确的书面许可,严格禁止复制、复制或分发”网站上的任何内容,特别包括“用于训练机器学习或 AI 模型”。

Wiens 此后表示,iFixit 已经在其 robots.txt 文件中添加了“爬行延迟”扩展。

然而,iFixit 并非唯一的受害者。Read the Docs 联合创始人 Eric Holscher 和 Freelancer.com CEO Matt Barrie 在 Wiens 的帖子中表示,他们的网站也曾被 Anthropic 的爬虫频繁抓取。

这些行为并非 ClaudeBot 的“初犯”。早在今年 4 月,Linux Mint 网站论坛就将一次网站故障归因于 ClaudeBot 的抓取活动造成的压力。

相关标签:

相关资讯

24 小时抓取百万次,Anthropic AI 公司被指过度抓取网站数据

金融时报(FT)发布博文,指出 AI 公司 Anthropic 虽然声称“要负责任地开发 AI”,但通过 ClaudeBot 机器人过度抓取网站数据,用于训练 Claude 大语言模型。尽管使用网络爬虫抓取数据是人工智能行业普遍做法,但 Anthropic 因其激进程度而受到批评。自由职业者网站 Freelancer 也表示,ClaudeBot 在四小时内访问了 350 万次,被迫对其进行屏蔽。批评者指出,Anthropic 无视网站的 robots.txt 协议,强行获取数据,与其宣称的“负责任的 AI”理念相悖
7/31/2024 8:44:52 AM
故渊

AI领域的全面战争,从AI爬虫毁灭互联网开始

昨天看到一个非常有意思的事情。 这是第一次,全世界最大的网络基础设施公司之一,Cloudflare,开始用魔法打败魔法,用 AI 来对抗 AI 爬虫。 这事情的有意思的程度,足以载入 AI 发展史册。
3/25/2025 12:02:42 AM
数字生命卡兹克

B站粉丝超130万,最火最直观数学网站3b1b终于有了文字版!网友:点燃对数学的爱

学习知识有更优雅的方法。如果你无法理解高等数学、比特币、深度学习这些概念,可能有人会向你推荐 3blue1brown 的视频——这是一个专门制作可视化讲解视频的频道,其内容覆盖数学、人工智能等领域,每门课都配有直观生动的动画演示,帮助观众加深对概念定理的理解。它火到什么程度?除了 YouTube 上 380 万订阅者之外,3b1b 在 B 站上还有官方账号,粉丝数量超过 130 万,每个视频都是 10 万以上播放量,甚至有老师在课堂上播放该频道的视频。对于一个硬核教学 UP 主来说,这样的成绩几乎是无人可及了。不过
8/5/2021 2:46:00 PM
机器之心