【导语:网站管理员启用 Anubis 保护服务器,防止 AI 公司大量爬取网站内容,采用类似 Hashcash 的工作量证明机制,这是临时方案,后续将投入指纹识别等工作。】
网站管理员启用了 Anubis 来保护服务器,因为 AI 公司大量爬取网站内容的行为可能导致网站崩溃,影响所有用户正常访问资源。
Anubis 采用类似 Hashcash 的工作量证明机制,对个别用户来说,额外计算负担可忽略不计,但对大规模爬虫而言,累积成本大幅增加,从而增加了爬取难度。
当前的工作量证明机制只是临时解决方案,后续将投入更多时间用于指纹识别和识别无头浏览器,这样就无需向更可能是合法用户的人展示验证工作量证明的页面。
编辑观点:Anubis 的应用为网站防爬取提供了有效手段,虽为临时方案,但后续发展值得期待,或能更好平衡网站安全与用户体验。