ai.robots.txt

收录理由

如果你的网站正被不请自来的 AI 爬虫频繁访问，这份列表能让你迅速做出反击。它由一个社区维护的注册表追踪各类 AI 机器人，并提供多种现成的拦截规则：除了标准的 robots.txt，还附带了 nginx、Apache、Caddy、HAProxy 和 lighttpd 的配置片段，你只需按自己的服务器环境复制粘贴，不必从头手写规则。配套的机器人指标表还说明了每个爬虫的用途，想知道谁在抓取你的站点时，这份资料可以当参考手册用。它本质上是配置而非运行中的服务，几分钟就能融入现有技术栈，而且随着贡献者不断添加新代理，内容也会持续更新。