Google 称过去 25 年 Robots Exclusion Protocol (REP)协议一直是一种约定的标准，给网站管理员人员和爬虫工具开发者带来了很多不确定性。Google 现在宣布它将率先致力于让 REP 成为一个行业标准，作为这个努力的一部分，它开源了自己使用的 robots.txt 解析器，源代码托管在 GitHub 上，采用 Apache License 2.0 许可证。robots.txt 解析器是一个 C++ 库，用于解析和匹配 robots.txt 文件中的规则，它已经有约 20 年历史了，包含了 1990 年代写的代码。

继续阅读与本文标签相同的文章

None
最新文章 最热文章
收藏 打印

特别推荐 2026年05月15日 星期五

精彩发现

热门标签

阻止表单提交 窗口 关闭浏览器 清除 CDATA css文件 光标位置 坐标 javascrpt !important 超链接 数字

相关文章

1
董明珠造5G公交车：车长18米 可连接5G Wi-Fi
996人阅读
2
最有价值品牌TOP100公布 三星611亿美元创新高 排名全球第六
317人阅读
3
科技提升“双录”效率，马上金融打造智慧双录服务平台
1474人阅读