网络爬虫协议

一种位于网站根目录的标准文本文件，用于向搜索引擎和自动化爬虫声明哪些页面可访问或禁止抓取，是网站控制机器流量和数据采集边界的基础机制。