此页面由社区从英文翻译而来。了解更多并加入 MDN Web Docs 社区。
Robots.txt
Robots.txt 是一个通常放置在任何网站根目录下的文件。它决定了爬虫是否被允许访问网站。
例如，网站管理员可以禁止爬虫访问某个文件夹（以及其中包含的所有文件）或爬取特定文件，通常是为了防止这些文件被其他搜索引擎索引。
此页面由社区从英文翻译而来。了解更多并加入 MDN Web Docs 社区。
Robots.txt 是一个通常放置在任何网站根目录下的文件。它决定了爬虫是否被允许访问网站。
例如，网站管理员可以禁止爬虫访问某个文件夹（以及其中包含的所有文件）或爬取特定文件，通常是为了防止这些文件被其他搜索引擎索引。