Robots.txt 是一个小文件，会向网络爬虫说明它们可以访问网站的哪些区域。它就像入口处的告示，请访客避开某些房间。

网站可能会要求搜索爬虫不要访问看起来私密的测试区域。这个文件不会对人们隐藏该区域，也不会用密码保护它。

不要依靠 robots.txt 规则保护机密信息。任何人都能读取该文件，而且爬虫未必会遵守每条指令。私密内容应使用适当的访问控制。