Robots.txtは、ウェブクローラーがサイト内のどの領域を訪問できるかを伝える小さなファイルです。入口に掲示して、特定の部屋には入らないよう訪問者に頼む案内板のようなものです。
サイトは、検索クローラーに非公開に見えるテスト領域を訪問しないよう求めることがあります。このファイルは、人からその領域を隠すものでも、パスワードで保護するものでもありません。
Robots.txtのルールで秘密情報を守ろうとしてはいけません。誰でもファイルを読めますし、クローラーがすべての指示に従うとは限りません。非公開情報には適切なアクセス制御を使いましょう。