Robots.txt 是一個小型檔案，會告知網路爬蟲可以造訪網站的哪些區域。它就像入口處的告示，請訪客避開某些房間。

網站可能會要求搜尋爬蟲不要造訪看起來私密的測試區域。這個檔案不會對人們隱藏該區域，也不會用密碼保護它。

不要依靠 robots.txt 規則保護機密資訊。任何人都能讀取該檔案，而且爬蟲未必會遵守每條指示。私密內容應使用適當的存取控制。