Robots.txt, web tarayıcılarına bir sitenin hangi bölümlerini ziyaret edebileceklerini bildiren küçük bir dosyadır. Girişe asılan ve ziyaretçilerden bazı odalardan uzak durmalarını isteyen bir tabela gibidir.
Bir site, arama tarayıcısından özel görünen bir test alanını ziyaret etmemesini isteyebilir. Bu dosya alanı insanlardan gizlemez ve parolayla korumaz.
robots.txt kuralının arkasına gizli bilgi koymayın. Dosyayı herkes okuyabilir ve tarayıcılar her talimata uymayabilir. Özel içerikler için uygun erişim denetimleri kullanın.