Robots.txt é um ficheiro pequeno que indica aos rastreadores Web que áreas de um site podem visitar. É como um aviso à entrada que pede aos visitantes para evitarem certas salas.
Um site pode pedir a um rastreador de pesquisa que não visite uma área de testes aparentemente privada. O ficheiro não a oculta das pessoas nem a protege com uma palavra-passe.
Não coloque informação secreta atrás de uma regra de robots.txt. Qualquer pessoa pode ler o ficheiro e os rastreadores podem não seguir todas as instruções. Use controlos de acesso adequados para material privado.