Robots.txt es un archivo pequeño que indica a los rastreadores web qué zonas de un sitio pueden visitar. Es como un cartel en la entrada que pide a los visitantes evitar ciertas salas.
Un sitio puede pedir a un rastreador de búsqueda que no visite una zona de pruebas que parece privada. El archivo no oculta esa zona a las personas ni la protege con una contraseña.
No guardes información secreta detrás de una regla de robots.txt. Cualquiera puede leer el archivo y los rastreadores quizá no sigan todas sus instrucciones. Usa controles de acceso adecuados para el material privado.