Robots.txt는 웹 크롤러가 사이트의 어떤 영역을 방문해도 되는지 알려 주는 작은 파일입니다. 입구에서 방문자에게 특정 방에 들어가지 말라고 안내하는 표지판과 같습니다.
사이트는 검색 크롤러가 비공개처럼 보이는 테스트 영역을 방문하지 않도록 요청할 수 있습니다. 이 파일은 사람들에게 해당 영역을 숨기거나 비밀번호로 보호하지 않습니다.
robots.txt 규칙 뒤에 비밀 정보를 두지 마세요. 누구나 파일을 읽을 수 있고 크롤러가 모든 지시를 따르지 않을 수도 있습니다. 비공개 자료에는 적절한 접근 제어를 사용하세요.