Robots.txt ist eine kleine Datei mit Anweisungen für Webcrawler, welche Bereiche einer Website sie besuchen dürfen. Sie ähnelt einem Schild am Eingang, das Besucher bittet, bestimmte Räume zu meiden.
Eine Website kann einen Suchcrawler bitten, einen vertraulich wirkenden Testbereich nicht aufzurufen. Die Datei verbirgt diesen Bereich weder vor Menschen noch schützt sie ihn mit einem Passwort.
Lege keine geheimen Informationen hinter einer Robots.txt-Regel ab. Jeder kann die Datei lesen, und Crawler befolgen möglicherweise nicht jede Anweisung. Verwende für vertrauliche Inhalte geeignete Zugriffskontrollen.