Die robots.txt ist eine einfache Textdatei, die im Stammverzeichnis einer Webseite abgelegt wird. Darin werden Regeln für die Indexierung durch Suchmaschinen notiert. Alle Webcrawler, die den Robots Exclusion Standard implementieren, schauen sich zuerst diese Datei an, bevor sie mit dem Crawling der Webseite beginnen. Dabei werden dann die formulierten Regeln beachtet.