Het Robots Exclusion Protocol, robots exclusion standard of robots.txt protocol is een conventie om (delen) van een normaal toegankelijke website af te schermen voor bepaalde webspiders en zoekrobots. Dit wordt met name gebruikt om te voorkomen dat (delen van) een website ongevraagd automatisch wordt gekopieerd en bijvoorbeeld daarmee wordt opgenomen in zoekresultaten van zoekmachines. Het kopiëren kan ook gevolgen hebben voor de bereikbaarheid van een website, vooral als het een druk bezochte website is. Tevens gebruiken websites dit protocol om bijvoorbeeld te zorgen dat zoekmachines alleen de startpagina van een website weergeven.
Het protocol maakt gebruik van het robots.txt-bestand, dat in de rootdirectory van een website wordt gezet.
User-agent: * Allow: / Disallow: /application/ Disallow: /modules/ Disallow: /system/ Sitemap: http://www.davidvandertuijn.nl/sitemap.xml
Controleer de robots.txt bij Google Webmaster Tools:
Zie ook : humans.txt