Ligger på dinsajt.se/robots.txt och sätter reglerna för crawlers. Två klassiska självmål: en kvarglömd Disallow: / från utvecklingsmiljön, och blockerade CSS/JS-filer som hindrar rendering.
Viktig nyans: robots.txt stoppar crawling, inte indexering. Ska en sida bort ur indexet är det noindex som gäller.
