Googlebot följer länkar, hämtar sidor och skickar innehållet vidare till indexering. Den crawlar mobilversionen först och beter sig i praktiken som en otålig besökare.
Vad den får och inte får göra styr du via robots.txt — med stor försiktighet, för fel där kan göra hela sajten osynlig.
