googlebot

De googlebot is de webcrawler van Google. Het is een software computerprogramma dat het internet afzoekt via het volgen van links op een site. Googlebot springt van url naar url en voegt alle links die het tegenkomt toe aan zijn lijst met te bezoeken sites.
Zo indexeert Google (en andere zoekmachines) het internet.