Webmarketing Tools

 Abonneer je op de webfeed van deze website.


Google bepaalt de spider-frequentie per (sub)directory
Zo nu en dan speel ik met mijn IIS log-bestanden en draai ik wat analyses.

Vandaag kwam ik tot de ontdekking dat google bij mijn engelstalige websites de 'spider-frequentie' bepaalt per directory.
De directories die al langer bestaan (en meestal een hogere pagerank hebben) worden vaker gespiderd.

Hieronder een grafiek:

Spider patroon Google subdirectories


Hierbij heb ik het Google spider-bezoek van de afgelopen 2 maanden genomen van een onderdeel van 1 van mijn websites.
Neem de grafiek van de oudste directory (rode lijn). Deze wordt veel vaker gespiderd dan de iets nieuwere directory (blauw).
Vooral bij de groene lijn is goed zichtbaar dat er een vast patroon zit in het spider-gedrag. De spider frequentie van een directory lijkt evenredig met de pagerank van de home-pagina van de betreffende directory.

Zoals je kunt zien begint 22 januari 2005 pas de eerste deep-crawl van de directory welke is aangemaakt op 1-1-2005. Dit zal te maken hebben met het feit dat 7 januari (de eerste keer dat de home-directory '/dot-net-books' in 2005 is gespiderd) pas voor het eerst bij Google bekend was dat de betreffende directory aanwezig was.

Dit is volgens mij een zeer interessante theorie waarmee op het SEO vlak veel te halen is...

Wordt vervolgd!

Gepubliceerd op zaterdag, januari 22, 2005   [0 reacties]


0 Reacties:



Een reactie plaatsen