Webmarketing Tools

 Abonneer je op de webfeed van deze website.


Robots.txt bestand om pagina's af te schermen voor Zoekmachines
Ik kwam in mijn log-bestanden tegen dat de Zoek-spiders telkens op zoek zijn naar een bestand genaamd 'robots.txt' in de root van mijn website. Deze heb ik dus maar aangemaakt. kijk maar.

Je kunt met zo'n robots.txt bestand ervoor zorgen dat de zoekmachines bepaalde pagina's niet indexeren. Je ziet dat ik graag wil dat alle zoekmachines ALLE pagina's van mijn website indexeren.
Hieronder een forum, enkel over het robots.txt bestand.

robots.txt forum

Gepubliceerd op zondag, juli 18, 2004   [0 reacties]


0 Reacties:



Een reactie plaatsen