Nouveau WRInaute
Bonjour à tous,
Je me suis aperçu que le site preisroboter.de avait près de 14 000 0000 de pages scannées,
Hors ce site est composé d'un simple moteur en home, et donc je me demandais comment les robots de google ont réussi à scanner ce site.
L'existence d'un sitemap est peu probable et robots.txt ne donne pas d'infos particulière...
:roll: ?
https://www.google.fr/search?hl=fr&client=firefox-a&rls=org.mozilla%3Af ... cher&meta=
Je me suis aperçu que le site preisroboter.de avait près de 14 000 0000 de pages scannées,
Hors ce site est composé d'un simple moteur en home, et donc je me demandais comment les robots de google ont réussi à scanner ce site.
L'existence d'un sitemap est peu probable et robots.txt ne donne pas d'infos particulière...
:roll: ?
https://www.google.fr/search?hl=fr&client=firefox-a&rls=org.mozilla%3Af ... cher&meta=