un robot se comportant comme un invité?

j'ai un robot denomé "crawl20.dir.com" qui, quand il visite mon site, se comporte comme un invité et il explose mon compteur de visites, c'est normal?
 
Oui, c'est normal qu'il se comporte comme un invité puisqu'il ne peux pas se connecter à ton espace membre.

Maintenant, si tu trouves que ce crawler est inutile, regarde du côté du fichier robots.txt pour interdire ce robot.
 
chmouc a dit:
Oui, c'est normal qu'il se comporte comme un invité puisqu'il ne peux pas se connecter à ton espace membre.

Maintenant, si tu trouves que ce crawler est inutile, regarde du côté du fichier robots.txt pour interdire ce robot.

pour l'instant, je ne l'ai vu que trois fois mais si je le vois revenir souvent, il va se faire interdir dans ce fichier là....
 

➡️ Offre MyRankingMetrics ⬅️

pré-audit SEO gratuit avec RM Tech (+ avis d'expert)
coaching offert aux clients (avec Olivier Duffez ou Fabien Faceries)

Voir les détails ici

coaching SEO
Discussions similaires
Haut