J'ai tout Disallow pendant 10 jours!

[Blackart]

Bonjour,

Suite à une erreur de mise à jour, j'ai mis en prod un fichier robots.txt qui était destiné à un serveur de test. Résultat, la prod s'est retrouvé avec comme robots.txt:
User-Agent: *
Disallow: /

C'était il y a 10 jours et j'ai maintenant plus 7000 URLS bloquées Error (Submitted URL blocked by robots.txt) ou en Warning (Indexed through blocked byt robots.txt).

Hier, j'ai bien sur corrigé le fichier robots.txt.

Qu'est ce que je peux faire pour accélérer la correction ?

Merci,
Vincent.

 

[WebRankInfo]

signaler que le robots.txt a été mis à jour, puis attendre

"Si jamais votre fichier robots.txt a changé et que vous souhaitez que Google vienne le crawler rapidement, cliquez sur Envoyer :"
détails : comment indiquer à Google que le robots.txt a été mis à jour

et copier 100 fois "Je ne mettrai plus un fichier robots.txt disallow / sur un serveur de dév, j'ai compris qu'il faut protéger l'accès par un mot de passe et mettre en ligne le fichier robots.txt réel."

 

[Blackart]

Oui chef! C'est copié!

Est-ce que je peux augmenter la vitesse du crawling de Google? Par exemple, 1 page par seconde.

 

[WebRankInfo]

tu peux essayer, mais si ça fait surcharger ton serveur tu auras tout perdu

 

[Blackart]

Oui à faire avec des pincettes...Mais comment ? Où se trouve l'option ?

 

[WebRankInfo]

dans les paramètres de l'ancienne search console : https://www.google.com/webmasters/tools/settings

 

[phonyclic]

Oui à faire avec des pincettes...Mais comment ? Où se trouve l'option ?

J'attendrai un peu a ta place, laisse faire GG il va tout mettre en ordre assez rapidement normalement.

 

[Blackart]

Impossible d'attendre, psychologiquement trop dur !
J'ai fini par trouver, j'ai augmenter la vitesse de crawling de Google.
https://www.google.com/webmasters/tools/settings
Je l'ai passé à 0.7 requests per seconds 1.3 seconds between requests. Les pages du site en question s'excécute au niveau PHP en moins de 0.1 sec, la moyenne est à 0.05 sec!

Comme ceci, c'est bon ? C'est bien augmenté et cela devrait aller plus vite, non ?

 

[WebRankInfo]

psychologiquement c'est bon, oui !

 

[Blackart]

Vous pensez que ça va être long à regagner la position que j'avais avant d'avoir tout Disallow ?
Parce que là j'ai perdu minimum 70% de mon trafique !

 

[WebRankInfo]

Il y avait sans doute d'autres problèmes, ou alors c'est lié à un core update, car un simple blocage du crawl ne fait pas perdre 70% du trafic. Peux-tu détailler (et indiquer l'URL) ?

 

[Blackart]

Il y avait sans doute d'autres problèmes, ou alors c'est lié à un core update, car un simple blocage du crawl ne fait pas perdre 70% du trafic. Peux-tu détailler (et indiquer l'URL) ?

Euuuh, pas trop envie d'afficher publiquement le nom du site autour d'une erreur pareil. L'anonymat a ses avantages
La plus part de mes visites étaient des recherches Google Images du style VAN GOGH. J'étais vraiment dans les toutes premières images et cela aboutissait des fois à des ventes de reproductions de ces œuvres...

Après, on reste sur un trafic assez faible, entre 150 et 200 visiteurs uniques par jour en semaine et à peu près 100 le week-end. Mais on est passé à 50 !

Des visites venant du monde entier, le site est en 4 langues et les ventes sont plus à l’internationale qu'en France.

 

[WebRankInfo]

je comprends. si tu veux tu peux me l'envoyer en privé, je ne l'indiquerai pas publiquement.
sinon, tu devrais vraiment vérifier qu'il n'y a pas d'autres pb techniques sur le site, car comme je l'ai indiqué, un blocage de 10 jours du robots.txt n'est pas censé faire chuter le trafic de 70%.

 

[Blackart]

J'ai trouvé une option: Crawl-delay
Alors je l'ai mis à 1, apparemment on peut pas le mettre en deça de 1!

User-agent: *
Allow: /
Crawl-delay: 1

J'ai pas l'impression de pouvoir en faire bcp plus...je vais passer en mode Wait&See.

 

[WebRankInfo]

ça concerne Bing, pas Google