J'ai tout Disallow pendant 10 jours!

Discussion dans 'Référencement Google' créé par Blackart, 29 Janvier 2020.

  1. Blackart
    Blackart Nouveau WRInaute
    Inscrit:
    11 Juin 2018
    Messages:
    43
    J'aime reçus:
    1
    Bonjour,

    Suite à une erreur de mise à jour, j'ai mis en prod un fichier robots.txt qui était destiné à un serveur de test. Résultat, la prod s'est retrouvé avec comme robots.txt:
    User-Agent: *
    Disallow: /

    C'était il y a 10 jours et j'ai maintenant plus 7000 URLS bloquées Error (Submitted URL blocked by robots.txt) ou en Warning (Indexed through blocked byt robots.txt).

    Hier, j'ai bien sur corrigé le fichier robots.txt.

    Qu'est ce que je peux faire pour accélérer la correction ?

    Merci,
    Vincent.
    [​IMG]
     
  2. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    19 841
    J'aime reçus:
    457
    signaler que le robots.txt a été mis à jour, puis attendre

    "Si jamais votre fichier robots.txt a changé et que vous souhaitez que Google vienne le crawler rapidement, cliquez sur Envoyer :"
    détails : comment indiquer à Google que le robots.txt a été mis à jour

    et copier 100 fois "Je ne mettrai plus un fichier robots.txt disallow / sur un serveur de dév, j'ai compris qu'il faut protéger l'accès par un mot de passe et mettre en ligne le fichier robots.txt réel."
     
    KOogar apprécie ceci.
  3. Blackart
    Blackart Nouveau WRInaute
    Inscrit:
    11 Juin 2018
    Messages:
    43
    J'aime reçus:
    1
    Oui chef! C'est copié! :)

    Est-ce que je peux augmenter la vitesse du crawling de Google? Par exemple, 1 page par seconde.
     
  4. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    19 841
    J'aime reçus:
    457
    tu peux essayer, mais si ça fait surcharger ton serveur tu auras tout perdu
     
  5. Blackart
    Blackart Nouveau WRInaute
    Inscrit:
    11 Juin 2018
    Messages:
    43
    J'aime reçus:
    1
    Oui à faire avec des pincettes...Mais comment ? Où se trouve l'option ?
     
  6. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    19 841
    J'aime reçus:
    457
  7. phonyclic
    phonyclic WRInaute occasionnel
    Inscrit:
    25 Octobre 2017
    Messages:
    406
    J'aime reçus:
    88
    J'attendrai un peu a ta place, laisse faire GG il va tout mettre en ordre assez rapidement normalement.
     
  8. Blackart
    Blackart Nouveau WRInaute
    Inscrit:
    11 Juin 2018
    Messages:
    43
    J'aime reçus:
    1
    Impossible d'attendre, psychologiquement trop dur !
    J'ai fini par trouver, j'ai augmenter la vitesse de crawling de Google.
    https://www.google.com/webmasters/tools/settings
    Je l'ai passé à 0.7 requests per seconds 1.3 seconds between requests. Les pages du site en question s'excécute au niveau PHP en moins de 0.1 sec, la moyenne est à 0.05 sec!

    Comme ceci, c'est bon ? C'est bien augmenté et cela devrait aller plus vite, non ?

    [​IMG]
     
  9. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    19 841
    J'aime reçus:
    457
    psychologiquement c'est bon, oui !
     
  10. Blackart
    Blackart Nouveau WRInaute
    Inscrit:
    11 Juin 2018
    Messages:
    43
    J'aime reçus:
    1
    Vous pensez que ça va être long à regagner la position que j'avais avant d'avoir tout Disallow ?
    Parce que là j'ai perdu minimum 70% de mon trafique !
     
  11. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    19 841
    J'aime reçus:
    457
    Il y avait sans doute d'autres problèmes, ou alors c'est lié à un core update, car un simple blocage du crawl ne fait pas perdre 70% du trafic. Peux-tu détailler (et indiquer l'URL) ?
     
  12. Blackart
    Blackart Nouveau WRInaute
    Inscrit:
    11 Juin 2018
    Messages:
    43
    J'aime reçus:
    1
    Euuuh, pas trop envie d'afficher publiquement le nom du site autour d'une erreur pareil. L'anonymat a ses avantages :)
    La plus part de mes visites étaient des recherches Google Images du style VAN GOGH. J'étais vraiment dans les toutes premières images et cela aboutissait des fois à des ventes de reproductions de ces œuvres...

    Après, on reste sur un trafic assez faible, entre 150 et 200 visiteurs uniques par jour en semaine et à peu près 100 le week-end. Mais on est passé à 50 !

    Des visites venant du monde entier, le site est en 4 langues et les ventes sont plus à l’internationale qu'en France.
     
  13. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    19 841
    J'aime reçus:
    457
    je comprends. si tu veux tu peux me l'envoyer en privé, je ne l'indiquerai pas publiquement.
    sinon, tu devrais vraiment vérifier qu'il n'y a pas d'autres pb techniques sur le site, car comme je l'ai indiqué, un blocage de 10 jours du robots.txt n'est pas censé faire chuter le trafic de 70%.
     
  14. Blackart
    Blackart Nouveau WRInaute
    Inscrit:
    11 Juin 2018
    Messages:
    43
    J'aime reçus:
    1
    J'ai trouvé une option: Crawl-delay
    Alors je l'ai mis à 1, apparemment on peut pas le mettre en deça de 1!
    Code:
    User-agent: *
    Allow: /
    Crawl-delay: 1
    J'ai pas l'impression de pouvoir en faire bcp plus...je vais passer en mode Wait&See.
     
  15. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    19 841
    J'aime reçus:
    457
    ça concerne Bing, pas Google
     
Chargement...
Similar Threads - Disallow jours Forum Date
Search Console - Disallow /Feed/ Crawl et indexation Google, sitemaps 7 Juin 2020
Pagination : Disallow, No index, Canoniser - Qu'est-ce qu'on fait ? Référencement Google 15 Octobre 2019
Sites de test indexés malgré Disallow dans robots.txt Crawl et indexation Google, sitemaps 7 Juin 2019
est-il préférable de disallow des pages non indexées Crawl et indexation Google, sitemaps 29 Janvier 2019
Disallow à la place de noindex (optimisation du PageRank interne) Crawl et indexation Google, sitemaps 10 Août 2018
robots.txt avec Disallow:/*.php Débuter en référencement 23 Juin 2018
Problème et couverture de l'index et de Disallow Problèmes de référencement spécifiques à vos sites 2 Mai 2018
Cocon sémantique, nofollow et disallow au troisième niveau Référencement Google 9 Novembre 2017
Robots.txt et syntaxe de Disallow Crawl et indexation Google, sitemaps 2 Juin 2017
Comment interdire le crawl des pages de faibles valeurs (Noindex ; Nofollow ; Disallow ?) Débuter en référencement 22 Mars 2017