Juste un Disallow

Discussion dans 'Crawl et indexation Google, sitemaps' créé par Peter Wagner, 14 Juillet 2021.

  1. Peter Wagner
    Peter Wagner Nouveau WRInaute
    Inscrit:
    14 Juillet 2021
    Messages:
    4
    J'aime reçus:
    0
    Bonjour,

    Je suis maintenant à près de 6 requêtes par seconde par les bots !

    Il faut que je calme un peu tout ça, j'ai déjà fait une GROSSE erreur dans mon robots.txt j'avais mis en PROD un fichier de DEV dans lequel il y avait un seule ligne:
    Code:
    Disallow: /

    Je me suis tout fait déférencé en moins de 2 semaines et mis plusieurs mois à retrouver un référencement d'avant cette grosse bourde.

    Là je pense mettre :

    Code:
    User-agent: *
    Allow: /
    Disallow: /include/php/ajax/ajax_checkuser_loggedin.php
    Crawl-delay: 4

    Sitemap: https://monsiteweb.com/sitemaps/sitemaps-mainpages.xml

    Est-ce que c'est bon ? Le Disallow du call ajax va bien se faire malgrès le Allow: / qu'il y a juste avant ?

    Merci,
    Vincent.
     
  2. rick38
    rick38 WRInaute passionné
    Inscrit:
    23 Février 2013
    Messages:
    1 780
    J'aime reçus:
    270
    Allow: / est inutile.

    Quant à Crawl-delay, Google ne le supporte pas.
     
  3. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    20 471
    J'aime reçus:
    615
    je n'y crois pas, le robots.txt n'agit pas sur l'indexation mais sur le crawl
     
Chargement...
Similar Threads - Disallow Forum Date
Juste un Disallow Crawl et indexation Google, sitemaps 1 Juin 2021
Lien obfusqué avec le fichier JS en Disallow Débuter en référencement 29 Mai 2021
Search Console - Disallow /Feed/ Crawl et indexation Google, sitemaps 7 Juin 2020
J'ai tout Disallow pendant 10 jours! Référencement Google 29 Janvier 2020
Pagination : Disallow, No index, Canoniser - Qu'est-ce qu'on fait ? Référencement Google 15 Octobre 2019
Sites de test indexés malgré Disallow dans robots.txt Crawl et indexation Google, sitemaps 7 Juin 2019
est-il préférable de disallow des pages non indexées Crawl et indexation Google, sitemaps 29 Janvier 2019
Disallow à la place de noindex (optimisation du PageRank interne) Crawl et indexation Google, sitemaps 10 Août 2018
robots.txt avec Disallow:/*.php Débuter en référencement 23 Juin 2018
Problème et couverture de l'index et de Disallow Problèmes de référencement spécifiques à vos sites 2 Mai 2018