Juste un Disallow

Discussion dans 'Crawl et indexation Google, sitemaps' créé par Blackart, 1 Juin 2021.

  1. Blackart
    Blackart Nouveau WRInaute
    Inscrit:
    11 Juin 2018
    Messages:
    49
    J'aime reçus:
    1
    Bonjour,

    Je suis maintenant à près de 6 requêtes par seconde par les bots !

    Il faut que je calme un peu tout ça, j'ai déjà fait une GROSSE erreur dans mon robots.txt j'avais mis en PROD un fichier de DEV dans lequel il y avait un seule ligne:
    Code:
    Disallow: /
    
    Je me suis tout fait déférencé en moins de 2 semaines et mis plusieurs mois à retrouver un référencement d'avant cette grosse bourde.

    Là je pense mettre :

    Code:
    User-agent: *
    Allow: /
    Disallow: /include/php/ajax/ajax_checkuser_loggedin.php
    Crawl-delay: 4
    
    Sitemap: https://monsiteweb.com/sitemaps/sitemaps-mainpages.xml
    
    Est-ce que c'est bon ? Le Disallow du call ajax va bien se faire malgrès le Allow: / qu'il y a juste avant ?

    Merci,
    Vincent.
     
  2. rick38
    rick38 WRInaute passionné
    Inscrit:
    23 Février 2013
    Messages:
    1 742
    J'aime reçus:
    262
    Allow: / est inutile
    Quand quelque chose n'est pas bloqué, c'est qu'il est autorisé.
     
  3. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    20 395
    J'aime reçus:
    590
    Crawl-delay ne concerne que Bing je crois (mais pas Google)
    pour l'ajax, mieux vaut demander à des spécialistes Ajax (que je ne suis pas)
     
  4. Blackart
    Blackart Nouveau WRInaute
    Inscrit:
    11 Juin 2018
    Messages:
    49
    J'aime reçus:
    1
    Oui mais ça m'a tellement traumatisé de tout déférencer, ça m'a fait du bien au mental de mettre Allow / après avoir mis Disallow / :)
    Maintenant, ça me fait peur de modifier quoi que ce soit.
     
  5. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    20 395
    J'aime reçus:
    590
    je précise que mettre disallow ne désindexe rien du tout...
     
  6. spout
    spout WRInaute accro
    Inscrit:
    14 Mai 2003
    Messages:
    9 162
    J'aime reçus:
    326
    Pour AJAX :
    Tu détectes que le request est fait en AJAX ou pas. Si pas : erreur 403, 404 ou 405.

    PHP:
    PHP:
    function isAjax ()
    {
        return
            isset(
    $_SERVER['HTTP_X_REQUESTED_WITH'])
            && 
    $_SERVER['HTTP_X_REQUESTED_WITH'] == 'XMLHttpRequest'
    }
     
  7. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    20 395
    J'aime reçus:
    590
    ah voilà, je me disais bien qu'on pouvait faire ça mieux qu'avec un disallow
     
Chargement...
Similar Threads - Disallow Forum Date
Juste un Disallow Crawl et indexation Google, sitemaps 14 Juillet 2021
Lien obfusqué avec le fichier JS en Disallow Débuter en référencement 29 Mai 2021
Search Console - Disallow /Feed/ Crawl et indexation Google, sitemaps 7 Juin 2020
J'ai tout Disallow pendant 10 jours! Référencement Google 29 Janvier 2020
Pagination : Disallow, No index, Canoniser - Qu'est-ce qu'on fait ? Référencement Google 15 Octobre 2019
Sites de test indexés malgré Disallow dans robots.txt Crawl et indexation Google, sitemaps 7 Juin 2019
est-il préférable de disallow des pages non indexées Crawl et indexation Google, sitemaps 29 Janvier 2019
Disallow à la place de noindex (optimisation du PageRank interne) Crawl et indexation Google, sitemaps 10 Août 2018
robots.txt avec Disallow:/*.php Débuter en référencement 23 Juin 2018
Problème et couverture de l'index et de Disallow Problèmes de référencement spécifiques à vos sites 2 Mai 2018