Aide sur le format de mon fichier robots.txt

Discussion dans 'Crawl et indexation Google, sitemaps' créé par poupilou, 25 Octobre 2019.

  1. poupilou
    poupilou WRInaute impliqué
    Inscrit:
    9 Février 2004
    Messages:
    860
    J'aime reçus:
    11
    Salut à tous,

    J'ai une fichier robots.txt à la racine de mon site et je voudrais savoir si ce que j'ai mis dedans est correct :

    Code:
    User-agent: AlphaSeoBot
    User-agent: serpstatbot
    Disallow: /
    User-agent: Googlebot
    Disallow: /scripts/recherche.php
    Disallow: /scripts/ajax/ajaxFiltresCatalogue.php
    User-agent: *
    User-agent: Mediapartners-Google
    Allow: /
    
    Je voudrais interdire le crawl de tout mon site aux user-agent AlphaSeoBot et serpstatbot et interdire le crawl à User-agent: Googlebot uniquement de mes urls du type /scripts/recherche.php et /scripts/ajax/ajaxFiltresCatalogue.php, est-ce que le code ci-dessus est correct ?

    Faut-il mettre quelque chose à la fin de mes urls Disallow: /scripts/ajax/ajaxFiltresCatalogue.php dans le fichier robots.txt car elles peuvent avoir des variables, du type /scripts/ajax/ajaxFiltresCatalogue.php?id=56989 ?

    D'autre part, le User-agent: Mediapartners-Google est autorisé à crawler mon site, Est-ce correct ?

    Merci pour vos réponses.
     
  2. ABCWEB
    ABCWEB WRInaute passionné
    Inscrit:
    22 Octobre 2015
    Messages:
    1 071
    J'aime reçus:
    132
    Perso j'aurai fait ça.

    Code:
    User-agent: AlphaSeoBot
    Disallow: /
    User-agent: serpstatbot
    Disallow: /
    User-agent: Googlebot
    Disallow: /scripts/recherche.php
    Disallow: /scripts/ajax/ajaxFiltresCatalogue.php
    
     
  3. rick38
    rick38 WRInaute passionné
    Inscrit:
    23 Février 2013
    Messages:
    1 637
    J'aime reçus:
    240
    Les trois dernières lignes ne servent à rien. (du robots.txt du 1er message)
     
  4. poupilou
    poupilou WRInaute impliqué
    Inscrit:
    9 Février 2004
    Messages:
    860
    J'aime reçus:
    11
    Merci pour vos réponses.

    Je diffuse des pubs adsense sur mon site web et sur ce site ils disent :

    Donc le code complet de mon fichier robots.txt serait :

    Code:
    User-agent: AlphaSeoBot
    User-agent: serpstatbot
    Disallow: /
    User-agent: Googlebot
    Disallow: /scripts/recherche.php
    Disallow: /scripts/ajax/ajaxFiltresCatalogue.php
    User-agent: Mediapartners-Google
    Disallow:
    
    Est-ce correct ?

    Avec ce code ci-dessus, est-ce qu'une url du type /scripts/ajax/ajaxFiltresCatalogue.php?id=56985 est bien bloquée du crawl pour Googlebot ?
     
  5. ABCWEB
    ABCWEB WRInaute passionné
    Inscrit:
    22 Octobre 2015
    Messages:
    1 071
    J'aime reçus:
    132
    Code:
    User-agent: AlphaSeoBot
    Disallow: *
    User-agent: serpstatbot
    Disallow: *
    User-agent: Googlebot
    Disallow: /scripts/recherche.php
    Disallow: /scripts/ajax/ajaxFiltresCatalogue.php
    User-agent: Mediapartners-Google
    Disallow: *
    
     
  6. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    20 213
    J'aime reçus:
    563
    s'il n'y a aucune section qui cible tous les user agent, alors Mediapartners-Google n'est pas concerné, donc ça ne sert à rien de rajouter une section pour lui. Si tu veux vraiment le faire, autant le faire avec un Allow: /

    en faisant une section qui cible spécialement Googlebot, attention car plus tard s'il y a aussi une section User-agent * alors Googlebot ne sera pas concerné
     
  7. poupilou
    poupilou WRInaute impliqué
    Inscrit:
    9 Février 2004
    Messages:
    860
    J'aime reçus:
    11
    Pourquoi tu mets des * au lieu d'un / après Disallow: ?
     
Chargement...
Similar Threads - Aide fichier robots Forum Date
Aide pour fichier XML e-commerce 28 Mars 2019
Besoin d'aide regle regex sur fichier HTACCESS Administration d'un site Web 3 Mars 2013
Besoin d'aide pour combiner plusieurs fichier Javascript Développement d'un site Web ou d'une appli mobile 3 Décembre 2012
Aide création fichier Protégé Développement d'un site Web ou d'une appli mobile 1 Novembre 2012
Aide pour un fichier en php Développement d'un site Web ou d'une appli mobile 11 Avril 2012
Demande d'aide a propos des serveurs dédié et des fichiers emails Administration d'un site Web 20 Janvier 2011
Demande d'aide pour mon nouveau site Demandes d'avis et de conseils sur vos sites Lundi à 15:10
Besoin d'aide pour soucis avec le certbot chez OVH - VPS URL Rewriting et .htaccess 6 Avril 2021
Recherche conseils et aide pour hébergement Administration d'un site Web 14 Mars 2021
Aide sur photos articles Wix e-commerce 13 Mars 2021