Aide sur le format de mon fichier robots.txt

Discussion dans 'Crawl et indexation Google, sitemaps' créé par poupilou, 25 Octobre 2019.

  1. poupilou
    poupilou WRInaute impliqué
    Inscrit:
    9 Février 2004
    Messages:
    892
    J'aime reçus:
    13
    Salut à tous,

    J'ai une fichier robots.txt à la racine de mon site et je voudrais savoir si ce que j'ai mis dedans est correct :

    Code:
    User-agent: AlphaSeoBot
User-agent: serpstatbot
Disallow: /
User-agent: Googlebot
Disallow: /scripts/recherche.php
Disallow: /scripts/ajax/ajaxFiltresCatalogue.php
User-agent: *
User-agent: Mediapartners-Google
Allow: /
    Je voudrais interdire le crawl de tout mon site aux user-agent AlphaSeoBot et serpstatbot et interdire le crawl à User-agent: Googlebot uniquement de mes urls du type /scripts/recherche.php et /scripts/ajax/ajaxFiltresCatalogue.php, est-ce que le code ci-dessus est correct ?

    Faut-il mettre quelque chose à la fin de mes urls Disallow: /scripts/ajax/ajaxFiltresCatalogue.php dans le fichier robots.txt car elles peuvent avoir des variables, du type /scripts/ajax/ajaxFiltresCatalogue.php?id=56989 ?

    D'autre part, le User-agent: Mediapartners-Google est autorisé à crawler mon site, Est-ce correct ?

    Merci pour vos réponses.
     
    #1 poupilou, 25 Octobre 2019
  2. ABCWEB
    ABCWEB WRInaute passionné
    Inscrit:
    22 Octobre 2015
    Messages:
    1 123
    J'aime reçus:
    139
    Perso j'aurai fait ça.

    Code:
    User-agent: AlphaSeoBot
Disallow: /
User-agent: serpstatbot
Disallow: /
User-agent: Googlebot
Disallow: /scripts/recherche.php
Disallow: /scripts/ajax/ajaxFiltresCatalogue.php
     
    #2 ABCWEB, 25 Octobre 2019
  3. rick38
    rick38 WRInaute passionné
    Inscrit:
    23 Février 2013
    Messages:
    1 775
    J'aime reçus:
    268
    Les trois dernières lignes ne servent à rien. (du robots.txt du 1er message)
     
    #3 rick38, 25 Octobre 2019
  4. poupilou
    poupilou WRInaute impliqué
    Inscrit:
    9 Février 2004
    Messages:
    892
    J'aime reçus:
    13
    Merci pour vos réponses.

    Je diffuse des pubs adsense sur mon site web et sur ce site ils disent :

    Donc le code complet de mon fichier robots.txt serait :

    Code:
    User-agent: AlphaSeoBot
User-agent: serpstatbot
Disallow: /
User-agent: Googlebot
Disallow: /scripts/recherche.php
Disallow: /scripts/ajax/ajaxFiltresCatalogue.php
User-agent: Mediapartners-Google
Disallow:
    Est-ce correct ?

    Avec ce code ci-dessus, est-ce qu'une url du type /scripts/ajax/ajaxFiltresCatalogue.php?id=56985 est bien bloquée du crawl pour Googlebot ?
     
    #4 poupilou, 25 Octobre 2019
  5. ABCWEB
    ABCWEB WRInaute passionné
    Inscrit:
    22 Octobre 2015
    Messages:
    1 123
    J'aime reçus:
    139
    Code:
    User-agent: AlphaSeoBot
Disallow: *
User-agent: serpstatbot
Disallow: *
User-agent: Googlebot
Disallow: /scripts/recherche.php
Disallow: /scripts/ajax/ajaxFiltresCatalogue.php
User-agent: Mediapartners-Google
Disallow: *
     
    #5 ABCWEB, 25 Octobre 2019
  6. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    20 458
    J'aime reçus:
    608
    s'il n'y a aucune section qui cible tous les user agent, alors Mediapartners-Google n'est pas concerné, donc ça ne sert à rien de rajouter une section pour lui. Si tu veux vraiment le faire, autant le faire avec un Allow: /

    en faisant une section qui cible spécialement Googlebot, attention car plus tard s'il y a aussi une section User-agent * alors Googlebot ne sera pas concerné
     
    #6 WebRankInfo, 25 Octobre 2019
  7. poupilou
    poupilou WRInaute impliqué
    Inscrit:
    9 Février 2004
    Messages:
    892
    J'aime reçus:
    13
    Pourquoi tu mets des * au lieu d'un / après Disallow: ?
     
    #7 poupilou, 25 Octobre 2019
(Vous devez vous identifier ou vous inscrire pour poster ici.)
Chargement...
Similar Threads - Aide fichier robots Forum Date
Aide pour fichier XML e-commerce 28 Mars 2019
Besoin d'aide regle regex sur fichier HTACCESS Administration d'un site Web 3 Mars 2013
Besoin d'aide pour combiner plusieurs fichier Javascript Développement d'un site Web ou d'une appli mobile 3 Décembre 2012
Aide création fichier Protégé Développement d'un site Web ou d'une appli mobile 1 Novembre 2012
Aide pour un fichier en php Développement d'un site Web ou d'une appli mobile 11 Avril 2012
Demande d'aide a propos des serveurs dédié et des fichiers emails Administration d'un site Web 20 Janvier 2011
Besoin d'aide pour le lancement de mon Application Demandes d'avis et de conseils sur vos sites 12 Août 2021
Besoin d'aide pour la compréhension d'une application Développement d'un site Web ou d'une appli mobile 1 Août 2021
J’ai disparu de la SERP… A l’aide Débuter en référencement 25 Juillet 2021
M'aider à comprendre... Demandes d'avis et de conseils sur vos sites 16 Juin 2021