Aide sur le format de mon fichier robots.txt

Discussion dans 'Crawl et indexation Google, sitemaps' créé par poupilou, 25 Octobre 2019.

  1. poupilou
    poupilou WRInaute impliqué
    Inscrit:
    9 Février 2004
    Messages:
    935
    J'aime reçus:
    15
    Salut à tous,

    J'ai une fichier robots.txt à la racine de mon site et je voudrais savoir si ce que j'ai mis dedans est correct :

    Code:
    User-agent: AlphaSeoBot
User-agent: serpstatbot
Disallow: /
User-agent: Googlebot
Disallow: /scripts/recherche.php
Disallow: /scripts/ajax/ajaxFiltresCatalogue.php
User-agent: *
User-agent: Mediapartners-Google
Allow: /
    Je voudrais interdire le crawl de tout mon site aux user-agent AlphaSeoBot et serpstatbot et interdire le crawl à User-agent: Googlebot uniquement de mes urls du type /scripts/recherche.php et /scripts/ajax/ajaxFiltresCatalogue.php, est-ce que le code ci-dessus est correct ?

    Faut-il mettre quelque chose à la fin de mes urls Disallow: /scripts/ajax/ajaxFiltresCatalogue.php dans le fichier robots.txt car elles peuvent avoir des variables, du type /scripts/ajax/ajaxFiltresCatalogue.php?id=56989 ?

    D'autre part, le User-agent: Mediapartners-Google est autorisé à crawler mon site, Est-ce correct ?

    Merci pour vos réponses.
     
    #1 poupilou, 25 Octobre 2019
  2. ABCWEB
    ABCWEB WRInaute passionné
    Inscrit:
    22 Octobre 2015
    Messages:
    1 324
    J'aime reçus:
    173
    Perso j'aurai fait ça.

    Code:
    User-agent: AlphaSeoBot
Disallow: /
User-agent: serpstatbot
Disallow: /
User-agent: Googlebot
Disallow: /scripts/recherche.php
Disallow: /scripts/ajax/ajaxFiltresCatalogue.php
     
    #2 ABCWEB, 25 Octobre 2019
  3. rick38
    rick38 WRInaute passionné
    Inscrit:
    23 Février 2013
    Messages:
    2 064
    J'aime reçus:
    367
    Les trois dernières lignes ne servent à rien. (du robots.txt du 1er message)
     
    #3 rick38, 25 Octobre 2019
  4. poupilou
    poupilou WRInaute impliqué
    Inscrit:
    9 Février 2004
    Messages:
    935
    J'aime reçus:
    15
    Merci pour vos réponses.

    Je diffuse des pubs adsense sur mon site web et sur ce site ils disent :

    Donc le code complet de mon fichier robots.txt serait :

    Code:
    User-agent: AlphaSeoBot
User-agent: serpstatbot
Disallow: /
User-agent: Googlebot
Disallow: /scripts/recherche.php
Disallow: /scripts/ajax/ajaxFiltresCatalogue.php
User-agent: Mediapartners-Google
Disallow:
    Est-ce correct ?

    Avec ce code ci-dessus, est-ce qu'une url du type /scripts/ajax/ajaxFiltresCatalogue.php?id=56985 est bien bloquée du crawl pour Googlebot ?
     
    #4 poupilou, 25 Octobre 2019
  5. ABCWEB
    ABCWEB WRInaute passionné
    Inscrit:
    22 Octobre 2015
    Messages:
    1 324
    J'aime reçus:
    173
    Code:
    User-agent: AlphaSeoBot
Disallow: *
User-agent: serpstatbot
Disallow: *
User-agent: Googlebot
Disallow: /scripts/recherche.php
Disallow: /scripts/ajax/ajaxFiltresCatalogue.php
User-agent: Mediapartners-Google
Disallow: *
     
    #5 ABCWEB, 25 Octobre 2019
  6. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    20 825
    J'aime reçus:
    833
    s'il n'y a aucune section qui cible tous les user agent, alors Mediapartners-Google n'est pas concerné, donc ça ne sert à rien de rajouter une section pour lui. Si tu veux vraiment le faire, autant le faire avec un Allow: /

    en faisant une section qui cible spécialement Googlebot, attention car plus tard s'il y a aussi une section User-agent * alors Googlebot ne sera pas concerné
     
    #6 WebRankInfo, 25 Octobre 2019
  7. poupilou
    poupilou WRInaute impliqué
    Inscrit:
    9 Février 2004
    Messages:
    935
    J'aime reçus:
    15
    Pourquoi tu mets des * au lieu d'un / après Disallow: ?
     
    #7 poupilou, 25 Octobre 2019
(Vous devez vous identifier ou vous inscrire pour poster ici.)
Chargement...
Similar Threads - Aide fichier robots Forum Date
Aide sur le fichier robots.txt et sitemap Référencement Google 9 Octobre 2008
Aide pour fichier XML e-commerce 28 Mars 2019
Besoin d'aide regle regex sur fichier HTACCESS Administration d'un site Web 3 Mars 2013
Besoin d'aide pour combiner plusieurs fichier Javascript Développement d'un site Web ou d'une appli mobile 3 Décembre 2012
Aide création fichier Protégé Développement d'un site Web ou d'une appli mobile 1 Novembre 2012
Aide pour un fichier en php Développement d'un site Web ou d'une appli mobile 11 Avril 2012
Demande d'aide a propos des serveurs dédié et des fichiers emails Administration d'un site Web 20 Janvier 2011
besoin d'aide pour modification dans un fichier XML Développement d'un site Web ou d'une appli mobile 2 Mai 2010
[AIDE] ".php" ajouté à la fin des fichiers, étrange... URL Rewriting et .htaccess 22 Avril 2010
[fichier]aide .htaccess URL Rewriting et .htaccess 17 Juillet 2008
Proposer les fichiers d'aide des CD originaux Droit du web (juridique, fiscalité...) 1 Juin 2008
Aide php lecture de contenu d un fichier Développement d'un site Web ou d'une appli mobile 10 Avril 2008
Ref Hotkey au moins une petit fichier d'aide ? Débuter en référencement 24 Mars 2008
Aidez-moi à tester mon site de partage de fichiers Demandes d'avis et de conseils sur vos sites 3 Janvier 2008
Aide à la création d'1 Cron pour sup. de fichiers Administration d'un site Web 30 Novembre 2007
a l'aide avec le fichier robot.txt Crawl et indexation Google, sitemaps 2 Septembre 2006
Aide pour générer un fichier sitemap svp Débuter en référencement 13 Juin 2006
pourriez-vous m'aider à créer des fichiers .torrent Débuter en référencement 28 Août 2005
aide pour la creation d'un fichier robot.txt Débuter en référencement 17 Juillet 2005
Aide pour comrepndre le fichier LOG Référencement Google 12 Septembre 2002