Syntaxe robots.txt

Discussion dans 'Crawl et indexation Google, sitemaps' créé par seabird, 29 Août 2008.

  1. seabird
    seabird WRInaute occasionnel
    Inscrit:
    1 Décembre 2003
    Messages:
    318
    J'aime reçus:
    0
    Bonjour,

    Je souhaiterais autoriser l'indexation du fichier : fichier-ext.php
    mais interdire l'indexation de toutes les extensions du style:
    fichier-ext-1-2.php , fichier-ext-3.php ....
    Je ne suis pas certain que le joker soit autorisé dans Disallow dans robots.txt.

    Code:
    User-Agent: *
    Disallow: /fichier-ext-*.php
    Allow: /
    Comment peut-on faire ? En fait toutes les extensions supplémentaires sont gérées dynamiquement ( url rewriting) par des liens situés dans fichier-ext.php.
    J'ai pensé faire rel=nofollow dans chacun des liens.
    Mais j'aurais aimé faire ça avec robots.txt si c'est possible.
     
  2. crocxx
    crocxx WRInaute discret
    Inscrit:
    1 Septembre 2004
    Messages:
    82
    J'aime reçus:
    0
    Bonjour,
    Les fichier robots.txt et les attributs rel=nofollow n'on pas la même utilité.

    rel=nofollow n'empêche pas une page d'être indexé mais google de suivre le lien, donc si google trouve un autre moyen de trouver cette page il l'indexera (lien externe d'un autre site,...)


    L'équivalent du robots.txt et la méta robots à placer sur tes pages:

    Code:
    <meta name="robots" content="noindex">
    https://www.webrankinfo.com/dossiers/conseils/balise-meta-robots

    Donc dans ton cas si les * ne fonctionne pas tu peu utiliser cette balise ;)
     
  3. seabird
    seabird WRInaute occasionnel
    Inscrit:
    1 Décembre 2003
    Messages:
    318
    J'aime reçus:
    0
    En fait je veux seulement que cette page fichier-ext.php soit référencée et non pas les autres à cause du duplicate content. Car elle ne diffèrent que par l'ajout de photos différentes sans description.
     
  4. HawkEye
    HawkEye WRInaute accro
    Inscrit:
    23 Février 2004
    Messages:
    13 857
    J'aime reçus:
    5
    Dans ce cas, identifie ça directement dans le fichier php, et ajoute un
    Code:
    <meta name="robots" content="noindex" />
    lorsque c'est nécessaire ;)
     
  5. seabird
    seabird WRInaute occasionnel
    Inscrit:
    1 Décembre 2003
    Messages:
    318
    J'aime reçus:
    0
    Oui mais si je fait ça le fichier fichier-ext.php ne sera jamais indexé, vu qu'il n'y a qu'un seul fichier ?
    . En cliquant sur les différents liens existant dans celui-ci, j'envois les variables par l'url qui crée donc le fichier fichier-ext-1-2-3....php par exemple.

    par exemple, j'ai dans fichier-ext.php.
    Code:
    <a href="fichier-ext-'.$galerie1.'-'.$galerie2.'-'.$galerie3.'-'.$galerie4.'-'.$galerie5.'-1.php" rel="nofollow">......
    
     
  6. jeanluc
    jeanluc WRInaute accro
    Inscrit:
    3 Mai 2004
    Messages:
    2 875
    J'aime reçus:
    0
    Si j'ai bien compris ce que tu veux faire, ce robots.txt pourrait convenir:
    Code:
    User-Agent: * 
    Disallow: /fichier-ext-
    
    Ceci exclut les robots de toutes les URL qui commencent par "/fichier-ext-".

    Allow: n'est pas standard, est souvent inutile et peut-être une source de problèmes. A éviter.

    Jean-Luc
     
  7. seabird
    seabird WRInaute occasionnel
    Inscrit:
    1 Décembre 2003
    Messages:
    318
    J'aime reçus:
    0
    Oui mais dans ce cas fichier-ext.php ne sera pas indexé ??
     
  8. jeanluc
    jeanluc WRInaute accro
    Inscrit:
    3 Mai 2004
    Messages:
    2 875
    J'aime reçus:
    0
    Il sera indexé puisque "/fichier-ext.php" ne commence pas par "/fichier-ext-".

    Jean-Luc
     
  9. seabird
    seabird WRInaute occasionnel
    Inscrit:
    1 Décembre 2003
    Messages:
    318
    J'aime reçus:
    0
    A ok autant pour moi, je n'ai pas fait attention au -
     
  10. seabird
    seabird WRInaute occasionnel
    Inscrit:
    1 Décembre 2003
    Messages:
    318
    J'aime reçus:
    0
    En fait avant je ne le mettais pas . Mais j'ai vu dans GWT dans le générateur de robots.txt que google le mettait. Donc je l'ai mis aussi :D
     
Chargement...
Similar Threads - Syntaxe robots Forum Date
Robots.txt et syntaxe de Disallow Crawl et indexation Google, sitemaps 2 Juin 2017
Cette syntaxe de robots.txt est-elle correcte ? Administration d'un site Web 8 Avril 2013
Syntaxe de la meta name robots Référencement Google 12 Juillet 2007
Syntaxe robots.txt -- fichier finissant par Référencement Google 28 Avril 2007
Robots txt : syntaxe non comprise par Google Référencement Google 20 Avril 2007
Syntaxe robots.txt Crawl et indexation Google, sitemaps 29 Mai 2006
Fichier robots.txt ma syntaxe est-elle correcte ? Référencement Google 19 Septembre 2003
Quelle syntaxe pour les mots-clés ? Débuter en référencement 6 Juillet 2020
Search Console Site FR en attente de Multilangue + syntaxe Robot.txt Référencement international (langues, pays) 5 Novembre 2019
syntaxe, pattern redirect Crawl et indexation Google, sitemaps 1 Octobre 2019
syntaxe commande dans htaccess Crawl et indexation Google, sitemaps 8 Juillet 2019
Syntaxe des mots clefs pour le référencement Rédaction web et référencement 20 Juin 2019
Syntaxe .htaccess pour migrer des URL URL Rewriting et .htaccess 7 Janvier 2018
La syntaxe SQL permet-elle plusieurs mots-clefs dans une (sous-)requête identique ? Développement d'un site Web ou d'une appli mobile 17 Août 2017
Je ne comprends pas cette syntaxe Développement d'un site Web ou d'une appli mobile 10 Avril 2017
Erreur au niveau des URL dans GWT - Question sur les redirections et sur la syntaxe Problèmes de référencement spécifiques à vos sites 15 Mai 2014
Redirection 301 syntaxe Débuter en référencement 11 Décembre 2012
Syntaxe du bouton pour "liker" le produit d'une boutique Prestashop Développement d'un site Web ou d'une appli mobile 3 Novembre 2012
Problème de syntaxe en réécriture URL Rewriting et .htaccess 23 Octobre 2012
Syntaxe RewriteRule .htaccess URL Rewriting et .htaccess 25 Septembre 2012