Disallow: /*.php$ peut-on, doit-on ?

Discussion dans 'Crawl et indexation Google, sitemaps' créé par camping le polé, 14 Février 2011.

  1. camping le polé
    camping le polé Nouveau WRInaute
    Inscrit:
    4 Janvier 2011
    Messages:
    20
    J'aime reçus:
    0
    Bonjour suite à la refonte complète du site, j'ai rewritté toutes les url .php en .html, fait pas mal de redirection 301 et commencer à supprimer manuellement des url sur la page webmaster de google... Quel boulot!
    J'aimerais rajouter dans mon robot.txt la ligne suivante Disallow: /*.php$ est ce que ça fonctionne ? si toutes mes pages sont en .html est ce que ça implique qqch (de grave pour le référencement)?
    En bref, y'a t'il des choses auxquelles penser avant de faire ça ?
    Merci d'avance pour vos réponses d'une grande aide !!!
    edit : et sur la page de suppression d'URL (page webmaster de google) peut-on mettre quelque chose du genre *.php ?
     
  2. KOogar
    KOogar WRInaute accro
    Inscrit:
    16 Novembre 2004
    Messages:
    4 643
    J'aime reçus:
    81
    ca fonctionne avec n'importe quel extension, tu peux et, voir tu dois le faire
    Disallow: /*.php$
    Disallow: /*.php*
    Disallow: /*?*
     
  3. jcaron
    jcaron WRInaute accro
    Inscrit:
    13 Février 2004
    Messages:
    2 579
    J'aime reçus:
    0
    Le format "standard" du robots.txt n'autorise pas les wildcards ou autres méta-caractères. Certains moteurs comme Google les supportent, mais il faut penser aux autres (à moins de le mettre dans une section limitée au bon UA).

    D'un point de vue référencement, il me paraîtrait nettement plus pertinent de faire une redirection 301 de l'ancienne URL vers la nouvelle, et d'attendre tranquillement que les moteurs les prennent toutes en compte. Sinon tu vas perdre tous les backlinks vers ces pages...

    Jacques.
     
  4. KOogar
    KOogar WRInaute accro
    Inscrit:
    16 Novembre 2004
    Messages:
    4 643
    J'aime reçus:
    81
    bah le robots.txt c'st fait pour les moteurs, pas les utilisateurs
    google c'est 90% du marché... et sur certain site 100%.
    on peut toujours la jouer avec le User-agent pour faire plaisir aux autres moteurs, les 5-10% :wink:

    User-agent: Googlebot
    Disallow: /*.php$
    Disallow: /*.php*
    Disallow: /*?*
     
  5. julienringard
    julienringard WRInaute discret
    Inscrit:
    13 Juillet 2009
    Messages:
    193
    J'aime reçus:
    0
    Redirige simplement les urls indexées par google.
     
  6. camping le polé
    camping le polé Nouveau WRInaute
    Inscrit:
    4 Janvier 2011
    Messages:
    20
    J'aime reçus:
    0
    j'ai fait les 301 depuis presque 1 mois, et je n'ai que des backlinks vers la page d'accueil, alors j'ai mis ces ligne dans le robot.txt
    Merci pour vos contributions.
     
Chargement...
Similar Threads - Disallow php$ Forum Date
dans un site python (Django) ce qu'on doit mettre dans le disallow Débuter en référencement 8 Novembre 2021
Juste un Disallow Crawl et indexation Google, sitemaps 14 Juillet 2021
Juste un Disallow Crawl et indexation Google, sitemaps 1 Juin 2021
Lien obfusqué avec le fichier JS en Disallow Débuter en référencement 29 Mai 2021
Search Console - Disallow /Feed/ Crawl et indexation Google, sitemaps 7 Juin 2020
J'ai tout Disallow pendant 10 jours! Référencement Google 29 Janvier 2020
Pagination : Disallow, No index, Canoniser - Qu'est-ce qu'on fait ? Référencement Google 15 Octobre 2019
Sites de test indexés malgré Disallow dans robots.txt Crawl et indexation Google, sitemaps 7 Juin 2019
est-il préférable de disallow des pages non indexées Crawl et indexation Google, sitemaps 29 Janvier 2019
Disallow à la place de noindex (optimisation du PageRank interne) Crawl et indexation Google, sitemaps 10 Août 2018
robots.txt avec Disallow:/*.php Débuter en référencement 23 Juin 2018
Problème et couverture de l'index et de Disallow Problèmes de référencement spécifiques à vos sites 2 Mai 2018
Cocon sémantique, nofollow et disallow au troisième niveau Référencement Google 9 Novembre 2017
Robots.txt et syntaxe de Disallow Crawl et indexation Google, sitemaps 2 Juin 2017
Comment interdire le crawl des pages de faibles valeurs (Noindex ; Nofollow ; Disallow ?) Débuter en référencement 22 Mars 2017
Sitemaps images et disallow repertoire Crawl et indexation Google, sitemaps 20 Mars 2017
Page "nos partenaires" en disallow Débuter en référencement 14 Décembre 2015
Balise Noindex ou Disallow dans robots.txt Référencement Google 15 Septembre 2015
Disallow et noindex pour des pages filtres Débuter en référencement 11 Juin 2015
Aide pour un disallow de serie d'url Débuter en référencement 30 Avril 2015