Robots.txt : Pour accélérer l'indexation des urls rewriting

Discussion dans 'Débuter en référencement' créé par XelNaga, 30 Mai 2006.

  1. XelNaga
    XelNaga WRInaute discret
    Inscrit:
    24 Juin 2003
    Messages:
    163
    J'aime reçus:
    0
    Salut,

    Je viens de passer à l'url rewriting, cependant vu la lenteur du référencement j'aimerais utiliser le fichier robots.txt pour accelerer l'indexation des nouveaux liens et retirer les anciens des moteurs.

    D'une part, pensez-vous que c'est une bonne solution ?

    D'autre part j'aimerais faciliter cette adaption. Pour cela voici un exemple de code :
    Code:
    # robots.txt pour le site http://www.xelopolis.com
    User-agent: *
    Disallow: /Xdossiers/dossiers.php?id_dossier=172
    Disallow: /dossiers/dossiers.php?id_dossier=4
    Disallow: /Xdossiers/dossiers.php?val=592_renault+altica+concept+future+laguna+3+
    
    Comme vous pouvez le constater je suis passer de l'url à variables à l'url friendly puis maintenant je suis à l'url rewriting. J'aimerais que google efface les urls friendly et egalement les plus anciens et les remplace par les nouveaux (tout beaux), cependant, comme j'ai des centaines de liens, je ne me vois pas les recopier tous dans ce fichier. Est-ce dangereux et est-ce possible de faire ça automatiquement ?

    Pour information, mes urls rewriting sont de cette forme : h**p://www.xelopolis.com/Xdossiers/dossier_732_nouvelle+audi+tt+coupe+2+photos+officielles+video.html

    Merci d'avance
     
  2. e-kiwi
    e-kiwi WRInaute accro
    Inscrit:
    23 Décembre 2003
    Messages:
    13 198
    J'aime reçus:
    1
    >> j'aimerais utiliser le fichier robots.txt pour accelerer l'indexation

    tu as pensé à soumettre un sitemap à google ?
     
  3. XelNaga
    XelNaga WRInaute discret
    Inscrit:
    24 Juin 2003
    Messages:
    163
    J'aime reçus:
    0
    Oui c'est fait, le problème c'est qu'il n'indexe que les nouveaux et ne remplace pas les anciens.
     
  4. XelNaga
    XelNaga WRInaute discret
    Inscrit:
    24 Juin 2003
    Messages:
    163
    J'aime reçus:
    0
    En fait si je supprime mon repertoire Xdossier, ca va me supprimer tous mes urls réecris donc ça ne va pas aller.

    Quelqu'un aurait des réponses à mes questions ?
     
  5. f_trt
    f_trt WRInaute impliqué
    Inscrit:
    17 Septembre 2005
    Messages:
    955
    J'aime reçus:
    0
    Une piste peut-être
    Sur les anciennes URL tu te debrouilles à pointer en redirect permanent vers l'adresse friendly
    Pour cela tu ajoutes au debut de dossier.php un truc du genre
    Si ancienne adresse alors redirect 302 vers nouvelle adresse
    Sinon je sert la page

    Tu eviteras du duplicate content et à terme tout devrait rentrer dans l'ordre.

    Je sais c'est facile a dire mais pas facile à faire cela dépend de ton nombre de script

    A+
     
  6. XelNaga
    XelNaga WRInaute discret
    Inscrit:
    24 Juin 2003
    Messages:
    163
    J'aime reçus:
    0
    Oui c'est une très bonne idée (merci d'ailleurs) mais je ne vois pas quel code insérer dans ce fichier...
     
  7. f_trt
    f_trt WRInaute impliqué
    Inscrit:
    17 Septembre 2005
    Messages:
    955
    J'aime reçus:
    0
    Attention c'est une piste il faut bien sur adapter voir decortiquer l'adresse
    complete pour faire le bon aiguillage eventuellement utiliser switch plutôt que if pour info les variables -http://www.phpdebutant.org/article60.php tu peux travailler directement avec $_SERVER['QUERY_STRING']

    Code:
    <?php
    if ($_SERVER["HTTP_HOST"]=="www.xelopolis.com/Xdossiers/dossiers.php?id_dossier=172"){
    	header("HTTP/1.1 301 Moved Permanently");
    	header("Location: http://www.xelopolis.com/Xdossiers/dossiers.php?val=592_renault+altica+concept+future");
    	exit(); 
    }
    ?>
    
    A+
     
  8. XelNaga
    XelNaga WRInaute discret
    Inscrit:
    24 Juin 2003
    Messages:
    163
    J'aime reçus:
    0
    ok Merci f_trt (bizarre ton pseudo quand même)
     
  9. lapi
    lapi WRInaute impliqué
    Inscrit:
    9 Avril 2006
    Messages:
    592
    J'aime reçus:
    0
    il existe une adresse de GG ou l'on peut supprimer les lien indexer mais je l'ai oublier
    tu y aller deindexer les liens souhaiter mais le probleme c'est que il te faut un delai de 6 mois pour le reinscrit
     
  10. XelNaga
    XelNaga WRInaute discret
    Inscrit:
    24 Juin 2003
    Messages:
    163
    J'aime reçus:
    0
    Oui ça fait long pour quelqu'un qui veut accélérer l'indexatiion de nouveaux liens :d
     
Chargement...
Similar Threads - Robots accélérer indexation Forum Date
Accelerer le passage des robots Débuter en référencement 17 Juin 2005
Pourquoi ne pas utiliser le robots.txt pour interdire l'indexation ? Débuter en référencement 14 Avril 2022
canonical et robots=index sur une même page Débuter en référencement 7 Décembre 2021
le noindex dans le robots.txt Débuter en référencement 19 Novembre 2021
suppression des pages bloquées par robots.txt Débuter en référencement 18 Octobre 2021
Faut-il déclarer le sitemap dans le robots.txt ou search console ? Crawl et indexation Google, sitemaps 14 Juillet 2021
Les mots-clés de mon site ne sont pas détectés par les robots de référencement Problèmes de référencement spécifiques à vos sites 7 Juillet 2021
Wordpress et le robots.txt Débuter en référencement 21 Juin 2021
Search Console noindex détecté dans la balise Meta robots Débuter en référencement 21 Mai 2021
Urls filtrées indexées et crawl robots.txt Crawl et indexation Google, sitemaps 19 Mai 2021
Robots : n'autoriser que les 4 ou 5 moteurs de recherche principaux Crawl et indexation Google, sitemaps 15 Janvier 2021
erreurs robots.txt Crawl et indexation Google, sitemaps 23 Décembre 2020
Google me dit que ma page est bien indexée mais bloquée par robots.txt Crawl et indexation Google, sitemaps 25 Novembre 2020
Faut-il déclarer le sitemap dans le robots.txt ou search console ? Crawl et indexation Google, sitemaps 17 Octobre 2020
Urls orphelines crawlées par Google + Robots.txt ? Crawl et indexation Google, sitemaps 3 Avril 2020
Robots.txt du site Kayak Débuter en référencement 11 Mars 2020
Search Console Indexée malgré le blocage dans robots.txt Crawl et indexation Google, sitemaps 26 Février 2020
Search Console Prestashop | Robot.txt bloque des URL mais Outil de test du fichier robots.txt l'Authorise... Crawl et indexation Google, sitemaps 21 Novembre 2019
Search Console Images bloquées ... malgré absence de robots.txt Crawl et indexation Google, sitemaps 31 Octobre 2019
Aide sur le format de mon fichier robots.txt Crawl et indexation Google, sitemaps 25 Octobre 2019