Robost.txt : Usage d'un * dans la commande Disallow

Discussion dans 'Référencement Google' créé par srappaille, 26 Octobre 2004.

  1. srappaille
    srappaille WRInaute discret
    Inscrit:
    19 Janvier 2004
    Messages:
    179
    J'aime reçus:
    0
    Bonjour,

    Dans la cadre de la rédaction d'un fichier robots.txt, je tente d'exclure tout type de fichier portant l'extension "php". Langage anciennement utilisé sur mon site et dont les anciennes pages restent - contre toute attente - indexées par Google depuis un an ; ces pages n'existent plus.

    Sur votre rubrique relative au fichier "robots.txt", je lis qu'il n'est pas possible de réaliser cela car la commande "disallow" ne permet pas l'usage de "*".

    Pourtant, cela semble possible à la lecture de cette page :

    -https://www.google.be/intl/fr/webmasters/3.html#B3

    Mais génère une erreur (confirmant vos propos :wink: ) lorsque l'on utilise :

    -http://services.google.com:8882/urlconsole/controller

    Bref, existe-t'il une astuce qui me permettrait d'éliminer définitivement ces anciennes pages des index de Google ?

    Au plaisir de vous relire,

    Serge
     
  2. Gromka
    Gromka WRInaute discret
    Inscrit:
    10 Octobre 2004
    Messages:
    110
    J'aime reçus:
    0
    Ces anciennes pages ont de BLs? Essayez une redirection.
     
  3. srappaille
    srappaille WRInaute discret
    Inscrit:
    19 Janvier 2004
    Messages:
    179
    J'aime reçus:
    0
    Bonsoir,

    Je n'ai malheureusement pas la main sur cette machine pour pouvoir faire ce genre de chose. Et contre toute attente, aucun BL ne pointe sur ces pages.

    A vrai dire, en regardant de plus près leur structure, ce sont vraisemblablement d'anciennes pages satellites créées par mes prédécesseurs sur ce dossier (véridique). Google n'offre plus de description mais les liens sont toujours présentés lorsque l'on utilise la fonction "site:". Et cela fait plus d’un an. Ces pages fantômes n’apportent rien, m’encombrent, m’empoisonnent l’existence pour le nouveau référencement, bref… je dératise !

    Je pense décaler toutes mes pages dans un répertoire du genre /public/ et utiliser le fichier "robots.txt" pour empêcher (ou supprimer) toute indexation sur les autres répertoires. Et de ce fait, normalement, supprimer les anciennes références. Pensez-vous que cette solution soit la bonne ?

    Mais bon, avant d'arriver à de telles extrémités, je me suis laissé à rêvasser d’une alternative.

    Après avoir parlé de mon cas auprès de Google.fr, ils m’ont amicalement dirigés vers les pages décrites dans mon précédent message. Le * associé au « disallow » aurait pu offrir une solution élégante. Tant pis.

    Merci en tout cas, pour votre réponse.

    Serge
     
  4. Remi L.
    Remi L. WRInaute impliqué
    Inscrit:
    6 Septembre 2003
    Messages:
    905
    J'aime reçus:
    0
    La première chose à vérifier, c'est que tes pages renvoient bien un 404 propre et net.
    Si c'est bien le cas, tu peux faire une demande à Google de les désindexer.

    Je ne pense pas que ce soit la bonne solution d'utiliser robots.txt: tu peux effectivement dire au robots "ne vas pas voir la page A" mais si la page A n'existe pas, il ne risque pas de lire quoi que ce soit. Là ton problème n'est pas d'empêcher le robot d'aller une page, il est de désindexer une page.
    Une autre solution (surtout en cas de liens sur la page) est de réutiliser la page pour en faire autre chose.
     
Chargement...
Similar Threads - Robost Usage commande Forum Date
messages d'erreurs à l'ouverture de robostats1.3 Débuter en référencement 3 Juin 2007
Robostats empeche t'il le référencement? Débuter en référencement 19 Octobre 2006
Mon admin robostats pr4 et mon index pr3 Référencement Google 24 Septembre 2005
Allucinat ROBOSTAT Problèmes de référencement spécifiques à vos sites 15 Septembre 2005
Mon site et les visites de robots via Robostats Problèmes de référencement spécifiques à vos sites 26 Août 2005
[reglé]logiciel robostat Débuter en référencement 19 Août 2005
robostats Débuter en référencement 12 Octobre 2004
robostats code http Débuter en référencement 20 Septembre 2004
robostats Débuter en référencement 13 Septembre 2004
Performance de robostats Crawl et indexation Google, sitemaps 17 Mai 2004
Estat et Robostats - Mon site, rien ne va plus... Problèmes de référencement spécifiques à vos sites 11 Février 2004
WORDPRESS Woocommerce, vos astuces pour réduire CPU usage et serveur stress ? e-commerce 22 Juin 2018
Usages et limites d'un téléphone mobile SANS abonnement Le café de WebRankInfo 11 Mars 2017
question concernant memory_get_usage Développement d'un site Web ou d'une appli mobile 11 Mai 2015
usage de navigateurs web sur l'Ile de la Réunion Demandes d'avis et de conseils sur vos sites 18 Avril 2014
Du bon usage de balise ALT Référencement Google 29 Janvier 2014
Nomd de domaine nom de famille usage illegitime Droit du web (juridique, fiscalité...) 4 Octobre 2013
URL rewriting usage final ? Débuter en référencement 7 Juillet 2013
Du bon usage des tableaux en $_SESSION ? Développement d'un site Web ou d'une appli mobile 29 Mars 2013
L’usage de la marque d’un concurrent n’est pas de la concurrence déloyale Droit du web (juridique, fiscalité...) 12 Février 2013