Mis à jours du fichier robots et google

Discussion dans 'Référencement Google' créé par IVIedia, 6 Décembre 2011.

  1. IVIedia
    IVIedia WRInaute discret
    Inscrit:
    16 Juin 2007
    Messages:
    106
    J'aime reçus:
    1
    Bonjour à tous je travaille sur un site en wordpress,

    j'ai crée un document robots.txt, pour bloquer des pages sur google


    voici mon fichier :
    Code:
    User-agent: *
    Allow: /
    
    User-agent: Googlebot
    Disallow: /pages-1
    Disallow: /pages-21
    Disallow: /fr/pages-4
    Disallow: /nl/
    Allow: /
    Je bloque la pages-1, pages-21, fr/pages-4 et aussi tout le dossier /nl/ ( qui regroupe tout les pages en /nl/pages-98, /nl/pages-80 ...

    pouvez vous me dire si c'est bon ?
    ça fait deja 3 semaine que j'ai mis a jours ce document robots.txt et je vois toujours ses pages lorsque je tape : site:monsite.com ...

    une idée ?

    Merci et bonne soiréee
     
  2. lambi521
    lambi521 WRInaute passionné
    Inscrit:
    15 Juin 2010
    Messages:
    1 463
    J'aime reçus:
    0
    Tu peux tester ton fichier robots.txt dans Google Webmaster Tools et voir ses effets sur les bots.

    Sinon ça m'a l'air bon, mais cela signifie juste à Googlebot de ne plus crawler ces pages. Il faut que tu lui dises de les désindexer, soit en passant par GWT soit en insérant la balise <meta name="robots" content="noindex,follow"> sur tes pages
     
  3. IVIedia
    IVIedia WRInaute discret
    Inscrit:
    16 Juin 2007
    Messages:
    106
    J'aime reçus:
    1
    Salut voici après test ...

    googlebot :

    Autorisé par la ligne 18 : Allow: /
    Identifié comme répertoire ; certains fichiers peuvent être soumis à des restrictions différentes.

    Googlebot-Mobile :

    Autorisé par la ligne 18 : Allow: /
    Identifié comme répertoire ; certains fichiers peuvent être soumis à des restrictions différentes.

    tout semble normal, mais je vois toujours ses pages dans l'index de google :(

    ...

    merci
     
  4. NickyLarson
    NickyLarson WRInaute occasionnel
    Inscrit:
    8 Avril 2008
    Messages:
    315
    J'aime reçus:
    0
    Il faut encore attendre.
    Sur certains gros sites de plusieurs milliers de pages, j'ai fais cette procédure et ça peut prendre des mois à Google pour purger son index.
     
Chargement...
Similar Threads - Mis jours fichier Forum Date
Search Console Pages 301 toujours explorées, même 8 ans après leur mise en place Crawl et indexation Google, sitemaps 28 Octobre 2019
Mise à jours des prix d'un panier Développement d'un site Web ou d'une appli mobile 12 Septembre 2017
Javascript avant soumission du formulaire marche souvent pas toujours Développement d'un site Web ou d'une appli mobile 20 Juin 2016
-60 % de visite naturel avec la mise a jours de presta Problèmes de référencement spécifiques à vos sites 20 Octobre 2015
balise trop courte mise a jour mais toujours probleme Crawl et indexation Google, sitemaps 17 Avril 2014
Echanges de liens désoptimisés toujours possible? Netlinking, backlinks, liens et redirections 11 Octobre 2013
mis à jours sur le moteur de recherche google Débuter en référencement 21 Juillet 2013
meilleure periodicité de mises a jours pour bon referenecemen? Débuter en référencement 9 Juillet 2013
Nombre de jours avant qu'un site soit désindexé après mise hors ligne Débuter en référencement 25 Juin 2012
Optimiseur de conversion toujours inactif!! AdWords 4 Avril 2011
Qui attend avec impatience la prochaine mise à jours du PR? Netlinking, backlinks, liens et redirections 17 Novembre 2010
Mise à jours des Bl Netlinking, backlinks, liens et redirections 11 Décembre 2009
Date des dernières mises à jours dans les resultats Google Débuter en référencement 19 Octobre 2009
Page en cache ne sont pas mis à jours depuis 2 mois ou plus Crawl et indexation Google, sitemaps 7 Août 2009
Probleme avec la mise à jours du domaine chez Joker.com help Administration d'un site Web 21 Avril 2009
Mise à jours de mon site : votre avis ? Demandes d'avis et de conseils sur vos sites 1 Septembre 2008
Mise à jours des sitelinks ! Crawl et indexation Google, sitemaps 11 Juin 2008
mise à jours google images ... Référencement Google 7 Juillet 2007
Indexation + Google = problème de mise à jours Problèmes de référencement spécifiques à vos sites 21 Juin 2007
En six jours aprés la mise en ligne ... déjà sur google Problèmes de référencement spécifiques à vos sites 6 Juin 2007