A propos du robots.txt et sitemap

Discussion dans 'Crawl et indexation Google, sitemaps' créé par IVIedia, 29 Mars 2013.

  1. IVIedia
    IVIedia WRInaute discret
    Inscrit:
    16 Juin 2007
    Messages:
    106
    J'aime reçus:
    1
    Bonjour à tous,

    je possède un site internet, sur certain mot clé j’étaie dans les premier, maintenant que je teste je le suis pas

    j'essaye de comprendre encore pourquoi ...

    ma question es celle-çi

    j'ai une tonne de page que j'aimerai supprimer de l'indexation de google

    mon fichier robots.txt et le suivant

    User-agent: *
    Allow: /

    User-agent: Googlebot
    Disallow: /coco-1
    Disallow: /bobo-2
    ...
    Allow: /


    içi on comprends que google va pas prendre la page coco-1 et bobo-2

    le site est en multilingue j'ai plus au moins 50 pages traduits en néerlandais mais je veux pas que google l'index avec cela je peux empeche l'indexation

    User-agent: Googlebot
    Disallow: /coco-1
    Disallow: /bobo-2
    Disallow: /nl
    Disallow: /nl/
    ...
    Allow: /

    ou je dois faire un part un pour tout les pages

    Disallow: /nl/coco-1
    Disallow: /nl/coco-2

    etc.

    Deuxième question le fichier sitemaps si je l'optimise bien
    il affichera juste les pages que je veux que ça s'affiche n'est ce pas?
     
  2. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    18 807
    J'aime reçus:
    259
    la directive Allow ne sert à rien, sauf pour des cas bien particuliers
    si tu veux interdire l'accès à tout un répertoire (/nl/ par exemple), tu peux faire Disallow: /nl/
    par contre ça bloque le crawl, et non pas l'indexation

    si les pages sont déjà indexées, tu peux les faire désindexer en :
    1- interdisant le crawl du répertoire
    2- puis en demandant la désindexation via GWT

    concernant l'autre question, je te conseille de bien lire mon tuto fichier sitemaps
    tu verras que Google ne se limite pas à crawler (et encore moins indexer) ce qui est indiqué dans le sitemap
     
  3. IVIedia
    IVIedia WRInaute discret
    Inscrit:
    16 Juin 2007
    Messages:
    106
    J'aime reçus:
    1
    Merci pour votre réponses

    comme je disais en haut, sur certain mot clé j’étaie dans les premiers et plus maintenant

    lorsque je me connecte a google webmaster tool

    il m'indique ça -http://www.sitenet.be Googlebot ne peut pas accéder à votre site.

    ça veux dire quoi?

    pensez vous que a cause de ce message je ne suis pas dans les premiers ?

    j'ai vu votre tuto, en faite j'utilise wordpress et j'utilise le plugins xml-sitemap generator

    pensez vous que si je l'optimise c'est suffisant, ou c'est meilleur de faire sois même avec un fichier text ...
    merci
     
  4. IVIedia
    IVIedia WRInaute discret
    Inscrit:
    16 Juin 2007
    Messages:
    106
    J'aime reçus:
    1
    Quand je clique l'info on me donne ça

    Au cours des 24 dernières heures, Googlebot a rencontré 2 erreurs en tentant d'accéder au fichier robots.txt. Pour éviter d'explorer les pages répertoriées dans ce fichier, nous avons reporté notre exploration. Le taux d'erreurs liées au fichier robots.txt à l'échelle de votre site est de 100.0 %.

    Vous trouverez davantage d'informations détaillées sur ces erreurs dans les Outils pour les webmasters.

    Pensez vous que ce format pour le robots.txt et mauvais

    User-agent: *
    Allow: /

    User-agent: Googlebot
    Disallow: /coco
    Disallow: /bobo
    Disallow: /toto
    Disallow: /lolo
    Disallow: /nono
    Disallow: /body-auto
    Allow: /
     
Chargement...
Similar Threads - propos robots sitemap Forum Date
Robots.txt et ht access à propos des fichiers d'un repertoire Débuter en référencement 2 Mai 2011
Google qui me propose les résultats de Bing Le café de WebRankInfo Hier à 21:04
Pourquoi mon patron me protège-t-il à propos de la recherche par mot clé? Demandes d'avis et de conseils sur vos sites 20 Juillet 2019
à propos de la commande site:www.monsite.fr Référencement Google 22 Juin 2019
Questions à propos d'AMP et du carrousel Référencement Google 27 Mai 2019
Structure titre pour les Commentaires / A propos de l'auteur / Article similaires Débuter en référencement 5 Mai 2019
Pourquoi Google ne propose pas la balise titre que je lui indique ? Problèmes de référencement spécifiques à vos sites 10 Avril 2019
Est-il intéressant de proposer les articles en version PDF ? Référencement Google 8 Janvier 2019
A propos du diaporama Problèmes de référencement spécifiques à vos sites 15 Mai 2018
A propos des performances des pages Développement d'un site Web ou d'une appli mobile 23 Janvier 2018
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice