Pourquoi mes tags (restreint par robots.txt) sont ils référencés par Google?

Discussion dans 'Débuter en référencement' créé par astbeaute, 22 Novembre 2010.

  1. astbeaute
    astbeaute WRInaute discret
    Inscrit:
    20 Mars 2008
    Messages:
    165
    J'aime reçus:
    0
    Un bonjour matinal! :mrgreen:

    Tout d'abord, un grand merci à la communauté qui m'a permise d'avancer depuis mes balbutiements. La tache fut périlleuse mais vous avez su être patient et répondre à mes questions les plus stupides sans trop vous moquer... Pour cela je vous remercie (Et j'ai devancé Madrileno en mettant un lien vers webrankinfo sur mon blog :mrgreen: )

    Ensuite j'ai de nouveau une question! :lol:

    J'ai mis un fichier robots.txt à la racine de mon blog. Je pense y avoir mis pas mal de chose, j ai bien compris avec le temps qu'il ne servait à rien de chercher à faire indexer un tas de trucs, vu que Google est un poil tatillon.

    J ai demandé le réexamen de mon blog vu que mes images sont pénalisés par le Safe Search, 1 image est réapparue venue de nulle part, c'est un bon début, peut être que dans 5 ans j'aurais enfin toutes mes images :roll: Mais là n'est pas le propos.

    Comment ça se fait de Google se remet à indexer mes tags, alors que j'ai restreint l'accès dans mon ficher robots.txt? Mon nombre de pages indexé est en augmentation (il n'y a pas si longtemps avant tous mes changements sur le blog j'en étais à moins de 100pages indexés pas Google) je ne m'en plains pas, mais je voudrais juste comprendre comment c'est possible?

    Ensuite: Mon robots.txt est visible pas tous, comment le caché?

    Merci :D
     
  2. e-kiwi
    e-kiwi WRInaute accro
    Inscrit:
    23 Décembre 2003
    Messages:
    13 257
    J'aime reçus:
    1
    >> Mon robots.txt est visible pas tous, comment le caché?

    comment veux-tu que les moteurs puissent le lire si tu le cache ? :)
     
  3. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    20 595
    J'aime reçus:
    656
    le robots.txt n'interdit pas l'indexation, seulement le crawl
    pour interdire l'indexation, mets une balise meta robots noindex
     
  4. astbeaute
    astbeaute WRInaute discret
    Inscrit:
    20 Mars 2008
    Messages:
    165
    J'aime reçus:
    0
    Merci!
    bah j'avais pas compris ça moi! :?

    Mais alors mon robots.txt est correct pour éviter le duplicate content? (c'était mon but premier en fait...)

    J'ai lu le lien que vous m'avez mis, mais j'ai du mal à comprendre la différence en noindex et nofollow...
     
  5. astbeaute
    astbeaute WRInaute discret
    Inscrit:
    20 Mars 2008
    Messages:
    165
    J'aime reçus:
    0
    heu... Bah oui c'est vrai :lol:
     
Chargement...
Similar Threads - tags (restreint robots Forum Date
WordPress Que faire de 3000 pages tags ? Problèmes de référencement spécifiques à vos sites 4 Juin 2021
Beaucoup (trop ?) de tags ? Débuter en référencement 15 Février 2021
Suppression des étiquettes Wordpress (tags) ? Rédaction web et référencement 21 Novembre 2019
Est-ce que Google indexe les hashtags de LinkedIn ? Débuter en référencement 28 Août 2019
Afficher les tags sur wordpress Développement d'un site Web ou d'une appli mobile 3 Août 2019
meta tags indisponible sur mes derniers articles Rédaction web et référencement 1 Juillet 2019
Longueur des mots-clefs et Tags Débuter en référencement 20 Mai 2019
WordPress Pages zombies tags et attachment d'images Wordpress Problèmes de référencement spécifiques à vos sites 26 Janvier 2019
De l'intérêt des tags et de leur utilisation Débuter en référencement 1 Mai 2018
TagdirectorY annuaire avec tags Annuaires et moteurs 22 Avril 2017