Majorité de page en "noindex"

Bonjour,

je pense qu'il n'y a aucun problème concernant le positionnement, par contre coté crawl ca peut etre problématique pour Google qui doit crawler les urls pour s'apercevoir qu'elles sont en noindex. Le mieux est de rajouter un attribut rel="nofollow" sur les liens vers des pages noindex pour éviter à Google de crawler des pages inutilement.

 

Bonjour,

+1 rel nofollow et robots.txt pour aider le bot.

Cordialement.

 

Bonjour,

Tu peux par exemple mettre tes pages dans un dossier (exemple : /pages/) et bloquer ce dossier au crawl dans le robots.txt.

Pour être certain de ne pas avoir ces pages indexées dans les moteurs de recherche mais aussi pour désindexer celles qui le sont déjà tu peux ajouter la balise meta suivante :
<meta name="robots" content="noindex"> sur l'ensemble des pages concernées.

 

Bonjour,

Si vous souhaitez d'autres avis, vous pouvez présenter l'URL du site.

Cordialement.

 

La règle de base en liens internes est INDEX et liens FOLLOW. Une autre approche est plus directe: une page qui ne doit plus être reprise reprend un lien vers une nouvelle page à contenu équivalent (ou vers la catégorie supérieure).

Rappelle quand même le noindex ... ca ne bloque pas le robot d'indexation, juste qu'il n'en tient pas compte dans les résultats. La solution est plutôt d'utiliser le fichier robot.txt et ses règles pour qu'il ne les lise pas du tout! (ou redirection ci-dessus)

 

Bonjour,

patrick_lejeune >> Je pense qu'il faut utiliser les 2 (robots.txt + noindex).
Eventuellement la 301 à la place mais il faut que cela soit justifié mais vu ce que dit l'auteur dans le 1er message je ne pense pas que la 301 le soit.

 

Il faut quand même que ces pages ne soient pas accessibles par GG lorsqu'il visite le site. Sinon il va quand même les indexer en mettant un message dans la meta pour signaler qu'il n'a pas pu les crawler. Ca me semble pas génial non plus.

 

Je parle du cas de figure expliqué sur cette page, dans le paragraphe suivant : Google connait des pages sans pourtant y accéder !
https://www.webrankinfo.com/dossiers/indexation/crawl-respect-robots-txt

Parler d'indexation n’est peut être pas tout à fait juste mais du moment que des pages sont likées sur notre site ou ailleurs, même si elles sont bloquées par le robots.txt elles peuvent parfois être "indexées" (visible dans les serps).

On peut même lire dans l'article : Conclusion : Google peut vous générer du trafic grâce à des pages qu'il n'a jamais crawlées !

Après effectivement je ne sais pas si le problème persiste lorsque GG a pu avant le blocage du crawl, crawler la page et vérifier qu'elle était en noindex.
L’idéal serait vraiment dans le robots.txt de bloquer le crawl et "l'indexation". Il y a d'ailleurs une commande noindex non officielle pour le robots.txt il me semble.

Si je parle de ça ici, c’est que j'avais rencontré pas mal de soucis avec le robots.txt

Quoi qu'il en soit il me semble que dans certains cas, meme si on bloque le crawl, vu qu'il ne peut avoir aucune info sur la page, il ajoute la page dans les serps (index) mais ajoute une META et un Title par défaut.

 

> Olivier, c'est moi qui m'y colle :mrgreen:
> Noren :wink:
On commence par les différentes possibilités pour empécher qu'une page soit vue (moteurs et visiteurs).
1. htaccess avec redirection vers une autre page ou message d'erreur
- message d'erreur: erreur 404 (page n'existe pas), 303 (interdit)
2. en PHP pour quelques CMS et développements "maison" dans le header (ou avant)
sur la page: interdit l'accés à tout le monde

Code:

header("HTTP/1.1 403 Forbidden");
 exit();

ou renvoyer une redirection

3. robot.txt: permet d'interdire la page aux robots qui suivent les directives
- tous les robots ne suivent pas ces directives (les vrais moteurs oui)
- interdire les robots pour une page déjà crawlée ne supprime pas la page des résultats: d'où les premières solutions (erreurs 404 ou redirection)
... dans tous ces cas (les parasites)
tu peux bloquer la page /http ... a-pas-visiter.htm et un lien vers a-pas-visiter.htm/XXXX passe dans beaucoup de cas. Même aussi spécifique: http://exemple.com/referencement.WRI peut passer avec des blocages sur http://www.exemple.com/referencement.WRI