Crawl sur une select box ?

[doc83]

Bonjour,

J'hésitai sur l'endroit où poster ce message mais finalement le forum débutant me paraît approprié.
En effet je me pose une question toute bête, mais à laquelle je n'ai pas trouvé de réponse suffisamment claire (et surtout récente, compte tenu des évolutions de la technicité des bots).

Les bots sont-ils capables de parcourir une select box, et donc a fortiori de suivre les liens afférents ?
De mémoire, non. Puisque justement, les formulaires constituent une technique archi connue contre l'indexation des pages qui y sont liées.

Mais avez-vous une opinion plus tranchée que la mienne sur ce sujet ?

 

[Supermaury]

Bonjour.

Avant, il se limitait au crawl des formulaires en method="get"... mais c'était avant comme dirait la pub (en 2008 pour être précis).

Déjà en 2011 il gérait à peu près tout niveau formulaires : get, post, javascript/ajax :
http://googlewebmastercentral.blogspot.fr/2011/11/get-post-and-safely-surfacing-more-of.html

Donc, à mon avis ce n'est pas un pauvre select qui arrêtera GoogleBot en 2013.

@++

 

[doc83]

J'ai fait une petite analyse de la page en question et effectivement il a l'air d'en avoir cure
En tout cas c'est précisément ce que je voulais, je comptais pas le bloquer au contraire.

Et merci pour ta réponse.

 

[lambi521]

Je me suis posé la même question récemment, car lors d'une refonte de mon site j'ai voulu mettre une liste de liens sous forme de select box, pour aider l'internaute. Si ça peut t'aider j'ai eu plusieurs réponses intéressantes :

https://www.webrankinfo.com/forum/form-get-select-url-reecrite-redirections ... 61833.html

Pour ma part j'ai quand même gardé un lien interne classique (sur une autre page pas du tout optimisée) vers chaque page de la select box pour être sûr que Google bot les crawl bien, mais je ne pense pas que ce soit obligé car je sais pas expérience que GGbot crawl tout ce qui ressemble à une URL, même sous forme de texte, même présente juste dans le code source, et pour ma part la "value" de ma select box EST le lien donc il connait toutes les pages c'est certain, après pour ce qui est du pagerank...

 

[zeb]

+1 attention crawl ne signifie pas indexation, transmission du jus et positionnement ...

 

[WebRankInfo]

ça fait des lustres (presque 5 ans) que Google sait indexer les formulaires en méthode get, notamment les simples select.

attention à bien comprendre les implications : si vous n'y faites pas attention, vous risquez de laisser Google crawler des tonnes d'URL de votre site qui pourtant n'étaient pas utiles pour le référencement. Résultat : vous risquez de créer ce que j'appelle de la masse noire, c'est-à-dire des URL crawlées par Google mais pas souvent indexées, qui baissent fortement l'efficacité du crawl et donc de votre référencement.

et même si vous vouliez faire indexer ces pages, un simple select n'est pas suffisant car les pages n'ont pas de backlink

 

[doc83]

Merci pour vos réponses.
Pour info, ce sont des catégories qui sont dans les select, mais elles sont déclarées en noindex, follow.
Que Google parvienne à les crawler m'importe peu, mon netlinking interne ne dépend pas de ces select (je joue plutôt sur la pagination et les articles similaires en fin de page).
Comme Lambi le disait plus haut, je cherche avant tout à améliorer l'expérience utilisateur de mes visiteurs.

En revanche, en réponse à ce que m'a dit l'admin, je suis curieux de savoir si j'ai un intérêt particulier à baliser ces catégories en nofollow également. Il faut savoir que ces select sont présentes sur toutes les pages d'articles, et que le phénomène que tu appeles "masse noire" me semble effectivement présent dans ce cas de figure.

Il se trouve qu'en l'occurence j'autorise le crawl de mes catégories mais que j'en interdis l'indexation. Perte de ressources pour le robot ?

 

[WebRankInfo]

je me demande bien pourquoi tu ne fais pas indexer tes pages catégories...
quand à utiliser du nofollow, je n'ai que très rarement trouvé des cas où c'est utile sur des liens internes

 

[doc83]

Disons que les articles du site sont assez courts en moyenne (politique de "lecture web" assumée par l'éditeur) et que chaque catégorie affiche les 2 premiers (puis pagination).
Ne faisant que rarement des liens "lire la suite", je crains que l'indexation des catégories engendre dans bien des cas du contenu dupliqué sur les articles.
edit : et certaines catégories peuvent rester des jours et des jours sans nouvel article, ce qui augmente ce risque.
Sinon ok pour le nofollow, je n'en mets jamais sur les liens internes de toute façon.

 

[lambi521]

quand à utiliser du nofollow, je n'ai que très rarement trouvé des cas où c'est utile sur des liens internes

Entièrement d'accord, les pages catégories doivent être indéxées, il faut faire son site pour les internautes et non pour les robots

Si Google décide qu'elles ne sont pas utiles, il ne les positionnera plus, mais je préfère laisser l'intégralité du site en index, follow (à part la page de recherche du site évidemment) et laisser décidé GGbot plutôt que de ne pas les indexer du tout. Des fois aves GGbot des pages auxquelles on ne s'attendaient pas se positionnent très bien

 

[WebRankInfo]

lambi521, je n'ai pas parlé d'indexation ! je n'ai parlé que du nofollow sur les liens internes

 

[zeb]

et laisser décider GGbot plutôt que de ne pas les indexer du tout.

Mouais, pas si affirmatif que toi la dessus (je parle pas spécialement de tes pages cat) j'ai au moins un cas ou si j'avais pas pris la décision de mettre du no-index je serait encore a compter mes billes dans l'arrière cour avec le site.