Pages crawlées et pages indexées

[pooxeur]

Hello,

Toute page crawlée par Google est-elle indexée ?

Dans quel délai une page crawlée est-elle visible dans l'index de Google ?

 

[Leonick]

Toute page crawlée par Google est-elle indexée ?

non

Dans quel délai une page crawlée est-elle visible dans l'index de Google ?

on ne sait pass. Des fois quelques mois ou années plus tard

 

[pooxeur]

Je ne suis pas d'accord.

Pour moi toute page crawlée, se retrouve indexée et dans un délai assez rapide (< à 10 jours)...

Quelqu'un a-t-il un contre-exemple ?

 

[HawkEye]

Quelqu'un a-t-il un contre-exemple ?

...toutes les pages crawlées sur lesquelles il y'a un <meta name="robots" content="none">, et toutes les pages crawlées qui sont en "Disallow" via robots.txt

A part ça oui, tout document crawlé finit à terme par être indexé, pas forcément en 24h néanmoins.

 

[pooxeur]

Faux, même un document avec un Disallow est crawlé et indéxée

La preuve :
http://www.kewego.fr/robots.txt
contient
User-agent: *
Disallow: /tos/

Et pourtant la page /tos/ est crawlée et indéxée :
https://www.google.fr/search?q=site%3Aww ... ch&start=0

Qu'en pensez-vous ?

 

[Leonick]

Et pourtant la page /tos/ est crawlée et indéxée

non, elle n'a pas été crawlé, la preuve il y a juste affiché "pages similaires" et non page en cache ni le descriptif.
En plus, cette recherche ne donne rien https://www.google.fr/search?hl=fr&q=dis ... DcountryFR alors que ce terme apparait plusieurs fois dans la page

 

[pooxeur]

Effectivement, en fait, elle est bien indéxée (le lien) mais pas crawlée....

 

[pooxeur]

Et visiblement elle a un gros pagerank ? Curieux ?

 

[daftclub06]

Je ne suis pas d'accord.

Pour moi toute page crawlée, se retrouve indexée et dans un délai assez rapide (< à 10 jours)...

Quelqu'un a-t-il un contre-exemple ?

Oui j'ai un trés bon contre exemple

J'ai posté une sitemap de 3000 URLs sur google , certaines pages ont été crawlées il y a plus de deux mois et ne sont toujours pas dans l'index

Dans mon cas google crawle environ 200 pages par semaine et en moyenne une seule de ces 200 pages apparait dans l'index par semaine .......

A ce rythme là , mon site sera indexé dans un peu moins de 60 ans d'après mes calculs .... 8O

 

[Monty973]

Effectivement, en fait, elle est bien indéxée (le lien) mais pas crawlée....

Et visiblement elle a un gros pagerank ? Curieux ?

Ca s'apelle des "pages partiellement indexées" chez Google :
https://www.google.com/support/webmaster ... swer=35667

et des "thin documents" chez Yahoo! :
http://help.yahoo.com/help/us/ysearch/s ... rp-01.html

Les META robots n'empêche pas l'indexation par Yahoo! mais doit en théorie éviter l'indexation par Google.

Sinon pour les désindexer, il faut utiliser leurs outils de supression d'URLs

 

[daftclub06]

Quelqu'un a-t-il un contre-exemple ?

...toutes les pages crawlées sur lesquelles il y'a un <meta name="robots" content="none">, et toutes les pages crawlées qui sont en "Disallow" via robots.txt

A part ça oui, tout document crawlé finit à terme par être indexé, pas forcément en 24h néanmoins.

Et si au bout de deux mois il n'est pas indexe , tu crois qu'il faut que je m'inquiete.

Si quelqu'un pouvait prendre 5 minutes de son temps pour analyser le pourquoi du comment concernant mon site, je lui en serais eternellement reconnaissant

http://www.chila-audio.com