Comment vérifier si une page est interdite aux robots !

WRInaute occasionnel
En tapant l'adresse de la page dans google... pour ta page:
https://www.google.ch/search?hl=fr&q=htt ... html&meta=
... elle n'est pas dans l'indexe, si c'est une page récente c'est normal. Si la page est ancienne, ben google la connait pas...

-edit : à priori elle sera indexée un jour. Pas de robots.txt (donc pas d'interdiction) et la meta robots = "index, follow"... donc c'est bon.
 
WRInaute passionné
XAVIUS1703 a dit:
phpmikedu83 a dit:
robots.txt renvoi à une 404, donc pas de robots.txt ;-)

donc en français ça veut dire que jme suis fait bien avoir par le web master du dit site !!!

Non, c'est le contraire... pas de robots.txt ----> pas d'interdiction!

et comme le dit biscuit, vérifier la balise méta robots qui n'empêche rien, elle non plus dans le cas présent!
 
WRInaute accro
XAVIUS1703 a dit:
phpmikedu83 a dit:
robots.txt renvoi à une 404, donc pas de robots.txt ;-)

donc en français ça veut dire que jme suis fait bien avoir par le web master du dit site !!!

Nan ce veut surtout dire qu'il n'y a rien dans le robots.txt (normal il n'existe pas) qui est susceptible d'empêcher cette page d'être référencée.
 
Nouveau WRInaute
phpmikedu83 a dit:
XAVIUS1703 a dit:
phpmikedu83 a dit:
robots.txt renvoi à une 404, donc pas de robots.txt ;-)

donc en français ça veut dire que jme suis fait bien avoir par le web master du dit site !!!

Non, c'est le contraire... pas de robots.txt ----> pas d'interdiction!

et comme le dit biscuit, vérifier la balise méta robots qui n'empêche rien, elle non plus dans le cas présent!

merci beaucoup pour votre réponse mais il se passe des trucs bizare sur google car cette page était indexée avec un rank de 3
 
WRInaute passionné
XAVIUS1703 a dit:
cette page était indexée avec un rank de 3

Tu perds ton temps!!!

Est-ce que cette page correspond à ta thématique?

- oui.

Alors, t'occupes pas du reste, passes à d'autres partenariats intérressants...
 
Discussions similaires
Haut