Nouveau WRInaute
Salut tout le monde,
On refait les sites webs de l'entreprise où je bosse, on a quelques hôtels indépendants. Les devs intégrés à l'entreprise partent sur de l'ajax pour la création des sites en mobile et bureau en responsive.
On a posé un environnement de test en sous-domaine pour tester la manière dont screaming frog lit le truc. En activant le javascript dans la config du spider, il lit bien toutes les infos, mais il trouve les pages php qui contiennent le contenu récupéré en ajax, alors que ce contenu n'est appelé qu'avec du GET. Et si je bloque l'exploration de ces pages avec le robots.txt (disallow /*php*), le spider n'arrive plus qu'à retrouver les parties communes non générées en AJAX. Le body de la page qui contiet le contenu principal n'est plus vu. Ce qui pose souci puisque je ne veux pas que les pages PHP soit indexées.
J'suis pas assez technique pour être sûr de mon coup, donc si y a des experts de l'indexation de contenu JS dans le coin, on veut bien un peu d'aide.
Merci d'avance
On refait les sites webs de l'entreprise où je bosse, on a quelques hôtels indépendants. Les devs intégrés à l'entreprise partent sur de l'ajax pour la création des sites en mobile et bureau en responsive.
On a posé un environnement de test en sous-domaine pour tester la manière dont screaming frog lit le truc. En activant le javascript dans la config du spider, il lit bien toutes les infos, mais il trouve les pages php qui contiennent le contenu récupéré en ajax, alors que ce contenu n'est appelé qu'avec du GET. Et si je bloque l'exploration de ces pages avec le robots.txt (disallow /*php*), le spider n'arrive plus qu'à retrouver les parties communes non générées en AJAX. Le body de la page qui contiet le contenu principal n'est plus vu. Ce qui pose souci puisque je ne veux pas que les pages PHP soit indexées.
J'suis pas assez technique pour être sûr de mon coup, donc si y a des experts de l'indexation de contenu JS dans le coin, on veut bien un peu d'aide.
Merci d'avance
