Extraction Screaming Frog / Xenu ou Webrankinfo impossible

jnceweb · 17 Décembre 2017

Bonjour,
Je me permets de laisser un message sur le forum car je souhaiterais extraire toutes les META (TITLE / DESCRIPTION) de mon site et je n'y parviens pas avec Screaming Frog ou encore Xenu.

Mon site est https://www.agencetapisrouge.com/ et je serai très content d'avoir votre aide Est-ce une erreur dans le header ? Déjà je trouve étrange quand vous allez sur une catégorie de mon site et que vous copiez / collez l'URL, c'est celle-ci n'est pas la même (% -)

Merci d'avance,
Jonathan

Madrileño · 17 Décembre 2017

Bonjour,

Vous pouvez vérifier les paramètres de vos outils et site Internet (cf. ci-dessous avec la première page).
Xenu fonctionne bien, mais Screaming Frog de base indique 0 en size de la page d'accueil.
Il semble que pour certains UA le site ne souhaite pas présenter les contenus des pages.
Et un peu d'URL rewriting serait bien avec certaines de vos URL (qui n'en ont pas).
Vérifier aussi le fonctionnement des URL pour corriger certaines erreurs actuelles.

Temps de réponse : 15 minutes.
Cordialement.

WebRankInfo · 17 Décembre 2017

J'ai testé (avec mon outil RM Tech) les 10 000 premières pages (URL) et c'est assez catastrophique : 90% des URL ont un problème qui fait qu'elles ne sont pas indexables. En gros, c'est ce que j'appelle "un paquet de masse noire"...
Avant même de s'attaquer aux titres, je pense qu'il faudrait nettoyer le site du côté technique. Je n'ai pas trouvé quel CMS est utilisé (s'il y en a un).

anemone-clown · 17 Décembre 2017

J'ajouterai que les virgules dans les liens vont empêcher pas mal de copies de liens avec des systèmes anciens d' "autolink". Même si la virgule est théoriquement autorisée dans des url, pas mal de serveurs (nginx peut être paramétré pour cela par exemple) la filtre dans les urls pour éviter certaines attaques...

C'est probablement le problème de ton (% ... ;-)

spout · 22 Décembre 2017

Penser à corriger la faille XSS sur la recherche.

jnceweb · 23 Décembre 2017

Qu'entends-tu par faille XSS ?

Merci

spout · 23 Décembre 2017

@jnceweb : https://fr.wikipedia.org/wiki/Cross-site_scripting

jnceweb · 29 Décembre 2017

D'ailleurs pour toutes ces pages produits sans réel contenu que me conseillez-vous de faire ? NOINDEX en attendant d'avoir du contenu de qualité afin de garder que mes pages importantes sur lesquelles je veux ranker ? Si oui comment reconnaître ces pages à "cacher" ?

Merci

Madrileño · 29 Décembre 2017

Bonjour,

jnceweb a dit: ↑

ces pages produits sans réel contenu que me conseillez-vous de faire ?
Cliquez pour agrandir...

Améliorer les pages pour avoir un bon contenu et indexer celles-ci une fois à jour (en attendant noindex si celles-ci sont pénalisantes).
Vous pouvez aussi corriger les bugs du site Internet.

Temps de réponse : 5 minutes.
Cordialement.

Similar Threads - Extraction Screaming Frog	Forum	Date
Outil extraction contenus - Refonte	Rédaction web et référencement	21 Octobre 2019
Problème extraction tables croisés script php	Développement d'un site Web ou d'une appli mobile	9 Janvier 2013
Extraction résultats Bing	Développement d'un site Web ou d'une appli mobile	31 Mai 2012
Outil d'extraction d'URL	Administration d'un site Web	22 Novembre 2010
Extraction d'email d'un fichier txt	Développement d'un site Web ou d'une appli mobile	9 Octobre 2010
Script d'extraction Googles Images	Administration d'un site Web	1 Octobre 2010
Extraction de chaine en php ...	Développement d'un site Web ou d'une appli mobile	18 Janvier 2010
Outil d'extraction de l'URL positionnée en première position	Référencement Google	2 Décembre 2009
Script extraction URL de Google	Google : l'entreprise, les sites web, les services	23 Novembre 2009
Crawl Screaming Frog impossible. A cause d'un excès de liens sortants?	Crawl et indexation Google, sitemaps	18 Juin 2016