Exploration par le fichier robots.txt impossible

[juninho69]

Bonjour,

j'avais un site sous Magento et je l'ai migrer vers Prestashop.
Je suis en mode "remplissage" de la boutique de lingerie sous Prestashop 1.5.
Mais j'ai un souci, malgré le fait d'avoir envoyer un sitemap via webmaster tools de Google, j'ai un triangle jaune et le message suivant: "Exploration par le fichier robots.txt"

Et donc seulement 2 url d'indexer sur les 89 fournies.

Que dois je faire pour corriger cela ?

Merci

 

[UsagiYojimbo]

Url du site ?

 

[juninho69]

Url du site ?

il s'agit un site de lingerie.
Donc je ne peut pas mettre l'url, et c'est bien dommage, mais c'est hors-charte... . :?

 

[zeb]

Donc je ne peut pas mettre l'url, ... , mais c'est hors-charte... .

Ok d'accord mais c'est le lien qui pose problème pas un truc pas cliquable (enfin il me semble) donc "www.example.com" ou -http://www.example.com/ devrait passer car pas clicable. tu peut aussi changer les o en zero etc bref ...

 

[juninho69]

Bonjour,

dans ce cas, voici l'url non cliquable:
www . lingerie 2 charme . fr

Voilà suffit de retiré les espaces.

Merci pour votre aide

 

[zeb]

Et donc seulement 2 url d'indexer sur les 89 fournies

Ton robots txt est une usine a gaz mais il ne semble pas perturbant et tu as un peut plus de 4000 pages indexées donc il ne me semble pas qu'il y ai un problème.

 

[juninho69]

salut
en fait les 4000 pages indexées sont cette de l'ancienne version sous Magento.
La je suis reparti de zéro et sous Prestashop.
Et c'est vesrion qui pose souci seules 2 url sur 89 sont prises en compte et selon Webmaster tools il y a un souci ( triangle jaune sur le fichier robot.txt).

 

[zeb]

As tu fait des 301 ? car avant de se soucier d'un robots txt ou de sitemap faut assurer les bases :wink:
Si ce n'est pas le cas tu viens simplement de planter ton site qui va générer des tonnes de 404 ce qui n'incitera pas les moteurs a aller voir tes nouvelle pages ...

 

[juninho69]

Qu'entends tu par 301 ?
Beaucoupde pages n'existent plus.
Tu pourrais êtres plus précis stp ?

 

[zeb]

lol, plus précis difficile, mais bon disons que quand on change profondément un site il conviens de rediriger les anciennes pages vers les nouvelles équivalentes avec des redirection de type 301 (te laisse chercher dans l'abondante littérature du forum tout ce qu'il faut savoir sur une 301)
Comprend que les moteurs gardent trace de toutes tes url et qu'ils sont du genre têtu bornés donc qu'il repasseront voir les pages qu'ils ont connus tant que tu leur aura pas dit où elles sont parties (ça c'est la 301). Si tu ne fait pas ça, les moteurs considères que toutes tes pages sont introuvables (404) bref il se disent "c'est le bordel ici" et adoptent une attitude patiente mais tenace. Ils passent moins souvent et cherchent toujours leur page (les cons ). Parallèlement ils calment généralement la vitesse de crawl car ils pensent que tu as un souci (dans les fait c'est le cas).

Bref c'est en ce sens que je pense que tu viens de flinguer ton site ...

Comme tu ne semble pas savoir ce qu'est une 301 c'est surement que tu n'en a pas fait, donc ton programme urgent c'est de t'y mettre et vite ... Après c'est pas obligé mais tu va souffrir un moment avent de revoir le jour.

Dis toi au passage que ton sitemap c'est "pisser dans une violon" car il n'apporte rien a ton problème et est généralement totalement inutile si tu met pas en ligne 10 pages par jour tous les jours de l'année. Il ne constitue pas non plu la "liste officiel" des pages du site et tes anciennes pages, du moins leur url restent gravées a vie dans le marbre tant que tu n'as pas géré le problème.

 

[juninho69]

Effectivement, j'ai fait une grosse boulette.
Mais là, je suis repasser en mode maintenance.
Mais il me semble avoir vu dans Google Webmaster Tools, l'option de demande de supression d'URL.
C'est mieux que les redirections 301 ?

Sinon, voici un récap de ce que j'ai via l'administration de google webmaster tools.

119 Erreur du serveur
56 Introuvable

1 Accès refusé
17 Non suivies

 

[zeb]

Mais il me semble avoir vu dans Google Webmaster Tools, l'option de demande de supression d'URL.
C'est mieux que les redirections 301 ?

Et tu va te taper la supression de 4000 urls a la mano ? et tu fait quoi de bing et cie ....

la 301 c'est la règle d'or ... Après dis toi un truc c'est que les outils bing, google et cie c'est bien mais c'est pas de la gestion de site c'est des facilités. Un site doit gérer ses urls par lui même et envoyer les bon code de réponse 200 si c'est bon, 301 si ça a bougé, 410 si ça n'existe plu, 404 si ça n'a jamais existé etc ...

Sinon passer ton site en maintenance ne changera rien (au contraire tu va finir par faire pire que mieux si ça dure).
Ce qu'il faut que tu fasse c'est trouver une liste de tes anciennes url et tenter de faire une règle qui permet de les lier aux nouvelles. Peut être que ce sera difficile mais si déjà tu arrive a rediriger tes anciennes pages produit (par groupe peut être) vers une catégorie équivalente tu minimisera la casse tout en redirigeant proprement le visiteur et les moteurs.

Après si tu as ton ancienne base de donnée ça peut peut être se faire simplement ... mais bon perso je suis pas spécialiste des solutions de vente.

regarde peut être dans la gestion des 404 actuelles pour faire un script qui regarde si c'est pas une ancienne url qui est demandé si oui redirection si non 404.

Dans tous les cas même avec des redirections bien faites pense que ce genre de manipe peut demander qques semaines pour que google s'aligne donc faut pas t'affoler si les SERPs changent pas tout de suite.

Et au pire du pire si tu ne fait rien j'imagine qu'un jour tout rentrera dans l'ordre (j'ai déjà fait de gros changement sans 301 mais j'ai jamais surveillé autre chose que le trafic qui chutait forcement)

 

[juninho69]

Je pensais le faire via l'interface de google au moins juste pour:
119 Erreur du serveur
56 Introuvable

On est loin des 4000 d’ailleurs j'avais une trentaines de produits pas plus, donc je ne comprends pas pourquoi autant de pages ?

 

[zeb]

au moins juste pour : 119 Erreur du serveur

C'est que le début ... ça va augmenter si vraiment il connait 4000 urls.

 

[UsagiYojimbo]

4100 résultats annoncés par Google sur la requête : https://www.google.fr/search?q=site%3Awww.lingerie2charme.fr+inurl%3Aindex.php (a priori tes url de Magento conservaient le index.php, ce qui permet de les différencier de celles de Prestashop). Il te reste donc à extraire cette liste (tu peux passer par SeoTools, un plugin Excel très bien pour ça), et mettre sur pied un fichier de correspondance entre nouvelles et anciennes url. Ensuite, il s'agira soit de passer par le .htaccess pour gérer ces redirections, soit par un plugin Prestashop (je n'en ai pas en tête pour ce cas de figure). Mais supprimer les anciennes via GWT est une grosse erreur, tu perdrais tout l'acquis.

Pendant ce temps, remet ta boutique en ligne, c'est un erreur de laisser le mode maintenance alors que le bot est déjà en train d'indexer les url de Prestashop.

 

[juninho69]

Bonjour,

comment faire un lien entre les nouvelles urls et les anciennes si il n'existe aucun points commun ?
Je les redirige vers l'accueil du site_v2 ?

 

[UsagiYojimbo]

Non, il faut le faire a la mano s'il n'y a pas de logique décelable. C'est certes un travail très lourd, mais nécessaire.

 

[juninho69]

et je les mets où ces urls redirigé dans le .htaccess ?
Tu as un exemple, je n'ai jamais fait cela moi... .

Sinon un moyen de télécharger en fichier excel ces 4100urls ?
SeoTools ne fonctionne pas avec office 365

Merci

 

[UsagiYojimbo]

Pour ce qui est des redirections via le .htaccess : https://www.webrankinfo.com/dossiers/conseils/relancer-referencement

Pour ce qui est de passer par un plugin, il y a notamment http://www.prestatoolbox.fr/referencement-seo/94-conversion-et-redirec ... d-url.html

 

[juninho69]

Ok merci
un boulot de titan a la main !!!

Sinon, vu que les anciennes url sont en index.php, existe il un script pour toutes les redirigées vers l'accueil du nouveau site ?
Je ne vois vraiment pas comment je vais m'en sortir...

 

[UsagiYojimbo]

Ce serait une erreur de tout rediriger vers la home, surtout si ce sont les même produits. Pour ta problématique d'Excel, tu peux aussi.

Pour ce qui est de récupérer la liste de tes url, si tu as conservé quelque part une sauvegarde de l'ancienne version du site, en théorie tu peux réinstaller l'ancien site sur ton poste en local, et utiliser un soft de type Xenu pour le crawler, et retrouver la liste des url. Ou au pire, tu peux attendre que les erreurs ne remontent sur GWT pour rediriger les url trouvées au fur et à mesure par le robot, mais pour les internautes, c'est forcément moins bien.

 

[juninho69]

Ok merci vais voir cela ( pour la sauvegarde du site)

sinon est ce que avec le temps Google désindexe des pages ?
Comme ça je redirige ce que je peut et je laisse le temps au temps.
Mauvaise idée ?

Sinon dernière précision:
Si une URL est vraiment supprimée ( je pense au sous-domaine /blog par exemple), je peut dans ce cas passer par la suppression via GWT pour que google les désindexes ?