Exploration par le fichier robots.txt impossible

Discussion dans 'Débuter en référencement' créé par juninho69, 9 Mai 2013.

  1. juninho69
    juninho69 Nouveau WRInaute
    Inscrit:
    1 Septembre 2012
    Messages:
    33
    J'aime reçus:
    0
    Bonjour,

    j'avais un site sous Magento et je l'ai migrer vers Prestashop.
    Je suis en mode "remplissage" de la boutique de lingerie sous Prestashop 1.5.
    Mais j'ai un souci, malgré le fait d'avoir envoyer un sitemap via webmaster tools de Google, j'ai un triangle jaune et le message suivant: "Exploration par le fichier robots.txt"

    Et donc seulement 2 url d'indexer sur les 89 fournies.

    Que dois je faire pour corriger cela ?

    Merci
     
  2. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    11 878
    J'aime reçus:
    73
    Url du site ?
     
  3. juninho69
    juninho69 Nouveau WRInaute
    Inscrit:
    1 Septembre 2012
    Messages:
    33
    J'aime reçus:
    0
    il s'agit un site de lingerie.
    Donc je ne peut pas mettre l'url, et c'est bien dommage, mais c'est hors-charte... . :?
     
  4. zeb
    zeb WRInaute accro
    Inscrit:
    5 Décembre 2004
    Messages:
    12 192
    J'aime reçus:
    1
    Ok d'accord mais c'est le lien qui pose problème pas un truc pas cliquable (enfin il me semble) donc "www.example.com" ou -http://www.example.com/ devrait passer car pas clicable. tu peut aussi changer les o en zero etc bref ...
     
  5. juninho69
    juninho69 Nouveau WRInaute
    Inscrit:
    1 Septembre 2012
    Messages:
    33
    J'aime reçus:
    0
    Bonjour,

    dans ce cas, voici l'url non cliquable:
    www . lingerie 2 charme . fr

    Voilà suffit de retiré les espaces.

    Merci pour votre aide
     
  6. zeb
    zeb WRInaute accro
    Inscrit:
    5 Décembre 2004
    Messages:
    12 192
    J'aime reçus:
    1
    Ton robots txt est une usine a gaz mais il ne semble pas perturbant et tu as un peut plus de 4000 pages indexées donc il ne me semble pas qu'il y ai un problème.
     
  7. juninho69
    juninho69 Nouveau WRInaute
    Inscrit:
    1 Septembre 2012
    Messages:
    33
    J'aime reçus:
    0
    salut
    en fait les 4000 pages indexées sont cette de l'ancienne version sous Magento.
    La je suis reparti de zéro et sous Prestashop.
    Et c'est vesrion qui pose souci seules 2 url sur 89 sont prises en compte et selon Webmaster tools il y a un souci ( triangle jaune sur le fichier robot.txt).
     
  8. zeb
    zeb WRInaute accro
    Inscrit:
    5 Décembre 2004
    Messages:
    12 192
    J'aime reçus:
    1
    As tu fait des 301 ? car avant de se soucier d'un robots txt ou de sitemap faut assurer les bases :wink:
    Si ce n'est pas le cas tu viens simplement de planter ton site qui va générer des tonnes de 404 ce qui n'incitera pas les moteurs a aller voir tes nouvelle pages ...
     
  9. juninho69
    juninho69 Nouveau WRInaute
    Inscrit:
    1 Septembre 2012
    Messages:
    33
    J'aime reçus:
    0
    Qu'entends tu par 301 ?
    Beaucoupde pages n'existent plus.
    Tu pourrais êtres plus précis stp ?
     
  10. zeb
    zeb WRInaute accro
    Inscrit:
    5 Décembre 2004
    Messages:
    12 192
    J'aime reçus:
    1
    lol, plus précis difficile, mais bon disons que quand on change profondément un site il conviens de rediriger les anciennes pages vers les nouvelles équivalentes avec des redirection de type 301 (te laisse chercher dans l'abondante littérature du forum tout ce qu'il faut savoir sur une 301)
    Comprend que les moteurs gardent trace de toutes tes url et qu'ils sont du genre têtu bornés donc qu'il repasseront voir les pages qu'ils ont connus tant que tu leur aura pas dit où elles sont parties (ça c'est la 301). Si tu ne fait pas ça, les moteurs considères que toutes tes pages sont introuvables (404) bref il se disent "c'est le bordel ici" et adoptent une attitude patiente mais tenace. Ils passent moins souvent et cherchent toujours leur page (les cons :D ). Parallèlement ils calment généralement la vitesse de crawl car ils pensent que tu as un souci (dans les fait c'est le cas).

    Bref c'est en ce sens que je pense que tu viens de flinguer ton site ...

    Comme tu ne semble pas savoir ce qu'est une 301 c'est surement que tu n'en a pas fait, donc ton programme urgent c'est de t'y mettre et vite ... Après c'est pas obligé mais tu va souffrir un moment avent de revoir le jour.

    Dis toi au passage que ton sitemap c'est "pisser dans une violon" car il n'apporte rien a ton problème et est généralement totalement inutile si tu met pas en ligne 10 pages par jour tous les jours de l'année. Il ne constitue pas non plu la "liste officiel" des pages du site et tes anciennes pages, du moins leur url restent gravées a vie dans le marbre tant que tu n'as pas géré le problème.
     
  11. juninho69
    juninho69 Nouveau WRInaute
    Inscrit:
    1 Septembre 2012
    Messages:
    33
    J'aime reçus:
    0
    Effectivement, j'ai fait une grosse boulette.
    Mais là, je suis repasser en mode maintenance.
    Mais il me semble avoir vu dans Google Webmaster Tools, l'option de demande de supression d'URL.
    C'est mieux que les redirections 301 ?

    Sinon, voici un récap de ce que j'ai via l'administration de google webmaster tools.

    119 Erreur du serveur
    56 Introuvable

    1 Accès refusé
    17 Non suivies
     
  12. zeb
    zeb WRInaute accro
    Inscrit:
    5 Décembre 2004
    Messages:
    12 192
    J'aime reçus:
    1
    Et tu va te taper la supression de 4000 urls a la mano ? et tu fait quoi de bing et cie ....

    la 301 c'est la règle d'or ... Après dis toi un truc c'est que les outils bing, google et cie c'est bien mais c'est pas de la gestion de site c'est des facilités. Un site doit gérer ses urls par lui même et envoyer les bon code de réponse 200 si c'est bon, 301 si ça a bougé, 410 si ça n'existe plu, 404 si ça n'a jamais existé etc ...

    Sinon passer ton site en maintenance ne changera rien (au contraire tu va finir par faire pire que mieux si ça dure).
    Ce qu'il faut que tu fasse c'est trouver une liste de tes anciennes url et tenter de faire une règle qui permet de les lier aux nouvelles. Peut être que ce sera difficile mais si déjà tu arrive a rediriger tes anciennes pages produit (par groupe peut être) vers une catégorie équivalente tu minimisera la casse tout en redirigeant proprement le visiteur et les moteurs.

    Après si tu as ton ancienne base de donnée ça peut peut être se faire simplement ... mais bon perso je suis pas spécialiste des solutions de vente.

    regarde peut être dans la gestion des 404 actuelles pour faire un script qui regarde si c'est pas une ancienne url qui est demandé si oui redirection si non 404.

    Dans tous les cas même avec des redirections bien faites pense que ce genre de manipe peut demander qques semaines pour que google s'aligne donc faut pas t'affoler si les SERPs changent pas tout de suite.

    Et au pire du pire si tu ne fait rien j'imagine qu'un jour tout rentrera dans l'ordre (j'ai déjà fait de gros changement sans 301 mais j'ai jamais surveillé autre chose que le trafic qui chutait forcement)
     
  13. juninho69
    juninho69 Nouveau WRInaute
    Inscrit:
    1 Septembre 2012
    Messages:
    33
    J'aime reçus:
    0
    Je pensais le faire via l'interface de google au moins juste pour:
    119 Erreur du serveur
    56 Introuvable

    On est loin des 4000 d’ailleurs j'avais une trentaines de produits pas plus, donc je ne comprends pas pourquoi autant de pages ?
     
  14. zeb
    zeb WRInaute accro
    Inscrit:
    5 Décembre 2004
    Messages:
    12 192
    J'aime reçus:
    1
    C'est que le début ... ça va augmenter si vraiment il connait 4000 urls.
     
  15. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    11 878
    J'aime reçus:
    73
    4100 résultats annoncés par Google sur la requête : https://www.google.fr/search?q=site%3Awww.lingerie2charme.fr+inurl%3Aindex.php (a priori tes url de Magento conservaient le index.php, ce qui permet de les différencier de celles de Prestashop). Il te reste donc à extraire cette liste (tu peux passer par SeoTools, un plugin Excel très bien pour ça), et mettre sur pied un fichier de correspondance entre nouvelles et anciennes url. Ensuite, il s'agira soit de passer par le .htaccess pour gérer ces redirections, soit par un plugin Prestashop (je n'en ai pas en tête pour ce cas de figure). Mais supprimer les anciennes via GWT est une grosse erreur, tu perdrais tout l'acquis.

    Pendant ce temps, remet ta boutique en ligne, c'est un erreur de laisser le mode maintenance alors que le bot est déjà en train d'indexer les url de Prestashop.
     
  16. juninho69
    juninho69 Nouveau WRInaute
    Inscrit:
    1 Septembre 2012
    Messages:
    33
    J'aime reçus:
    0
    Bonjour,

    comment faire un lien entre les nouvelles urls et les anciennes si il n'existe aucun points commun ?
    Je les redirige vers l'accueil du site_v2 ?
     
  17. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    11 878
    J'aime reçus:
    73
    Non, il faut le faire a la mano s'il n'y a pas de logique décelable. C'est certes un travail très lourd, mais nécessaire.
     
  18. juninho69
    juninho69 Nouveau WRInaute
    Inscrit:
    1 Septembre 2012
    Messages:
    33
    J'aime reçus:
    0
    et je les mets où ces urls redirigé dans le .htaccess ?
    Tu as un exemple, je n'ai jamais fait cela moi... .

    Sinon un moyen de télécharger en fichier excel ces 4100urls ?
    SeoTools ne fonctionne pas avec office 365

    Merci
     
  19. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    11 878
    J'aime reçus:
    73
  20. juninho69
    juninho69 Nouveau WRInaute
    Inscrit:
    1 Septembre 2012
    Messages:
    33
    J'aime reçus:
    0
    Ok merci
    un boulot de titan a la main !!!

    Sinon, vu que les anciennes url sont en index.php, existe il un script pour toutes les redirigées vers l'accueil du nouveau site ?
    Je ne vois vraiment pas comment je vais m'en sortir...
     
  21. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    11 878
    J'aime reçus:
    73
    Ce serait une erreur de tout rediriger vers la home, surtout si ce sont les même produits. Pour ta problématique d'Excel, tu peux aussi.

    Pour ce qui est de récupérer la liste de tes url, si tu as conservé quelque part une sauvegarde de l'ancienne version du site, en théorie tu peux réinstaller l'ancien site sur ton poste en local, et utiliser un soft de type Xenu pour le crawler, et retrouver la liste des url. Ou au pire, tu peux attendre que les erreurs ne remontent sur GWT pour rediriger les url trouvées au fur et à mesure par le robot, mais pour les internautes, c'est forcément moins bien.
     
  22. juninho69
    juninho69 Nouveau WRInaute
    Inscrit:
    1 Septembre 2012
    Messages:
    33
    J'aime reçus:
    0
    Ok merci vais voir cela ( pour la sauvegarde du site)

    sinon est ce que avec le temps Google désindexe des pages ?
    Comme ça je redirige ce que je peut et je laisse le temps au temps.
    Mauvaise idée ?

    Sinon dernière précision:
    Si une URL est vraiment supprimée ( je pense au sous-domaine /blog par exemple), je peut dans ce cas passer par la suppression via GWT pour que google les désindexes ?
     
Chargement...
Similar Threads - Exploration fichier robots Forum Date
Search Console Anomalie "aléatoire" lors de l'exploration Crawl et indexation Google, sitemaps 20 Février 2020
Search Console URL envoyée contient une erreur d'exploration Problèmes de référencement spécifiques à vos sites 23 Décembre 2019
Search Console L'URL envoyée contient une erreur d'exploration (erreur couverture) Crawl et indexation Google, sitemaps 12 Août 2019
Search Console Taux de crawling - Statistiques sur l'exploration Crawl et indexation Google, sitemaps 22 Mai 2019
erreurs d'exploration Demandes d'avis et de conseils sur vos sites 5 Novembre 2018
Que veut dire dernière exploration Crawl et indexation Google, sitemaps 28 Octobre 2018
Plus de statistiques d'exploration depuis le 23 mai 2018 Crawl et indexation Google, sitemaps 4 Juin 2018
Statistiques sur l'exploration - Pages explorées par jour Crawl et indexation Google, sitemaps 2 Décembre 2017
Erreur Exploration 404 / Google Search console Référencement Google 20 Août 2017
Erreurs d'exploration GG webmaster tools Crawl et indexation Google, sitemaps 27 Juillet 2017
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice