Crawl Robots.TXT

Discussion dans 'Crawl et indexation Google, sitemaps' créé par NikyBee, 28 Juin 2017.

Tags:
  1. NikyBee
    NikyBee Nouveau WRInaute
    Inscrit:
    17 Octobre 2014
    Messages:
    18
    J'aime reçus:
    0
    Bonjour,

    Google crawl toujours mon ancien robots.txt

    A chaque fois il me sort en erreur mes vielles pages de mon site web.

    J'ai basculé mon site en https au mois de mars 2017.

    Pensez vous que c cela qui pose le problème

    Le problème est identique avec bing qui vient de me desindexer depuis ma bascule en https

    Merci de votre aide

    Mon url www.1001chaussures.com

    Niky
     
    #1 NikyBee, 28 Juin 2017
  2. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    20 037
    J'aime reçus:
    531
    le robots.txt de ton https ne sert à rien : la ligne "User-Agent: *" n'est pas suivie d'une instruction de type Disallow donc inutile
    et mieux vaut déclarer tes sitemaps dans search console, pas ici

    ça donne quoi quand tu demandes à Google de venir crawler ce robots.txt ?

    PS : y'a un paquet de pb remontés par l'audit RM Tech...
     
    #2 WebRankInfo, 28 Juin 2017
  3. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    11 890
    J'aime reçus:
    75
    Tes metas sont à revoir : plusieurs sont inutiles ou non conformes (la meta googlebot n'existe pas).

    Et les temps de réponse du site sont assez mauvais, je regarderais aussi de ce côté.
     
    #3 UsagiYojimbo, 28 Juin 2017
  4. NikyBee
    NikyBee Nouveau WRInaute
    Inscrit:
    17 Octobre 2014
    Messages:
    18
    J'aime reçus:
    0
    mes sitemaps sont bien déclaré dans search console
    et quand je fais explorer par google il affiche bien le bon robots.Txt
     
    #4 NikyBee, 28 Juin 2017
  5. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    11 890
    J'aime reçus:
    75
    Je sais pas comment tu as gérés tes redirections lors de la bascule, mais le robots.txt en http n'est pas redirigé. Déjà, il me semble y avoir là un souci.
     
    #5 UsagiYojimbo, 28 Juin 2017
  6. NikyBee
    NikyBee Nouveau WRInaute
    Inscrit:
    17 Octobre 2014
    Messages:
    18
    J'aime reçus:
    0
    ok je vais regarder cela mais quand je le met en https il s affiche

    Merci c est deja une premiere piste
     
    #6 NikyBee, 28 Juin 2017
  7. NikyBee
    NikyBee Nouveau WRInaute
    Inscrit:
    17 Octobre 2014
    Messages:
    18
    J'aime reçus:
    0
    ok je vais voir pour supprimer les inutiles

    je penses que c est ma base de données qui fait le soucis de lenteur de temps en temps
     
    #7 NikyBee, 28 Juin 2017
  8. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    11 890
    J'aime reçus:
    75
    #8 UsagiYojimbo, 28 Juin 2017
  9. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    20 037
    J'aime reçus:
    531
    #9 WebRankInfo, 28 Juin 2017
  10. NikyBee
    NikyBee Nouveau WRInaute
    Inscrit:
    17 Octobre 2014
    Messages:
    18
    J'aime reçus:
    0
    #10 NikyBee, 28 Juin 2017
(Vous devez vous identifier ou vous inscrire pour poster ici.)
Chargement...
Similar Threads - Crawl Robots Forum Date
Urls orphelines crawlées par Google + Robots.txt ? Crawl et indexation Google, sitemaps 3 Avril 2020
Crawl, indexation, robots.txt : les mystères de Google expliqués Crawl et indexation Google, sitemaps 10 Juin 2013
Robots.txt, webmaster tool google, crawl Crawl et indexation Google, sitemaps 9 Avril 2010
Crawl prédictif Google : pourquoi c'est majeur en SEO Techniques avancées de référencement 17 Décembre 2020
Search Console Suivi du crawl Google (Statistiques sur l'exploration) Crawl et indexation Google, sitemaps 9 Décembre 2020
Comment éviter un piège à bots avec un crawler ? Crawl et indexation Google, sitemaps 3 Décembre 2020
Pas de nouveau "crawl" sur une page récente, pourquoi ? Crawl et indexation Google, sitemaps 17 Novembre 2020
Crawl Screaming Frog : comment interpréter ces données ? Crawl et indexation Google, sitemaps 8 Octobre 2020
Search Console Suppression de sous domaines + stop crawl ? Crawl et indexation Google, sitemaps 27 Juillet 2020
Qwant : une étude du crawl Autres moteurs de recherche connus 7 Juillet 2020