Crawl Robots.TXT

Discussion dans 'Crawl et indexation Google, sitemaps' créé par NikyBee, 28 Juin 2017.

Tags:
  1. NikyBee
    NikyBee Nouveau WRInaute
    Inscrit:
    17 Octobre 2014
    Messages:
    18
    J'aime reçus:
    0
    Bonjour,

    Google crawl toujours mon ancien robots.txt

    A chaque fois il me sort en erreur mes vielles pages de mon site web.

    J'ai basculé mon site en https au mois de mars 2017.

    Pensez vous que c cela qui pose le problème

    Le problème est identique avec bing qui vient de me desindexer depuis ma bascule en https

    Merci de votre aide

    Mon url www.1001chaussures.com

    Niky
     
    #1 NikyBee, 28 Juin 2017
  2. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    19 318
    J'aime reçus:
    389
    le robots.txt de ton https ne sert à rien : la ligne "User-Agent: *" n'est pas suivie d'une instruction de type Disallow donc inutile
    et mieux vaut déclarer tes sitemaps dans search console, pas ici

    ça donne quoi quand tu demandes à Google de venir crawler ce robots.txt ?

    PS : y'a un paquet de pb remontés par l'audit RM Tech...
     
    #2 WebRankInfo, 28 Juin 2017
  3. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    11 878
    J'aime reçus:
    73
    Tes metas sont à revoir : plusieurs sont inutiles ou non conformes (la meta googlebot n'existe pas).

    Et les temps de réponse du site sont assez mauvais, je regarderais aussi de ce côté.
     
    #3 UsagiYojimbo, 28 Juin 2017
  4. NikyBee
    NikyBee Nouveau WRInaute
    Inscrit:
    17 Octobre 2014
    Messages:
    18
    J'aime reçus:
    0
    mes sitemaps sont bien déclaré dans search console
    et quand je fais explorer par google il affiche bien le bon robots.Txt
     
    #4 NikyBee, 28 Juin 2017
  5. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    11 878
    J'aime reçus:
    73
    Je sais pas comment tu as gérés tes redirections lors de la bascule, mais le robots.txt en http n'est pas redirigé. Déjà, il me semble y avoir là un souci.
     
    #5 UsagiYojimbo, 28 Juin 2017
  6. NikyBee
    NikyBee Nouveau WRInaute
    Inscrit:
    17 Octobre 2014
    Messages:
    18
    J'aime reçus:
    0
    ok je vais regarder cela mais quand je le met en https il s affiche

    Merci c est deja une premiere piste
     
    #6 NikyBee, 28 Juin 2017
  7. NikyBee
    NikyBee Nouveau WRInaute
    Inscrit:
    17 Octobre 2014
    Messages:
    18
    J'aime reçus:
    0
    ok je vais voir pour supprimer les inutiles

    je penses que c est ma base de données qui fait le soucis de lenteur de temps en temps
     
    #7 NikyBee, 28 Juin 2017
  8. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    11 878
    J'aime reçus:
    73
    #8 UsagiYojimbo, 28 Juin 2017
  9. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    19 318
    J'aime reçus:
    389
    #9 WebRankInfo, 28 Juin 2017
  10. NikyBee
    NikyBee Nouveau WRInaute
    Inscrit:
    17 Octobre 2014
    Messages:
    18
    J'aime reçus:
    0
    #10 NikyBee, 28 Juin 2017
(Vous devez vous identifier ou vous inscrire pour poster ici.)
Chargement...
Similar Threads - Crawl Robots Forum Date
Crawl, indexation, robots.txt : les mystères de Google expliqués Crawl et indexation Google, sitemaps 10 Juin 2013
Robots.txt, webmaster tool google, crawl Crawl et indexation Google, sitemaps 9 Avril 2010
Le Crawl Delay dans le fichier robots.txt pour ralentir MSNbot Référencement Bing 13 Août 2009
Empecher le crawl d'un lien avec robots.txt Netlinking, backlinks, liens et redirections 2 Avril 2009
Crawl et indexation de certaines pages Débuter en référencement 30 Décembre 2019
Pages crawlées mais non indexées Crawl et indexation Google, sitemaps 9 Décembre 2019
Impact des crawlers sur le taux de rebond et le référencement Crawl et indexation Google, sitemaps 19 Septembre 2019
Ne pas rendre crawlable le menu ? Référencement Google 15 Septembre 2019
Probleme avec le crawl Mobile sur Search Console Crawl et indexation Google, sitemaps 14 Septembre 2019
Crawler un site volumineux Crawl et indexation Google, sitemaps 4 Septembre 2019
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Accepter En savoir plus.
    Rejeter la notice