Crawl Robots.TXT

Discussion dans 'Crawl et indexation Google, sitemaps' créé par NikyBee, 28 Juin 2017.

Tags:
  1. NikyBee
    NikyBee Nouveau WRInaute
    Inscrit:
    17 Octobre 2014
    Messages:
    21
    J'aime reçus:
    0
    Bonjour,

    Google crawl toujours mon ancien robots.txt

    A chaque fois il me sort en erreur mes vielles pages de mon site web.

    J'ai basculé mon site en https au mois de mars 2017.

    Pensez vous que c cela qui pose le problème

    Le problème est identique avec bing qui vient de me desindexer depuis ma bascule en https

    Merci de votre aide

    Mon url www.1001chaussures.com

    Niky
     
    #1 NikyBee, 28 Juin 2017
  2. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    20 673
    J'aime reçus:
    750
    le robots.txt de ton https ne sert à rien : la ligne "User-Agent: *" n'est pas suivie d'une instruction de type Disallow donc inutile
    et mieux vaut déclarer tes sitemaps dans search console, pas ici

    ça donne quoi quand tu demandes à Google de venir crawler ce robots.txt ?

    PS : y'a un paquet de pb remontés par l'audit RM Tech...
     
    #2 WebRankInfo, 28 Juin 2017
  3. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    11 973
    J'aime reçus:
    121
    Tes metas sont à revoir : plusieurs sont inutiles ou non conformes (la meta googlebot n'existe pas).

    Et les temps de réponse du site sont assez mauvais, je regarderais aussi de ce côté.
     
    #3 UsagiYojimbo, 28 Juin 2017
  4. NikyBee
    NikyBee Nouveau WRInaute
    Inscrit:
    17 Octobre 2014
    Messages:
    21
    J'aime reçus:
    0
    mes sitemaps sont bien déclaré dans search console
    et quand je fais explorer par google il affiche bien le bon robots.Txt
     
    #4 NikyBee, 28 Juin 2017
  5. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    11 973
    J'aime reçus:
    121
    Je sais pas comment tu as gérés tes redirections lors de la bascule, mais le robots.txt en http n'est pas redirigé. Déjà, il me semble y avoir là un souci.
     
    #5 UsagiYojimbo, 28 Juin 2017
  6. NikyBee
    NikyBee Nouveau WRInaute
    Inscrit:
    17 Octobre 2014
    Messages:
    21
    J'aime reçus:
    0
    ok je vais regarder cela mais quand je le met en https il s affiche

    Merci c est deja une premiere piste
     
    #6 NikyBee, 28 Juin 2017
  7. NikyBee
    NikyBee Nouveau WRInaute
    Inscrit:
    17 Octobre 2014
    Messages:
    21
    J'aime reçus:
    0
    ok je vais voir pour supprimer les inutiles

    je penses que c est ma base de données qui fait le soucis de lenteur de temps en temps
     
    #7 NikyBee, 28 Juin 2017
  8. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    11 973
    J'aime reçus:
    121
    #8 UsagiYojimbo, 28 Juin 2017
  9. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    20 673
    J'aime reçus:
    750
    #9 WebRankInfo, 28 Juin 2017
  10. NikyBee
    NikyBee Nouveau WRInaute
    Inscrit:
    17 Octobre 2014
    Messages:
    21
    J'aime reçus:
    0
    #10 NikyBee, 28 Juin 2017
(Vous devez vous identifier ou vous inscrire pour poster ici.)
Chargement...
Similar Threads - Crawl Robots Forum Date
Urls filtrées indexées et crawl robots.txt Crawl et indexation Google, sitemaps 19 Mai 2021
Urls orphelines crawlées par Google + Robots.txt ? Crawl et indexation Google, sitemaps 3 Avril 2020
Crawl, indexation, robots.txt : les mystères de Google expliqués Crawl et indexation Google, sitemaps 10 Juin 2013
Robots.txt, webmaster tool google, crawl Crawl et indexation Google, sitemaps 9 Avril 2010
Le Crawl Delay dans le fichier robots.txt pour ralentir MSNbot Référencement Bing 13 Août 2009
Empecher le crawl d'un lien avec robots.txt Netlinking, backlinks, liens et redirections 2 Avril 2009
Robots.txt et crawling Crawl et indexation Google, sitemaps 16 Mars 2007
Il ne crawl que le robots.txt Problèmes de référencement spécifiques à vos sites 18 Juillet 2005
Problème : Google Crawl et Index des pages en No Index et bloqué par le robot.txt Crawl et indexation Google, sitemaps 26 Avril 2022
Crawler une url présente dans un select Développement d'un site Web ou d'une appli mobile 28 Mars 2022
Questions URL canonique, crawl et indexation Débuter en référencement 25 Mars 2022
Liens internes invisibles pour les crawlers Demandes d'avis et de conseils sur vos sites 7 Décembre 2021
Budget Crawl Google pour un gros site Crawl et indexation Google, sitemaps 18 Novembre 2021
Problème récent de Crawl Google Crawl et indexation Google, sitemaps 7 Juillet 2021
faut-il activer les URL image ou éviter pour économiser le crawl Référencement Google 21 Juin 2021
Signaler aux crawler de ne pas suivre un lien qui nécessite une connexion Crawl et indexation Google, sitemaps 9 Juin 2021
Crawl et indexation Landing Page (site en création) Débuter en référencement 25 Mars 2021
Critères de tri en GET et budget crawl Référencement Google 25 Février 2021
Stimuler GoogleBot pour crawler de nouvelles pages Crawl et indexation Google, sitemaps 24 Janvier 2021
Crawl prédictif Google : pourquoi c'est majeur en SEO Techniques avancées de référencement 17 Décembre 2020