Problème GWT et robots.txt

Discussion dans 'Crawl et indexation Google, sitemaps' créé par fanfl, 8 Mai 2011.

  1. fanfl
    fanfl Nouveau WRInaute
    Inscrit:
    28 Septembre 2010
    Messages:
    39
    J'aime reçus:
    0
    Bonsoir,

    j'ai un problème avec les Google Webmasters Tools.
    Depuis que je suis passé à l'URL rewriting, je me prends des Accès restreint par un fichier robots.txt sur des URL ne comprenant aucun des répertoires de mon fichier robots.txt que voici :

    Code:
    User-agent: *
    Disallow: /include/
    Disallow: /js/
    Disallow: /style/
    Disallow: /p3f/
    Disallow: /templates/
    Disallow: /magpierss/
    Disallow: /lang/
    Disallow: /fw/
    Disallow: /crypto/
    Merci pour votre aide
    Cordialement
     
  2. Marie-Aude
    Marie-Aude WRInaute accro
    Inscrit:
    5 Juin 2006
    Messages:
    16 829
    J'aime reçus:
    206
    Et tu fournis la boule de cristal ?
    Parce que sans les urls en erreur, sans l'url du site, etc... je vais appeler madame Irma :)
     
  3. chajia
    chajia Nouveau WRInaute
    Inscrit:
    7 Octobre 2010
    Messages:
    5
    J'aime reçus:
    0
    je pense que les liens seront effacés automatiquement avec le temps le robot va comprendre que les liens n'ont aucune relation avec vos pages. c'est juste une supposition.
     
  4. fanfl
    fanfl Nouveau WRInaute
    Inscrit:
    28 Septembre 2010
    Messages:
    39
    J'aime reçus:
    0
    Je voulais éviter de balancer les URL, pensant que je ratais peut être une règle générale.

    Voici les URLs (au NDD près) :

    Merci
    Bonne nuit
     
  5. Marie-Aude
    Marie-Aude WRInaute accro
    Inscrit:
    5 Juin 2006
    Messages:
    16 829
    J'aime reçus:
    206
    Sans l'url du site qui permet d'aller voir, totalement inutile
    Bonne nuit
     
  6. fanfl
    fanfl Nouveau WRInaute
    Inscrit:
    28 Septembre 2010
    Messages:
    39
    J'aime reçus:
    0
    Très bien, je ne pensais pas que je pouvais :) donc : www.footballamericain.com
    merci
     
  7. Marie-Aude
    Marie-Aude WRInaute accro
    Inscrit:
    5 Juin 2006
    Messages:
    16 829
    J'aime reçus:
    206
    Bon la première est en erreur 404
    Elle est censée vraiment exister ?
     
  8. fanfl
    fanfl Nouveau WRInaute
    Inscrit:
    28 Septembre 2010
    Messages:
    39
    J'aime reçus:
    0
    Tout d'abord merci pour ton temps.

    Je prends les 2 premières URL de la liste que tu as modifiée :
    http://www.footballamericain.com/index.php?p=team&t=SF&e=49ers-san-francisco --> fait un 301
    http://www.footballamericain.com/nfl/actualites.php?r=3534&t=2&d=0 --> fait un 410

    Dans les deux cas, pas de 404 donc je ne te suis pas trop là :(

    En gros, les actualites.php font toujours des 301 (si l'équivalent "url réécrit" existe) ou des 410 (pas de correspondance).

    merci
     
  9. Marie-Aude
    Marie-Aude WRInaute accro
    Inscrit:
    5 Juin 2006
    Messages:
    16 829
    J'aime reçus:
    206
    Quand je cliques sur le premier lien de ta liste, j'ai un 404
    Essaie en étant déconnecté de ton CMS ^^

    (ce qui peut être une raison des problèmes de crawl)
     
  10. fanfl
    fanfl Nouveau WRInaute
    Inscrit:
    28 Septembre 2010
    Messages:
    39
    J'aime reçus:
    0
    Bon je suis scié là.
    Avant j'étais chez moi, là je suis au taff. Avec Chrome en mode "privé", je n'ai pas de session ouverte spécifique. Je suis redirigé en 301 vers http://www.footballamericain.com/nfl/san-francisco-49ers .

    J'ai essayé avec FFX, Chrome et IE7. Quelque chose m'échappe mais je ne vois pas quoi...
     
  11. fanfl
    fanfl Nouveau WRInaute
    Inscrit:
    28 Septembre 2010
    Messages:
    39
    J'aime reçus:
    0
  12. Marie-Aude
    Marie-Aude WRInaute accro
    Inscrit:
    5 Juin 2006
    Messages:
    16 829
    J'aime reçus:
    206
    Oui c'est bien la réponse.

    Tu ne peux pas plutôt faire une redirection 301 ?
     
  13. fanfl
    fanfl Nouveau WRInaute
    Inscrit:
    28 Septembre 2010
    Messages:
    39
    J'aime reçus:
    0
    Merci Marie-Aude :)
    Ca me rassure. J'ai lu sur un forum de google qu'un gars avait eu le même problème que moi et du jour au lendemain, tout avait disparu. Je vais donc patienter.

    Non, il s'agit bien de 410 pour toute une série de pages. 301 pour d'autres. :)

    A bientôt
     
Chargement...
Similar Threads - Problème GWT robots Forum Date
Problème avec le remplacement d'un site depuis le GWT Crawl et indexation Google, sitemaps 11 Août 2013
[Crawl/GWT] Problème avec certains blogs Google : l'entreprise, les sites web, les services 7 Février 2013
Téléchargement des données GWT et problème avec lettres accentuées Google Analytics 23 Octobre 2012
Problème GWT et changement nom domaine Crawl et indexation Google, sitemaps 26 Avril 2012
Googlebot : problèmes d'exploration dans GWT Crawl et indexation Google, sitemaps 17 Janvier 2012
Pages dans GWT qui n'existent pas. Problème duplicate ? Référencement Google 20 Janvier 2009
Problème GWT? Crawl et indexation Google, sitemaps 16 Mars 2008
GWT caractere avec accent en probleme Crawl et indexation Google, sitemaps 13 Mars 2008
WordPress Problème affichage style avec Elementor (titre, bordures, separateur) Administration d'un site Web Lundi à 12:12
Problème d'indexation de backlinks Débuter en référencement 24 Juillet 2022
Problème d'indexation de backlinks Problèmes de référencement spécifiques à vos sites 21 Juillet 2022
Probleme de visibilité de ma page Facebook Facebook 5 Juillet 2022
problème avec le développeur Droit du web (juridique, fiscalité...) 22 Juin 2022
Problème désindexation des pages de Google Débuter en référencement 21 Juin 2022
Problème d'indexation de pages sur Google Problèmes de référencement spécifiques à vos sites 31 Mai 2022
problème de redirection non souhaitée Administration d'un site Web 28 Avril 2022
Problème d'indexation Produits Prestashop Crawl et indexation Google, sitemaps 28 Avril 2022
Problème d'affichage des campagnes Google Ads dans un tableau de bord Data Studio AdWords 26 Avril 2022
Problème de vitesse d'affichage des pages sur Analytics Google Analytics 26 Avril 2022
Problème : Google Crawl et Index des pages en No Index et bloqué par le robot.txt Crawl et indexation Google, sitemaps 26 Avril 2022