Google ne respecte pas les robots.txt ?

Discussion dans 'Problèmes de référencement spécifiques à vos sites' créé par bielle64, 8 Septembre 2003.

  1. bielle64
    bielle64 WRInaute discret
    Inscrit:
    19 Janvier 2003
    Messages:
    202
    J'aime reçus:
    0
    Je viens de me rendre combte que Google a indexé un grand nombre de pages de mon site avec des liens php du type :
    www.ossau.net/ossau/viewtopic.php?p=975
    alors que j'ai bien mis dans mon robots.txt : Disallow: /ossau/viewtopic.php

    Google ne respecte pas les robots.txt ??
     
  2. mahefarivony
    mahefarivony WRInaute accro
    Inscrit:
    14 Octobre 2002
    Messages:
    8 081
    J'aime reçus:
    0
  3. Mirgolth
    Mirgolth WRInaute occasionnel
    Inscrit:
    14 Octobre 2002
    Messages:
    417
    J'aime reçus:
    0
    Salut,

    Ta syntaxe n'est pas bonne. Retire la ligne vide entre User-agent: et Disallow: et cela ira mieux.

    Mirgolth
     
  4. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    20 889
    J'aime reçus:
    844
    je ne savais pas que les lignes vides pouvaient poser problème ! c'est dans le standard du robots.txt ?
     
  5. Mirgolth
    Mirgolth WRInaute occasionnel
    Inscrit:
    14 Octobre 2002
    Messages:
    417
    J'aime reçus:
    0
    Oui, les lignes vides servent à séparer les enregistrements ( records) composés de lignes User-agents et Disallow. Voilà les lignes correspondantes dans A Standard for Robot Exclusion vers lequel Google pointe :
    Donc après une ligne vide on doit avoir une ligne User-agent.

    Mirgolth
     
  6. bielle64
    bielle64 WRInaute discret
    Inscrit:
    19 Janvier 2003
    Messages:
    202
    J'aime reçus:
    0
    Merci Mirgolth, je corrige illico mon robots.txt
     
  7. bielle64
    bielle64 WRInaute discret
    Inscrit:
    19 Janvier 2003
    Messages:
    202
    J'aime reçus:
    0
  8. mahefarivony
    mahefarivony WRInaute accro
    Inscrit:
    14 Octobre 2002
    Messages:
    8 081
    J'aime reçus:
    0
    bin pourquoi pas
     
  9. bielle64
    bielle64 WRInaute discret
    Inscrit:
    19 Janvier 2003
    Messages:
    202
    J'aime reçus:
    0
    Ben je pensais qu'un fichier robots.txt n'avait qu'une valeur informative à l'usage des spiders. Donc, à mon sens, s'il est indexé c'est qu'il est pris pour une page web et donc pas exécuté.
     
Chargement...
Similar Threads - Google respecte robots Forum Date
Les robots ne respectent plus le fichier robots.txt, google, bing, voilà Problèmes de référencement spécifiques à vos sites 11 Janvier 2013
Google Image ne respecte pas mon robots.txt Problèmes de référencement spécifiques à vos sites 11 Juillet 2006
Google ne respecte pas mon robots.txt! Débuter en référencement 19 Décembre 2005
Logo Google+ : attention de respecter le design! Google+ 6 Octobre 2014
Votre site ne respecte pas les consignes Google relatives à la qualité Problèmes de référencement spécifiques à vos sites 1 Avril 2014
Duplicate dû à antériorité non respectée par Google Référencement Google 19 Novembre 2012
Les liens nofollow internes sont respectés par Google Netlinking, backlinks, liens et redirections 30 Septembre 2008
Google ne respecte pas noindex et les consignes du robot.txt Référencement Google 8 Septembre 2005
Google respecte les copyrights! Crawl et indexation Google, sitemaps 25 Mars 2005
Comment faire respecter mon nom de domaine chez google? Référencement Google 31 Juillet 2002
Miniature SERP Google (ou Bing) Référencement Google Hier à 06:04
Page signalée bloquée par ma Console Google Search Débuter en référencement Dimanche à 18:29
Probleme tag sur Google tag manager Demandes d'avis et de conseils sur vos sites 24 Novembre 2022
Indexer mon site dans google Problèmes de référencement spécifiques à vos sites 24 Novembre 2022
Probleme Tag sur Google Tag Manager Google Analytics 18 Novembre 2022
Search Console Temps de prise en compte par Google de la disparition de liens Netlinking, backlinks, liens et redirections 9 Novembre 2022
Google API Translation - Billing Bug !! Droit du web (juridique, fiscalité...) 31 Octobre 2022
Mise à jour de l’algorithme Google Spam d’octobre 2022 Référencement Google 22 Octobre 2022
Google confond site officiel et site copie fake : comment faire ? Référencement Google 16 Octobre 2022
Astuce Comment indexer un site créé par Google site ? Rédaction web et référencement 13 Octobre 2022