Problème robots.txt

Discussion dans 'Débuter en référencement' créé par hakazizi, 17 Mai 2010.

  1. hakazizi
    hakazizi Nouveau WRInaute
    Inscrit:
    22 Décembre 2005
    Messages:
    43
    J'aime reçus:
    0
    sur mon compte google certainne page sont apparu spontanément celle-ci n'existe pas et je n'est jamais fais de lien vers celle-ci puisqu'elle n'existe pas.
    2 point.
    le robots.txt m'affiche
    Le pire dans tous cela c'est que google ignore totalement mon robots.txt je ne comprend plus
    j'ai essayer avec sans saut de ligne et cela est pareil...
    merci
    dans le comptes google
    mon robots.txt
    Code:
    User-agent: *
    
    Disallow: /admin/
    Disallow: /intl/
    Disallow: /moteur1.php
    Disallow: /q=
    Disallow: /quality_form?
    Disallow: /savon-alep.php
    Disallow: /search
    Disallow: /services/
    Disallow: /swr
     
  2. HawkEye
    HawkEye WRInaute accro
    Inscrit:
    23 Février 2004
    Messages:
    13 857
    J'aime reçus:
    5
    >> gère-les avec des 404 ou des 301 ;)
     
  3. hakazizi
    hakazizi Nouveau WRInaute
    Inscrit:
    22 Décembre 2005
    Messages:
    43
    J'aime reçus:
    0
    le problème c'est qu'il y a près de 300 url différentes je vais pas faire 300 pages ou un rewritte sur 300 pages.
    Ce qui m'inquiète le plus c'est le robots.txt qui ne fonctionne plus donc.
     
  4. jeanluc
    jeanluc WRInaute accro
    Inscrit:
    3 Mai 2004
    Messages:
    2 875
    J'aime reçus:
    0
    Deux remarques:
    - Il ne peut pas y avoir de ligne vide entre la ligne "User-agent:" et les lignes commençant par "Disallow:"
    - le point d'interrogation qui commence ta ligne 1 dans ton compte Google indique peut-être que ton encodage du robots.txt n'est pas bon (ça doit être un fichier texte standard, édité avec Notepad sans caractères de contrôle et sans UTF-8).

    Jean-Luc
     
  5. hakazizi
    hakazizi Nouveau WRInaute
    Inscrit:
    22 Décembre 2005
    Messages:
    43
    J'aime reçus:
    0
    Merci je viens de changé l'encodage qui était en utf-8 je viens de le changer en Unicode et si cela ne fonctionne pas je le changerais en ANSI. J'ai utilise le bloc note pour le rédiger.
    Il n'y a plus qu’à attendre Google...
    quand a la ligne vide entre le user agent et le disallow je la met et la retire sans plus de succès.
    je viens de la retiré.
     
Chargement...
Similar Threads - Problème robots Forum Date
Problèmes d'indexation et robots.txt Crawl et indexation Google, sitemaps 14 Octobre 2019
Problèmes d'indexation à cause de ressources bloquées (robots.xt) Crawl et indexation Google, sitemaps 22 Novembre 2018
Passage en https et problème robots.txt dans Google Search Console Débuter en référencement 26 Mars 2018
Problème robots Débuter en référencement 7 Décembre 2017
Balisage des informations relatives à l'auteur non validé et problème avec robots.txt Débuter en référencement 11 Décembre 2014
Problème fichier robots.txt Problèmes de référencement spécifiques à vos sites 3 Novembre 2014
Problème Robots.txt et sitemap Débuter en référencement 13 Juillet 2014
Petit problème avec robots.txt et outil des webmasters Débuter en référencement 30 Juin 2014
Problème avec robots.txt Crawl et indexation Google, sitemaps 8 Janvier 2014
Problème avec mon robots.txt Débuter en référencement 25 Mars 2013
Problème de robots.txt Problèmes de référencement spécifiques à vos sites 19 Décembre 2012
Problèmes indexation => fichiers robots.txt pourtant ok Crawl et indexation Google, sitemaps 17 Décembre 2012
Probleme fichier robots et google. Problèmes de référencement spécifiques à vos sites 10 Décembre 2012
Probleme robots.txt Crawl et indexation Google, sitemaps 9 Décembre 2012
Probléme robots.txt Crawl et indexation Google, sitemaps 13 Juillet 2012
Problème d'indexation : robots.txt Crawl et indexation Google, sitemaps 27 Avril 2012
Problème GWT et robots.txt Crawl et indexation Google, sitemaps 8 Mai 2011
Probleme sitemap / robots.txt inaccessible Problèmes de référencement spécifiques à vos sites 26 Août 2010
REFERER désactivé : problème pour les robots d'indexations ? Développement d'un site Web ou d'une appli mobile 30 Mars 2010
Problème avec le fichier robots.txt Référencement Google 11 Mars 2010