Limites du fichier robots.txt

Discussion dans 'Crawl et indexation Google, sitemaps' créé par XelNaga, 23 Mars 2011.

  1. XelNaga
    XelNaga WRInaute discret
    Inscrit:
    24 Juin 2003
    Messages:
    163
    J'aime reçus:
    0
    Bonjour à tous,

    Suite a une refonte complète d'un site d'actualités, il est est apparu dans les listes des erreurs d'exploration de Google Webmaster Tools un grand nombre de pages en erreur 404.

    Afin de nettoyer ce désordre et ne plus faire apparaitre ces pages dans les moteurs, je souhaite supprimer ces urls de Google. J'aimerais beaucoup utiliser l'outil de suppression d'url disponible via GWT mais celui-ci m'oblige à ajouter mes urls un à un. Bien entendu, j'en ai plusieurs milliers.

    Je me retranche donc vers le Disallow du fichier robots.txt. Cependant, est-ce que le fait d'avoir un fichier robots.txt de 2 Mo comportant plusieurs milliers de lignes peut gêner les moteurs ?

    Quel alternative(s) me proposez-vous ?

    Merci d'avance,
     
  2. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    12 003
    J'aime reçus:
    128
    Tu peux aussi gérer ça directement en en-tête de ton code, en php/asp/jsp/.... Si l'url est inexistante, tu rediriges vers l'url la plus proche via une redirection 301.
     
  3. XelNaga
    XelNaga WRInaute discret
    Inscrit:
    24 Juin 2003
    Messages:
    163
    J'aime reçus:
    0
    C'est déjà le cas, redirection vers la home. Mais en fait, ça ne résout qu'à moitié le problème. L'url est absent de Google mais il reste bel et bien présent dans GWT et ce depuis plusieurs mois.
     
  4. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    12 003
    J'aime reçus:
    128
    GWT a ce niveau ne semble pas mis à jour en temps réel. J'ai sur certains sites des 404 qui ont été corrigé il y a plus d'un an.
     
  5. XelNaga
    XelNaga WRInaute discret
    Inscrit:
    24 Juin 2003
    Messages:
    163
    J'aime reçus:
    0
    Ok super. C'est vachement pratique ça :d

    Merci pour tes réponses ! Je vais donc attendre :d
     
Chargement...
Similar Threads - Limites fichier robots Forum Date
Limites du fichier robots.txt 100 lignes pour GOOGLE Crawl et indexation Google, sitemaps 16 Juillet 2005
Questionnaire : limites de l'utilisation de l'IA en SEO Rédaction web et référencement 31 Mai 2022
Problèmes de trafic incorrect Annonces Limités AdSense 2 Janvier 2021
[Adwords - Google shopping ] - Limites d'enchère AdWords 12 Janvier 2018
Usages et limites d'un téléphone mobile SANS abonnement Le café de WebRankInfo 11 Mars 2017
Adwords clics illimités AdWords 16 Février 2017
Twitter envoie des messages aux abonnés limités? bons outils? Twitter 2 Octobre 2015
Les limites de la vidéo en HTML5 Développement d'un site Web ou d'une appli mobile 16 Janvier 2014
Les limites d'un compte Google Analytics Google Analytics 29 Mai 2013
Moyens limités pour une page d'accueil Référencement Google 30 Octobre 2012
Où fixez-vous vos limites avec POO ? Dénormalisation. Développement d'un site Web ou d'une appli mobile 19 Mai 2012
Les limites de la géolocalisation Débuter en référencement 18 Février 2012
Limites du nombre de pages indexées par Google pour 1 site Crawl et indexation Google, sitemaps 9 Septembre 2011
[Phpmyadmin] Les limites du concepteur Développement d'un site Web ou d'une appli mobile 24 Mai 2011
Url rewriting : Les limites à ne pas dépasser Débuter en référencement 6 Mai 2011
Les limites de l'efficacité de google Google : l'entreprise, les sites web, les services 25 Avril 2011
Limites de l'API Google Maps - Utilisation Pro ? Développement d'un site Web ou d'une appli mobile 11 Mars 2011
Hébergement dédié - sous-domaine illimités Administration d'un site Web 7 Décembre 2010
avis sur des hébergeurs illimités Administration d'un site Web 6 Octobre 2010
explosion du nombre de clics manqués en raison des limites budgétaires AdWords 4 Octobre 2010