Limites du fichier robots.txt 100 lignes pour GOOGLE

Discussion dans 'Crawl et indexation Google, sitemaps' créé par afrolatino.net, 16 Juillet 2005.

  1. afrolatino.net
    afrolatino.net WRInaute discret
    Inscrit:
    27 Mai 2004
    Messages:
    62
    J'aime reçus:
    0
    Supprimer des pages, des sous-répertoires ou des images à l'aide d'un fichier robots.txt.
    http://services.google.com:8882/urlconsole/controller

    J'ai testé la fonctionnalité de suppression d'url par le robots.txt de google
    cela fonctionne tres bien en un peu moins de 24h
    mais par contre il y a une limite de nombre de ligne dans le robots.txt qui est de 102 Lignes
    au dela google nous le signale par un message lors de la soumission du fichier robots.txt

    es ce que cela est une limite particulière de google ou de l'utilisation generale du fichier robots.txt, je fais des recherches mais je n'ai trouve aucune information a ce sujet là ???

    j'ai plus 5700 urls en duplicate content a supprimer
    https://www.google.fr/search?num=100&hl= ... cher&meta=
    et pour l'instant c'est la methode la pus rapide pour les supprimer de l'index de google
     
  2. raspoutine59
    raspoutine59 WRInaute discret
    Inscrit:
    17 Mars 2005
    Messages:
    189
    J'aime reçus:
    0
    LOL t'a qu'a utilisé l'url-rewriting qui dirige toutes les urls que tu veux plus sur un script PHP qui ne fera rien d'autres qu'un redirect permanent
     
  3. Patrice A.
    Patrice A. WRInaute passionné
    Inscrit:
    11 Février 2005
    Messages:
    2 071
    J'aime reçus:
    0
    Une page 404 personnalisée menant sur error.php qui va récupérer le REQUEST_URI et le traiter pour renvoyer la bonne page avec un header 301 aurait été la solution.
     
Chargement...
Similar Threads - Limites fichier robots Forum Date
Limites du fichier robots.txt Crawl et indexation Google, sitemaps 23 Mars 2011
Problèmes de trafic incorrect Annonces Limités AdSense 2 Janvier 2021
[Adwords - Google shopping ] - Limites d'enchère AdWords 12 Janvier 2018
Usages et limites d'un téléphone mobile SANS abonnement Le café de WebRankInfo 11 Mars 2017
Adwords clics illimités AdWords 16 Février 2017
Twitter envoie des messages aux abonnés limités? bons outils? Twitter 2 Octobre 2015
Les limites de la vidéo en HTML5 Développement d'un site Web ou d'une appli mobile 16 Janvier 2014
Les limites d'un compte Google Analytics Google Analytics 29 Mai 2013
Moyens limités pour une page d'accueil Référencement Google 30 Octobre 2012
Où fixez-vous vos limites avec POO ? Dénormalisation. Développement d'un site Web ou d'une appli mobile 19 Mai 2012
Les limites de la géolocalisation Débuter en référencement 18 Février 2012
Limites du nombre de pages indexées par Google pour 1 site Crawl et indexation Google, sitemaps 9 Septembre 2011
[Phpmyadmin] Les limites du concepteur Développement d'un site Web ou d'une appli mobile 24 Mai 2011
Url rewriting : Les limites à ne pas dépasser Débuter en référencement 6 Mai 2011
Les limites de l'efficacité de google Google : l'entreprise, les sites web, les services 25 Avril 2011
Limites de l'API Google Maps - Utilisation Pro ? Développement d'un site Web ou d'une appli mobile 11 Mars 2011
Hébergement dédié - sous-domaine illimités Administration d'un site Web 7 Décembre 2010
avis sur des hébergeurs illimités Administration d'un site Web 6 Octobre 2010
explosion du nombre de clics manqués en raison des limites budgétaires AdWords 4 Octobre 2010
Mes limites d'optimisation sont atteintes, HELP ! Débuter en référencement 13 Septembre 2010