Capacité d'un fichier robots.txt?

[passion]

Bonjour,
J'ai fait de grosses transformations dans mon nouveau site avec la réécriture d'urls. Cependant il est hébergé sur un serveur Microsoft et j'ai eu beaucoup de mal à faire ma réécriture car il y a trés peu d'explications à ce sujet!!
(C'était une parenthèse qui amène au sujet de mon poste)
J'ai en tout rééllement ~10 000 pages indexables mais à la réalisation de mon sitemap, il m'en avait sorti le double!! ...ces liens défectueux proviennent de N° des pages manquantes--->donc delà, j'ai réussi à les soustraire de mon sitemap et je les ai rajouté dans mon robots.txt!
Je viens à l'instant de contrôler dans mon espace Google si il avait pris mon nouveau robots.txt.....c'est bon...mais par contre, il me précise que l'affichage est limité à 5 000caractères!!!

Dois-je en déduire que mon fichier robots.txt est tronqué? y'a -t-il une capacité max dans sa réalisation?

Pour augmenter mes chances de ne pas indexer ces pages défectueuses, j'ai fait un plan.html sur mon site, fichier robots.txt et sitemap.xml-->pensez-vous que cela soit suffisant??
Merci

 

[mowmow]

Tu devrais essayer de renvoyer une erreur 404 sur ces pages défectueuses au lieu de tout mettre dans robots.txt, ca allourdirais vachement moins Surtout ca serait plus simple et ca règlerait ton problème.

 

[passion]

Et de renvoyer une erreur 404 éviterai les moteurs de les indexer?
Parce qu'à l'heure actuelle, cela m'affiche des erreurs Mysql

 

[KOogar]

Et de renvoyer une erreur 404 éviterai les moteurs de les indexer?
Parce qu'à l'heure actuelle, cela m'affiche des erreurs Mysql

Non, ils reviendrons !


Pour ne plus qu'ils reviennent :

header("Status: 410 Gone", false, 410);
exit();

Plus d'info : https://www.webrankinfo.com/referencemen ... ctions.php