Vous utilisez un navigateur non à jour ou ancien. Il ne peut pas afficher ce site ou d'autres sites correctement. Vous devez le mettre à jour ou utiliser un navigateur alternatif.
Le fichier robots.txt ne rend pas l'indexation impossible, le crawl est impossible par contre.
Avec cette balise, meta robots, le crawl est possible mais l'indexation ne l'est pas : voila le but recherché.