Bien créer mon fichier robots.txt

Discussion dans 'Débuter en référencement' créé par Absot, 15 Juin 2012.

  1. Absot
    Absot Nouveau WRInaute
    Inscrit:
    15 Juin 2012
    Messages:
    2
    J'aime reçus:
    0
    Bonjour, j'ai mis en ligne il y a environ 2 mois mon site personnel avec un fichier robots.txt à la racine de mon serveur web.

    Seulement, lorsque je tape mon nom et prénom dans le moteur de recherche de Google, je ne vois pas apparaître mon site alors qu'au début, avant que je déploiement mon contenu, j'avais seulement déposé un fichier .html et je le trouvais bien.

    J'en viens à me demander si mon fichier robots.txt est correctement formé.

    Voici ce fichier :
    Code:
    User-agent: *
    Disallow: /actualites/
    Disallow: /auth/
    Disallow: /categorie/
    Disallow: /commentaire/
    Disallow: /entreprise/
    Disallow: /erreur/
    Disallow: /genre/
    Disallow: /liens/
    Disallow: /moderation/
    Disallow: /projet/
    Disallow: /serveur/
    Disallow: /statistiques/
    Disallow: /tutoriel/
    Disallow: /type-publication/
    Disallow: /utilisateur/
    
    En gros, je veux seulement autoriser le contrôleur index (mon site est développé avec Zend Framework).

    Que faut-il que je change?

    Voici l'adresse de mon site web : http://www.aurelien-laval.fr
    Et celle du fichier robots.txt : http://www.aurelien-laval.fr/robots.txt

    Merci de vos réponses.
     
  2. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    11 883
    J'aime reçus:
    73
    Depuis Webmaster Tools, tu peux tester chacune de tes url et vérifier si le bot y a ou non accès, en fonction des directives du robots.txt
     
  3. Absot
    Absot Nouveau WRInaute
    Inscrit:
    15 Juin 2012
    Messages:
    2
    J'aime reçus:
    0
    Je viens d'utiliser Webmaster Tools et je n'ai aucune erreur, j'ai essayé avec quelques URLs et il semblerait qu'il les trouve sans problème.
     
Chargement...
Similar Threads - créer fichier robots Forum Date
Creér un site d'hébergement de fichier, est ce légal? Droit du web (juridique, fiscalité...) 17 Avril 2015
Créer fichier header.php Débuter en référencement 8 Avril 2014
backup sql, importer un fichier dump pour recréer une table sql Administration d'un site Web 31 Mars 2014
Créer table temporaire ou fichier temporaire Développement d'un site Web ou d'une appli mobile 2 Février 2011
Créer une page ou une rubrique "citation", bonne idée ? Débuter en référencement 21 Juin 2020
Créer un article annuaire avec liens externes Débuter en référencement 11 Juin 2020
Comment créer des URL propres pour les pages résultats Problèmes de référencement spécifiques à vos sites 19 Avril 2020
E-commerce: Créer un collection sans l'intégrer sur la page d'accueil Débuter en référencement 3 Avril 2020
WordPress Créer un sitemap simple pour Google Débuter en référencement 9 Mars 2020
Supprimer un site pour créer une copie = risque de "duplicate" ? Crawl et indexation Google, sitemaps 1 Mars 2020
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice