problème robot référencement

Discussion dans 'Problèmes de référencement spécifiques à vos sites' créé par Webtender, 30 Juin 2016.

  1. Webtender

    Webtender Nouveau WRInaute

    Inscrit:
    30 Juin 2016
    Messages:
    1
    J'aime reçus:
    0
    Bonjour à tous,



    Voilà j'ai un site assez important (avec + de 4.000 pages) qui est visité par de nombreux internautes mais très mal référencé...



    J'avais mis un fichier "robots" à la racine du site avec la commande 'Disallow:/'  mais j'ai l'impression qu'aujourd'hui ça empêche beaucoup trop le référencement du site !


    Avec tous les progrès de l'informatique et l'avancée du Web, je me disais : 

    - aujourd'hui il doit bien exister une instruction qui n'autorise que certains moteurs de recherche et qui bloque donc automatiquement tous les autres...



    Ça doit bien exister ???



    Merci de vos commentaires    ;o)



    Bonne journée
     
  2. spout

    spout WRInaute accro

    Inscrit:
    14 Mai 2003
    Messages:
    8 666
    J'aime reçus:
    2
    Non il faut être explicite dans la liste de ceux à disallow.

    En quoi ça pose problème? Les robots qui font ch*ier ils respectent qd même pas ce robots.txt.
     
  3. UsagiYojimbo

    UsagiYojimbo WRInaute accro

    Inscrit:
    23 Novembre 2005
    Messages:
    12 380
    J'aime reçus:
    0
    Tu empêches tous les moteurs, Google inclus, de crawler le site, pas étonnant que le SEO s'en ressente. Et comme le dit spout, tu peux oublier le robots.txt pour les moteurs et crawler sauvages, qui de toutes façons ne le respectent pas.

    Après, tu as quand même la solution, pour ceux qui respectent le robots.txt de faire :

    En doublant le premier bloc pour chaque moteur que tu veux autoriser. Mais comme dit plus haut, tous ne respectent pas le fichier.