Problème robot référencement

Discussion dans 'Problèmes de référencement spécifiques à vos sites' créé par Webtender, 30 Juin 2016.

  1. Webtender
    Webtender Nouveau WRInaute
    Inscrit:
    30 Juin 2016
    Messages:
    1
    J'aime reçus:
    0
    Bonjour à tous,



    Voilà j'ai un site assez important (avec + de 4.000 pages) qui est visité par de nombreux internautes mais très mal référencé...



    J'avais mis un fichier "robots" à la racine du site avec la commande 'Disallow:/'  mais j'ai l'impression qu'aujourd'hui ça empêche beaucoup trop le référencement du site !


    Avec tous les progrès de l'informatique et l'avancée du Web, je me disais : 

    - aujourd'hui il doit bien exister une instruction qui n'autorise que certains moteurs de recherche et qui bloque donc automatiquement tous les autres...



    Ça doit bien exister ???



    Merci de vos commentaires    ;o)



    Bonne journée
     
  2. spout
    spout WRInaute accro
    Inscrit:
    14 Mai 2003
    Messages:
    8 841
    J'aime reçus:
    249
    Non il faut être explicite dans la liste de ceux à disallow.

    En quoi ça pose problème? Les robots qui font ch*ier ils respectent qd même pas ce robots.txt.
     
  3. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    11 875
    J'aime reçus:
    72
    Tu empêches tous les moteurs, Google inclus, de crawler le site, pas étonnant que le SEO s'en ressente. Et comme le dit spout, tu peux oublier le robots.txt pour les moteurs et crawler sauvages, qui de toutes façons ne le respectent pas.

    Après, tu as quand même la solution, pour ceux qui respectent le robots.txt de faire :

    En doublant le premier bloc pour chaque moteur que tu veux autoriser. Mais comme dit plus haut, tous ne respectent pas le fichier.
     
Chargement...
Similar Threads - Problème robot référencement Forum Date
Problèmes d'indexation et robots.txt Crawl et indexation Google, sitemaps 14 Octobre 2019
Problèmes d'indexation à cause de ressources bloquées (robots.xt) Crawl et indexation Google, sitemaps 22 Novembre 2018
Désindexation sites suite à un problème robot spam Crawl et indexation Google, sitemaps 13 Septembre 2018
Passage en https et problème robots.txt dans Google Search Console Débuter en référencement 26 Mars 2018
Problème robots Débuter en référencement 7 Décembre 2017
Problème de balise meta robot Débuter en référencement 9 Septembre 2016
Balisage des informations relatives à l'auteur non validé et problème avec robots.txt Débuter en référencement 11 Décembre 2014
Problème fichier robots.txt Problèmes de référencement spécifiques à vos sites 3 Novembre 2014
Problème Robots.txt et sitemap Débuter en référencement 13 Juillet 2014
Petit problème avec robots.txt et outil des webmasters Débuter en référencement 30 Juin 2014
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice