1. ⭐⭐⭐ Grosse PROMO en cours sur ma plateforme SEO My Ranking Metrics
    Rejeter la notice

Empecher le crawl d'un lien avec robots.txt

Discussion dans 'Netlinking, backlinks, liens et redirections' créé par dumbel, 2 Avril 2009.

  1. dumbel
    dumbel WRInaute discret
    Inscrit:
    30 Mai 2005
    Messages:
    187
    J'aime reçus:
    0
    Bonjour,

    je souhaiterais ne pas utiliser le rel=nofollow pour l'un des liens externes de mon site.
    J'ai donc eu l'idée d'empêcher le crawl de ce lien par l'intermédiaire du "robots.txt" du style:

    Disallow: http://www.lelienexterne.tld/page.html

    J'ai bon :?:
     
  2. jeanluc
    jeanluc WRInaute accro
    Inscrit:
    3 Mai 2004
    Messages:
    2 883
    J'aime reçus:
    0
    Ben non. :?

    On ne peut mettre que des liens internes dans robots.txt.

    Jean-Luc
     
  3. Nikola
    Nikola WRInaute discret
    Inscrit:
    1 Mars 2006
    Messages:
    127
    J'aime reçus:
    0
    Yes ! :D

    Exemple :
    Dans robot.txt :

    User-Agent: *
    Disallow: /ton-repertoire/ta-page.html

    Il me semble que via google webmaster tools, tu peux signaler ton robot.txt , c'est préférable.
     
  4. jeanluc
    jeanluc WRInaute accro
    Inscrit:
    3 Mai 2004
    Messages:
    2 883
    J'aime reçus:
    0
    Hem, hem, hem,... :roll:

    Jean-Luc
     
  5. GUITEL
    GUITEL WRInaute impliqué
    Inscrit:
    8 Juin 2007
    Messages:
    844
    J'aime reçus:
    0

    Là il bloque toute une page pas un seul lien ?
     
  6. dumbel
    dumbel WRInaute discret
    Inscrit:
    30 Mai 2005
    Messages:
    187
    J'aime reçus:
    0
    Merci Jean Luc ! (et aux autres)

    Au fait, j'en profite pour te dire que ton annuaire est excellent et qu'il constitue pour moi une vraie référence ...

    :wink:
     
  7. jeanluc
    jeanluc WRInaute accro
    Inscrit:
    3 Mai 2004
    Messages:
    2 883
    J'aime reçus:
    0
    Merci. :wink:

    Il y a quand même une astuce pour bloquer un lien externe en s'aidant de robots.txt: il faut passer par une redirection.

    Puisque tu veux bloquer http://www.lelienexterne.tld/page.html, tu remplaces ce lien dans ton site par http://www.ton_domaine.tld/redirection_1234.html et tu fais en sorte que ce lien fasse une redirection vers la page externe (par .htaccess ou en PHP). Et dans robots.txt, tu mets :
    Code:
    User-agent: *
    Disallow: /redirection_1234.html
    Solution plutôt compliquée...

    Jean-Luc
     
  8. Rod la Kox
    Rod la Kox WRInaute accro
    Inscrit:
    24 Juin 2008
    Messages:
    2 803
    J'aime reçus:
    0
    On ne pas mettre le lien...
    C'est encore plus simple.
     
  9. Nikola
    Nikola WRInaute discret
    Inscrit:
    1 Mars 2006
    Messages:
    127
    J'aime reçus:
    0
    Effectivement, j'avais lu la question un peu trop vite... :p


    Et si tu fais un lien en javascript ..

    sauf erreur de ma part Google ne le lis pas.

    C'est ce qui me parrait le plus simple, propre et logique.
     
  10. nickargall
    nickargall WRInaute accro
    Inscrit:
    13 Juin 2005
    Messages:
    6 658
    J'aime reçus:
    0
    Question (pour laquelle je pense connaître la réponse mais que je pose quand même): pourquoi ne veux tu pas ajouter un attribut rel="nofollow" sur ces liens ?
     
  11. Leonick
    Leonick WRInaute accro
    Inscrit:
    8 Août 2004
    Messages:
    19 417
    J'aime reçus:
    0
    parce que les moteurs suivent quand même les liens. Il ne lui transmettent juste aucun juice.
    Entre parenthèse, y! ne tient pas compte des restrictions dans le robots.txt, il ne crawle pas la page mais affiche quand même l'url dans ses SERP. Et comme y! tient fortement compte des mots clés dans l'url et à fortiori dans le ndd, on peut se retrouver ainsi avec juste le ndd affiché en 1° page de SERP, alors même qu'on ne le veut pas.
    Donc là dessus, gg est à des années lumières de y!, car il respecte la volonté du webmaster de ne pas afficher des liens. :evil:
     
Chargement...
Similar Threads - Empecher crawl lien Forum Date
Empêcher Googlebot de crawler/indexer tout un dossier Débuter en référencement 19 Avril 2019
désindexer et/ou empêcher crawl ? Crawl et indexation Google, sitemaps 4 Janvier 2019
Comment empêcher le crawl sur les pages "filter" et "order" Débuter en référencement 20 Janvier 2017
Patron de Qwant : "Google essaye d'empêcher ..." Autres moteurs de recherche connus 1 Novembre 2018
Empêcher les majuscules dans les URL Débuter en référencement 27 Avril 2018
Empécher indexation Crawl et indexation Google, sitemaps 10 Avril 2018
Comment empêcher les gens de faire du copier coller ? Débuter en référencement 21 Janvier 2018
Empêcher des script javascript d'etre indexer Crawl et indexation Google, sitemaps 13 Mars 2017
empêcher des caractères comme /?longurlwascutoff_0&& derrière l'url d'un site URL Rewriting et .htaccess 30 Avril 2016
Empêcher l'indexation de mon fichier sitemap Débuter en référencement 29 Avril 2016
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice