1. ⭐⭐⭐ Grosse PROMO en cours sur ma plateforme SEO My Ranking Metrics
    Rejeter la notice

Trop de restriction dans le robots.txt

Discussion dans 'Débuter en référencement' créé par dreadstock, 20 Décembre 2010.

  1. dreadstock
    dreadstock WRInaute occasionnel
    Inscrit:
    3 Février 2009
    Messages:
    266
    J'aime reçus:
    0
    Bonjour à tous,

    J'ai un problème de duplicate content, que je n'arrive pas à résoudre avec les redirections, ma dernière solution est donc de mettre toutes les urls que je ne veux pas indexer dans le robots.txt
    Exemple :

    http://www.example.com/ville/12.html
    http://www.example.com/ville/13.html
    http://www.example.com/ville/14.html
    http://www.example.com/ville/15.html
    http://www.example.com/ville/16.html
    http://www.example.com/ville/17.html
    http://www.example.com/ville/18.html

    J'ai au moins 500 liens à mettre dans le robot txt.
    J'aurais pu faire : Disallow: /ville/ mais c'est pas possible, car la page que je souhaite indexer dans GG est http://www.example.com/ville/12-appartement-a-vendre-en-paca/

    Voila. Etant donné que c'est la seule solution que j'ai trouvé (du moins pour mes petites compétences en dév), pensez vous que mettre autant d"url dans le robot ne va pas me pénaliser vis à vis de GG ? Par ailleurs, si quelqu'un à une autre solution, je suis preneur.
    Pour info : la balise rel-canonical, j'ai essayé, je travaille avec joomla, je peux pas, le htaccess, je vois pas comment, la redirection 301 directe dans la page , je peux pas à cause de joomla

    Merci par avance
     
  2. Madrileño
    Madrileño Membre Honoré
    Inscrit:
    7 Juillet 2004
    Messages:
    32 139
    J'aime reçus:
    271
    Il existe des URL prévues pour donner des exemples: "example.com" ou encore "example.net" (avec un "a").
     
  3. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    11 874
    J'aime reçus:
    71
    Pourquoi ne pas mettre la meta robots à noindex,follow dans les pages que tu ne veux pas indexer ?
     
  4. dreadstock
    dreadstock WRInaute occasionnel
    Inscrit:
    3 Février 2009
    Messages:
    266
    J'aime reçus:
    0
    Oui j'y avait aussi pensé, mais je travaille avec joomla et je ne crois pas qu'il soit possible de modifier les pages unes par unes.
     
  5. dreadstock
    dreadstock WRInaute occasionnel
    Inscrit:
    3 Février 2009
    Messages:
    266
    J'aime reçus:
    0
    Merci, mais je ne comprends pas bien pourquoi utiliser cela ?
     
  6. Leonick
    Leonick WRInaute accro
    Inscrit:
    8 Août 2004
    Messages:
    19 436
    J'aime reçus:
    0
    pour éviter de faire des BL gratos à monsite qui existe aussi bien en .fr (renvoie sur les pagesjaunes) qu'en .com
     
  7. dreadstock
    dreadstock WRInaute occasionnel
    Inscrit:
    3 Février 2009
    Messages:
    266
    J'aime reçus:
    0
    A bien vu , je ne connaissais pas ! merci /
     
  8. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    11 874
    J'aime reçus:
    71
    C'est un CMS, c'est le genre de problématique qu'ils gèrent, que ce soit en natif ou en utilisant de bons plugins.

    Genre : http://extensions.joomla.org/extensions/site-management/seo-a-metadata/7124
     
  9. dreadstock
    dreadstock WRInaute occasionnel
    Inscrit:
    3 Février 2009
    Messages:
    266
    J'aime reçus:
    0
    Malheureusement l'extension ne me permet pas de faire cela.

    Je vais être obligé de mettre mes 500 liens dans le robots.txt. J'espère que ca pas gêner google bot. Avez vous une idée ?

    Merci
     
  10. cedric_g
    cedric_g WRInaute accro
    Inscrit:
    18 Janvier 2006
    Messages:
    2 958
    J'aime reçus:
    0
    Et euh... filtrer dans ton robots.txt les URL répondant à /ville/*.html ?
     
  11. dreadstock
    dreadstock WRInaute occasionnel
    Inscrit:
    3 Février 2009
    Messages:
    266
    J'aime reçus:
    0
    Oh j'ai pire, après vérification, c'est bien plus grave que prévu. derrière l'ID je peux mettre n'importe quoi cela ramène à chaque fois sur le même bien. J'ai jamais vu ca.

    Exemple le même bien est accessible sur les urls suivantes :

    www.example.com/ville1/21.html
    www.exemple.com/ville1/region1/21.html
    www.exemple.com/ville2/region2/21.html

    www.example.com/ville1/21
    www.exemple.com/ville1/region1/21
    www.exemple.com/ville2/region2/21

    et en mettant n"importe quoi derrière le 21 example :
    www.example.com/ville1/21^poiuy
    www.exemple.com/ville1/region1/21lkjh
    www.exemple.com/ville2/region2/21fglkj

    ca pour chaque bien. Autant vous dire que je suis mal .
     
  12. dreadstock
    dreadstock WRInaute occasionnel
    Inscrit:
    3 Février 2009
    Messages:
    266
    J'aime reçus:
    0

    Je te remercie cette solution est magnifique ! merci pour le composant !
     
Chargement...
Similar Threads - restriction robots Forum Date
Restriction dans robots.txt mais toujours indexé Crawl et indexation Google, sitemaps 4 Février 2011
Restriction robots.txt Problèmes de référencement spécifiques à vos sites 5 Avril 2009
Restriction : htaccess ou robots URL Rewriting et .htaccess 15 Décembre 2008
Pages référencées par Google malgré la présence d'une restriction à l'IP Crawl et indexation Google, sitemaps 21 Janvier 2015
Comment partager ces posts avec tous ? (restriction à mes cercles) Google+ 6 Décembre 2014
Restriction de partage social - Comment faire la restriction ? Développement d'un site Web ou d'une appli mobile 17 Janvier 2014
Restriction compte Paypal e-commerce 26 Mai 2012
Restriction du nombre de caractères dans les annonces FacebookAds Facebook 19 Avril 2012
Restrictions avec les tld locale (.fr .es ) Référencement international (langues, pays) 21 Septembre 2011
Warning open_basedir restriction in effect / ECONNREFUSED Problèmes de référencement spécifiques à vos sites 10 Novembre 2010
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice