Optimisation de ROBOTS.TXT et blog WordPress

Discussion dans 'Problèmes de référencement spécifiques à vos sites' créé par Argel75, 1 Décembre 2008.

  1. Argel75
    Argel75 WRInaute discret
    Inscrit:
    13 Novembre 2008
    Messages:
    55
    J'aime reçus:
    0
    Bonjour,
    j'ai trouvé sur internet un fichier robots optimisé pour les blogs sous wordpress.
    Me demandant ce que vous pouviez en penser je l'ai ajouté sur mon nouveau site http://www.videosdunet.fr
    A priori il devrait référencer au mieux mon site sur google et empecher le duplicate content.
    Qu'en pensez vous :
    Code:
    User-agent: *
    Disallow:
    Disallow: /wp-
    Disallow: /feed/
    Disallow: /trackback/
    Disallow: /cgi-bin
    Disallow: /rss/
    Disallow: /comments/feed/
    Disallow: /date/
    Disallow: /archives/
    Disallow: /page/
    Disallow: /comments
    Disallow: */comments
    Disallow: /author/
    Allow: /wp-content/uploads
    
    User-agent: Googlebot
    Disallow: /*/feed/$
    Disallow: /*/feed/rss/$
    Disallow: /*/trackback/$
    
    User-agent: Googlebot-Image
    Disallow:
    Allow: /*
    
    Sitemap: http://www.videosdunet.fr/sitemap.xml
    
    Par avance, Merci
     
  2. Rod la Kox
    Rod la Kox WRInaute accro
    Inscrit:
    24 Juin 2008
    Messages:
    2 780
    J'aime reçus:
    0
  3. Argel75
    Argel75 WRInaute discret
    Inscrit:
    13 Novembre 2008
    Messages:
    55
    J'aime reçus:
    0
    Désolé j'ai pas compris le message ?

    Faut que je pose la question sur un autre forum ? Pourquoi pas dans sur forum spécialisé dans le référencement, c'est quand même le but final de ma question... ?
     
  4. screuscreu
    screuscreu WRInaute impliqué
    Inscrit:
    14 Janvier 2008
    Messages:
    687
    J'aime reçus:
    0
    Je trouve les réponse bien peu courtoises sur WRI aujourd'hui ...
    Pas forcement ici en particulier ... mais c'est déjà la 3ème fois que je me fait la remaque aujourd'hui .... Quelquechose à plombé le moral de tout les WRInautes aujourd'hui ? J'ai loupé qqch ? :wink:
     
  5. Audiofeeline
    Audiofeeline WRInaute accro
    Inscrit:
    20 Octobre 2005
    Messages:
    4 172
    J'aime reçus:
    2
    Seule la ligne suivante peut être utile :
    Code:
    Disallow: /wp-admin
    Le reste ne sert absolument à rien sinon à empêcher les moteurs de visiter toutes tes pages...
     
  6. Argel75
    Argel75 WRInaute discret
    Inscrit:
    13 Novembre 2008
    Messages:
    55
    J'aime reçus:
    0
    Mais à priori et d'après ce que j'ai compris, sur un blog Wordpress on peu retrouver plusieurs fois le meme contenu à partir des archives, des tags, des catégories... ce qui a pour incidence le duplicate content.

    C'était justement pour éviter que les moteurs de recherche indexe toutes mes pages, mais je lui donne quand meme l'adresse de mon sitemap pour les indexer correctement.

    C'est peut etre totalement faux ce que je dis !?
     
  7. Audiofeeline
    Audiofeeline WRInaute accro
    Inscrit:
    20 Octobre 2005
    Messages:
    4 172
    J'aime reçus:
    2
    Pas totalement mais il vaut mieux éviter le duplicate sur le site plutôt que ne pas indexer les pages.
    Attend déjà de voir comment Google va indexer ton site, s'il y a des pages ignorées tu pourra penser à optimiser à ce moment là.
     
  8. Argel75
    Argel75 WRInaute discret
    Inscrit:
    13 Novembre 2008
    Messages:
    55
    J'aime reçus:
    0
    Autre chose, dans les outils google pour admin j'ai quelques erreurs :
    - 2 erreurs HTTP qui viennent d'un plugin /wp-content/plugins/wp-postratings
    - 5 erreurs 404

    Pour les erreurs 404 j'ai crée une nouvelle page pour rediriger les visiteurs.
    Pour les erreurs HTTP j'aimerais pouvoir résoudre le problème en interdisant l'acces de google au dossier plugin...
     
  9. Rod la Kox
    Rod la Kox WRInaute accro
    Inscrit:
    24 Juin 2008
    Messages:
    2 780
    J'aime reçus:
    0
    Pourquoi ?
    Parce que c'est difficile de le demander sur un forum spécialisé ?

    Lorsque j'ai un soucis avec pbpbb, je vais sur le forum officiel de phpbb... Et je suis sur de trouver ma réponse.


    Ici, ce n'est pas un forum spécifique worpress, donc, même si certains peuvent avoir la réponse, mieux vaut aller directement au bon endroit.


    Et je précise qu'il n'y a aucune méchanceté dans ma réponse, je donnais juste le lien qui va bien pour poser la question... :roll:
     
  10. screuscreu
    screuscreu WRInaute impliqué
    Inscrit:
    14 Janvier 2008
    Messages:
    687
    J'aime reçus:
    0
    Je n'ai jamais parlé de méchanceté mais de courtoisie.... c'est bien différent à mon goût !
    Je précise aussi que ce n'était pas forcement que dans ce post ... donc ne le prends pas que pour toi !
     
  11. Audiofeeline
    Audiofeeline WRInaute accro
    Inscrit:
    20 Octobre 2005
    Messages:
    4 172
    J'aime reçus:
    2
    Tout ça n'est pas bien grave, par contre il doit être possible de mettre un .htaccess dans le dossier de plugin pour bloquer l'accès, nan ?
     
  12. Argel75
    Argel75 WRInaute discret
    Inscrit:
    13 Novembre 2008
    Messages:
    55
    J'aime reçus:
    0
    Je pense que c'est faisable oui.
    Mais est que c'est embetant d'avoir des erreurs HTTP et 404 ( alors que j'ai créer une page spéciale 404 ) pour le référencement ?
     
  13. Audiofeeline
    Audiofeeline WRInaute accro
    Inscrit:
    20 Octobre 2005
    Messages:
    4 172
    J'aime reçus:
    2
    C'est Google qui est trop curieux. :lol:
     
  14. Vverger
    Vverger WRInaute discret
    Inscrit:
    23 Février 2012
    Messages:
    53
    J'aime reçus:
    0
    Bonjour,
    je remonte ce vieux poste car j'ai une question qui rejoint celle d'origine.
    Pour ma part je suis tombé sur ce fichier :

    Code:
    User-agent: *
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    [b]Disallow: */trackback
    Disallow: /*.php$
    Disallow: /*.js$
    Disallow: /*.inc$
    Disallow: /*.txt$[/b]
    Allow: /wp-content/uploads
    User-agent: Googlebot-Image
    Allow: /
    User-agent : Medipartners-Google
    Allow: /
    Sitemap: URL-de-votre-sitemap
    
    Ma question est pourquoi empêcher Google d'indexer les trackbacks et les .php .js..etc...


    Aussi, est-ce que Google prend en duplicate content que ce qu'il a indexé ou tout ce qu'il a crawler?
    Par exemple, avec Disallow: /archives/
    Google ne va pas indexer les archives, les articles dans l'archive ne seront donc pas un contenu dupliqué dans l'index de Google. Mais ça n'empêche pas que cette archive existe belle et bien et que le contenu est quand même dupliqué...

    Merci :)
     
  15. Vverger
    Vverger WRInaute discret
    Inscrit:
    23 Février 2012
    Messages:
    53
    J'aime reçus:
    0
    Personne pour m'aiguiller ?
     
Chargement...
Similar Threads - Optimisation ROBOTS blog Forum Date
Optimisation robots.txt Autres moteurs de recherche connus 11 Février 2009
Optimisation d' un site avec Yoast Débuter en référencement 5 Mai 2022
WordPress Avis et question concernant une optimisation dû à de multiples sites Demandes d'avis et de conseils sur vos sites 18 Avril 2022
Optimisation publication FB Facebook 14 Avril 2022
Optimisation d'une page : Titre du Site et Menu comment les inclure? Débuter en référencement 13 Septembre 2021
Astuce Optimisation des URLs Débuter en référencement 15 Juin 2021
WordPress PageSpeed - optimisation - fonts Développement d'un site Web ou d'une appli mobile 27 Janvier 2021
Optimisation SXO de site web de mon agence Référencement Google 22 Janvier 2021
Avis et optimisation sur blog voyage Demandes d'avis et de conseils sur vos sites 24 Décembre 2020
Optimisation du Cumulative Layout Shift (CLS) Référencement Google 8 Décembre 2020
Optimisation URL pour les moteurs de recherche Débuter en référencement 15 Novembre 2020
Optimisation site Wordpress Débuter en référencement 21 Août 2020
Optimisation des publicités / revenus AdSense 19 Juillet 2020
WordPress optimisation des temps de chargements Débuter en référencement 28 Juin 2020
Optimisation pour la catégorie de produits de commerce électronique Rédaction web et référencement 26 Juin 2020
Astuce optimisation image au format Webp YouTube, Google Images et Google Maps 6 Avril 2020
Optimisation liens footer Netlinking, backlinks, liens et redirections 3 Janvier 2020
Test d'optimisation mobile : Problèmes de chargement de la page Débuter en référencement 10 Novembre 2019
Que faire en cas de sur-optimisation de mot-clé dans l'URL du site ? Demandes d'avis et de conseils sur vos sites 5 Novembre 2019
WordPress Optimisation et utilisation d'une page Auteur avec Bio Rédaction web et référencement 29 Octobre 2019