Wordpress et le robots.txt

Discussion dans 'Débuter en référencement' créé par Mazinger, 21 Juin 2021.

  1. Mazinger
    Mazinger Nouveau WRInaute
    Inscrit:
    25 Mai 2021
    Messages:
    25
    J'aime reçus:
    0
    Bonjour la SEO familly!

    Si je crée une page sous wordpress et que je ne veux pas qu'elle soit indexé,
    1. si dès le départ j'indique dans mon robots.txt de ne pas la suivre de ce que j'ai pus comprendre elle ne devrait jamais être indexé!?
    Meme si la page est présent dans mon sitemap, ( je n'ai pas trouvé comment l'enlever du sitemap automatiquement géneré)?

    Je suis sous Wordpress et je me sers du plugin : XML Sitemap & Google News qui me permet de modifier mon robots.txt. il me génère cela :

    "
    # XML Sitemap & Google News version 5.2.7 - https://status301.net/wordpress-plugins/xml-sitemap-feed/
    Sitemap: https://MONSITE.com/sitemap.xml

    User-agent: *
    Disallow: /wp-admin/
    Allow: /wp-admin/admin-ajax.php

    Sitemap: https://MONSITE.com/wp-sitemap.xml
    Disallow: /TEST/

    "

    2. A quoi cela sert que Google visite /wp-admin/admin-ajax.php?

    3. Est ce que l'ordre à une importance?
    Par l'extension j'ai juste rajouté Disallow: /TEST/
    est ce qu'il devrait etre mis dès le début du fichier?

    upload_2021-6-21_11-39-25.png

    Merci par avance!
     
  2. Furtif
    Furtif WRInaute accro
    Inscrit:
    9 Août 2005
    Messages:
    2 904
    J'aime reçus:
    268
    Une page bloquée par un robot peut tout de même être indexée si elle est référencée sur d'autres sites
    Le contenu bloqué par le fichier robots.txt ne sera ni exploré, ni indexé, mais nous pouvons toujours trouver et indexer une URL non autorisée si elle est référencée ailleurs sur le Web. Par conséquent, l'adresse URL, et potentiellement d'autres informations accessibles au public, comme le texte d'ancrage dans les liens vers la page, peuvent continuer de figurer dans les résultats de recherche Google.

    https://developers.google.com/search/docs/advanced/crawling/block-indexing?hl=fr

    Pour que l'instruction noindex soit efficace, la page ne doit pas être bloquée par un fichier robots.txt. Elle doit être accessible au robot d'exploration. Si la page est bloquée par un fichier robots.txt ou qu'elle est inaccessible, l'instruction noindex n'est pas détectée par le robot d'exploration. La page peut donc continuer à s'afficher dans les résultats de recherche, par exemple si d'autres pages contiennent des liens vers celle-ci.
     
    Mazinger apprécie ceci.
  3. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    20 463
    J'aime reçus:
    612
    Mazinger apprécie ceci.
  4. SeoMix
    SeoMix Nouveau WRInaute
    Inscrit:
    30 Août 2008
    Messages:
    31
    J'aime reçus:
    2
    A vrai dire, WordPress ne gère nativement la balise noindex que sur les pages générées par WordPress qui le nécessitent (par exemple la page demande de renouvellement de mot de passe).

    Pour ce qui est de l'extension cité plus haut, de mémoire elle a une option pour exclure un contenu du sitemap : c'est soit lors de l'édition du contenu, soit dans la page d'option de l'extension. Mais dans un cas comme dans l'autre, cela ne va pas gérer le noindex. Il faut passer par une extension SEO pour cela (Yoast, All In One SEO, Rankmath, etc.)
     
  5. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    20 463
    J'aime reçus:
    612
    Bon retour sur le forum Daniel ! presque 9 ans depuis ton dernier post :)
     
  6. SeoMix
    SeoMix Nouveau WRInaute
    Inscrit:
    30 Août 2008
    Messages:
    31
    J'aime reçus:
    2
    Oui, cela faisait longtemps ;)
     
    Marie-Aude apprécie ceci.
  7. Mazinger
    Mazinger Nouveau WRInaute
    Inscrit:
    25 Mai 2021
    Messages:
    25
    J'aime reçus:
    0
    Merci pour vos réponses!
    avez vous une idée concernant la partie 2 de ma question :
    2. A quoi cela sert que Google visite /wp-admin/admin-ajax.php?
     
  8. SeoMix
    SeoMix Nouveau WRInaute
    Inscrit:
    30 Août 2008
    Messages:
    31
    J'aime reçus:
    2
    Ce fichier est utilisé par WordPress, le thème et ou des extensions pour faire des requêtes AJAX dans WordPress.

    Google peut donc potentiellement en avoir besoin si des requêtes AJAX sont effectuées sur le site pour les visiteurs.
     
    Mazinger apprécie ceci.
  9. Mazinger
    Mazinger Nouveau WRInaute
    Inscrit:
    25 Mai 2021
    Messages:
    25
    J'aime reçus:
    0
    Merci Seomix!
    Je comprends mieux!
     
  10. Sébastien321
    Sébastien321 Nouveau WRInaute
    Inscrit:
    13 Septembre 2021
    Messages:
    5
    J'aime reçus:
    0
    Bonjour,

    Moi ce que je cherche en ce moment, c’est une astuce pour obtenir des pages qui se différencient des autres, merci
     
Chargement...
Similar Threads - Wordpress robots Forum Date
meta robots Wordpress Demandes d'avis et de conseils sur vos sites 26 Octobre 2018
WOOCOMMERCE wordpress ROBOTS.TXT, que bloquez vous ? e-commerce 22 Juin 2018
Mon fichier robots.txt wordpress Développement d'un site Web ou d'une appli mobile 24 Octobre 2016
Quel robots.txt pour un wordpress "jeune" ? Référencement Google 24 Juin 2016
Robots spameurs commentaires wordpress bonne nouvelle ! Débuter en référencement 10 Février 2015
Site wordpress url bloquée par robots.txt Problèmes de référencement spécifiques à vos sites 17 Juin 2013
Site wordpress url bloquée par robots.txt Problèmes de référencement spécifiques à vos sites 24 Novembre 2012
Robots.txt, wordpress et gwt Crawl et indexation Google, sitemaps 1 Octobre 2011
Désindexer des pages auteur avec Yoast sur Wordpress Référencement Google Mercredi à 05:43
Wordpress plugin pour cinéphiles Développement d'un site Web ou d'une appli mobile 1 Août 2021