Noindex dans un contenu HTML chargé par Javascript ?

jolm · 2 Mai 2018

Bonjour,
Merci d'avance pour votre éclairage, je vais essayer d'être clair et concis.
J'utilise un système de menu avec du jquery. Tout bête, les différentes parties de mon menu sont de petites pages php à part dans un dossier spécifique (disons MENU). Quand j'appelle mon menu en cliquant dessus, le javascript va remplir le DIV du menu par la fonction jquery qui permet de charger le contenu d'une page dans une DIV donc.
Le problème est que toutes ces pages ont été détectées par google qui veut les référencer (ça fait plein de petites pages sans aucune qualité donc).
Pour empêcher ça, j'ai mis un noindex dans le head de ces petites pages externes qui seront chargées dans le div du menu (à la base il n'y avait pas de balise head mais je l'ai rajoutée pour le no index).
Du coup, quand je clique sur mon menu, j'ai la page demandée qui se charge dans le div du menu avec le html (donc aussi <head></head> qui comprend le no index)
Vla ti pas que je me mets à avoir un petit doute et une petite peur ... La crainte est que google croit que la page sur laquelle j'appelle le menu (en chargeant une page externe dans le div) soit en no index alors qu'en fait c'est juste la page externe (le "bout de menu" à afficher dans le DIV de la page active qui en en do follow) qui doit être en no index.
Comprenez-vous où je veux en venir ? Ai-je été clair ?
DOnc la question est donc, y a-t-il un risque ?
Si oui mieux vaut-il que je mette le dossier du menu en no index via le HTACCESS ? Dans ce cas quelle est la syntaxe ?
Un grand merci à celui qui aura pris le temps de m'aider. Bonne journée !

jolm · 2 Mai 2018

Ne sachant pas comment rééditer mon titre, je voulais préciser mon erreur : replacez nofollow par noindex évidemment ...

Koxin-L.fr · 2 Mai 2018

Tu bloque le répertoire via htaccess.
GG n'y aura plus accès et ne verra les contenu que dans la page d'accueil.

Et non il ne confondra pas l'accueil avec les "petites" pages.

Ce qui ne résoudra pas le problème de la pertinence du contenu à ses yeux qui verront toujours la même url avec un contenu de "pietre qualité" qui alterne, tant est que GG arrive à interpréter ton appel JS.

jolm · 2 Mai 2018

Merci Koxin ;-)

Quand tu dis bloquer dans le htaccess, tu parles plutôt de nofollow (empêcher le crawl) ou noindex (ne pas indexer). Car pour ma part l'idéal est de laisser google tout mater histoire de jouer la transparence. Mais ces morceaux de menu éparpillés dans différentes pages dans un répertoire, je voudrais lui dire tout simplement de pas chercher à les référencer dans son index (tout en lui autorisant de crawler, je le laisse faire sa vie).

En gros tu me dis que ce que je fais actuellement : charger des pages no-index dans un div d'une page dofollow ne va pas rendre la page mère (donc en dofollow) en no-index ? Conséquence, je n'ai rien à toucher mais plutôt laisser comme ça ?

Encore merci

spout · 2 Mai 2018

Plus simple : tu détectes que le request est fait en AJAX ou pas. Si pas : erreur 403, 404 ou 405.

PHP:

function isAjax ()
{
    if (
        isset($_SERVER['HTTP_X_REQUESTED_WITH'])
        && $_SERVER['HTTP_X_REQUESTED_WITH'] == "XMLHttpRequest")
        return true;
    return false;
}

jolm · 2 Mai 2018

Merci, j'avoue ne pas être familier de ce genre de script. Merci en tout cas.
Je vais tester ce genre de chose.
Et pour finir j'aurais du simplifier ma question pour que ce soit plus clair :
Une page en dofollow devient-elle no-index si j'intègre sur cette dernière dans un div (via jquery) une page qui est en noindex.
Page A est la page mère en dofollow et Page B le fragment à intégrer dans Page A.
Page A est en dofollow et Page B en noindex.

jolm · 2 Mai 2018

Mince Spout ... J'ai un petit soucis car j'utilise Ngynx comme système de cache.
Mes pages perdent alors leur côté dynamique et je ne peux donc analyser pour renvoyer une erreur ou pas.
Un peu trop de trafic pour le mettre à 1 seconde de cache.

Je suis un peu dépité, je sens qu'il ne faut pas que je laisse google indexer ces morceaux de menu (en plsu il m'alerte qu'ils ne sont pas mobile responsive, normal quand elles sont prises seules, le css est déclaré sur la page mère) mais en même temps en les mettant en no-index ça me met mal à l'aise (surtout que j'ai pile poil une grosse baisse d'activité de ggbot depuis le lendemain de l'installation du no-index. Peut-être un hasard mais ça fout le doute).

Pour ma part plusieurs solution :
-je laisse tout en dofollow et je risque de perdre à cause de l'indexation de centaines de pages de faible qualité (les frames du menu sur les petites pages externes).
-je les mets en noindex comme j'ai fait avec le risque que google se mélange les pinceaux si le "bot clique sur mon menu" et voir apparaitre une balise noindex dans le div du menu (qui charge donc les petites pages externes).
-je filtre le crawlage depuis le robots.txt, mais ça ne va pas l'empêcher de les indexer maintenant qu'il les connait
- je bloque depuis Htaccess, mais je ne sais pas si ca correspond à nofollow ou no-index dans son interprétation

Encore merci pour les altruistes qui prennent du temps à aider gratuitement !

WebRankInfo · 2 Mai 2018

jolm a dit:
La crainte est que google croit que la page sur laquelle j'appelle le menu (en chargeant une page externe dans le div) soit en no index

tu as raison d'avoir peur, car c'est bien ce qui risque de se passer : attention au noindex présent dans le corps d'une page

jolm · 2 Mai 2018

Merci Olivier pour ton alerte ... Je vais donc virer et empêcher le crawl via robots.
48h que c'est en place, j'espère que ça ne va pas faire mal ..

spout · 2 Mai 2018

jolm a dit:
j'utilise Ngynx comme système de cache

Heu c'est un serveur HTTP nginx, je capte pas.
Enfin soit, si t'as du cache, tu peux l'invalider via l'entête Vary: X-Requested-With.

https://developer.mozilla.org/fr/docs/Web/HTTP/Headers/Vary

jolm · 3 Mai 2018

Merci Spout ;-)

elas · 3 Mai 2018

aussi, pas besoin de jquery pour charger un contenu dans un div, le javascript le fait nativement.
Mais, surtout, bien regarder les paramètres pour charger un contenu à partir d'une page, parce que ce n'est pas du tout obligé de charger la page complète avec le Head. On peut prendre juste une section.

Je résume : les pages qu'on veut charger en noindex trux ou tout ce qu'on veut pour dire qu'on les prend pas. Et on charge juste un moceau de la page dans la div, par toute la page