1. ✅ Apprenez une METHODE qui marche pour votre SEO ! Formation à distance avec Olivier Duffez et Fabien Facériès + aide pour prise en charge du financement
    Rejeter la notice

Crawl ne dépasse pas la page d'accueil et semblant de problème d'encodage

Discussion dans 'Administration d'un site Web' créé par milkiway, 8 Mars 2010.

  1. milkiway
    milkiway WRInaute accro
    Inscrit:
    3 Février 2004
    Messages:
    4 237
    J'aime reçus:
    0
    Bonjour,

    En essayant de lancer un Xenu sur mon site actuel pour faire une cartographie de toutes mes URL, j'ai découvert que le logiciel ne parvenait pas à crawler le site : il reste bloqué sur la home 8O Ca ne me le fait que pour ce site là.

    De plus, une fois un membre de ce forum retif m'a dit que de chez lui il était impossible d'accéder à mon site, ça renvoyait une erreur de dingue (du genre des signes étranges de partout en noir sur fond blanc).

    1- Pourriez vous jeter un oeil pour savoir si ça le fait de chez vous ?
    2- Savez vous pourquoi Xenu peut bloquer sur la home ?

    EDIT : pire encore, quand je teste une page profonde du type [modéré OTP]
    => Xenu ne donne aucun lien, comme s'il ne voyait pas la page !
    Au niveau du header HTTP j'ai ça :
    Merci

    PS : le lien : [modéré OTP]
    Svp ne pas rendre le lien inclicable, ici on est en nofollow et en plus ça me permet de supprimer le trafic généré de mes stats trafic et serveur pub.
     
  2. milkiway
    milkiway WRInaute accro
    Inscrit:
    3 Février 2004
    Messages:
    4 237
    J'aime reçus:
    0
    Bonjour,

    Un modérateur peut il éditer les liens svp ? Toute mention concernant le nom de mon site, ça fait pas sérieux.
    A quand une partie du forum non indexée !!

    Sinon pour aider ceux qui cherchent la même chose que moi, un utilisateur avancé de Linux m'a trouvé le problème en utilisant Curl.
    Il y avait un problème de compression : les pages étaient compressées mais indiquées aux bots et navigateurs comme ... non compressées. Du coup c'était le foutoir. J'ai viré toute compression Gzip en attendant de mettre un système qui fonctionne.
     
  3. nickargall
    nickargall WRInaute accro
    Inscrit:
    13 Juin 2005
    Messages:
    6 661
    J'aime reçus:
    4
    Hello
    Bon t'as fini par trouver alors ? J'avais pas pensé à ça, en effet ...

    Sinon, tu peux éditer toi meme tes propres messages,pas besoin d'un modérateur pour ça :wink:
     
  4. milkiway
    milkiway WRInaute accro
    Inscrit:
    3 Février 2004
    Messages:
    4 237
    J'aime reçus:
    0
    Hé non je ne peux pas, ça se désactive au bout de quelques instants.
    Merci pour ton aide en tout cas, c'est sympa d'avoir regardé.

    Pour info, le trouble fête était un script de compression de pages à la volée repris sur php.net.
     
  5. OTP
    OTP WRInaute accro
    Inscrit:
    16 Décembre 2005
    Messages:
    14 715
    J'aime reçus:
    3
    Fait.
     
Chargement...
Similar Threads - Crawl dépasse semblant Forum Date
Search Console Suppression de sous domaines + stop crawl ? Crawl et indexation Google, sitemaps 27 Juillet 2020
Qwant : une étude du crawl Autres moteurs de recherche connus 7 Juillet 2020
Urls orphelines crawlées par Google + Robots.txt ? Crawl et indexation Google, sitemaps 3 Avril 2020
Le budget crawl Référencement Google 5 Mars 2020
Anomalie 404 lors du crawl Crawl et indexation Google, sitemaps 28 Février 2020
Crawl et indexation de certaines pages Débuter en référencement 30 Décembre 2019
Pages crawlées mais non indexées Crawl et indexation Google, sitemaps 9 Décembre 2019
Impact des crawlers sur le taux de rebond et le référencement Crawl et indexation Google, sitemaps 19 Septembre 2019
Ne pas rendre crawlable le menu ? Référencement Google 15 Septembre 2019
Probleme avec le crawl Mobile sur Search Console Crawl et indexation Google, sitemaps 14 Septembre 2019