Crawl ne dépasse pas la page d'accueil et semblant de problème d'encodage

Discussion dans 'Administration d'un site Web' créé par milkiway, 8 Mars 2010.

  1. milkiway
    milkiway WRInaute accro
    Inscrit:
    3 Février 2004
    Messages:
    4 237
    J'aime reçus:
    0
    Bonjour,

    En essayant de lancer un Xenu sur mon site actuel pour faire une cartographie de toutes mes URL, j'ai découvert que le logiciel ne parvenait pas à crawler le site : il reste bloqué sur la home 8O Ca ne me le fait que pour ce site là.

    De plus, une fois un membre de ce forum retif m'a dit que de chez lui il était impossible d'accéder à mon site, ça renvoyait une erreur de dingue (du genre des signes étranges de partout en noir sur fond blanc).

    1- Pourriez vous jeter un oeil pour savoir si ça le fait de chez vous ?
    2- Savez vous pourquoi Xenu peut bloquer sur la home ?

    EDIT : pire encore, quand je teste une page profonde du type [modéré OTP]
    => Xenu ne donne aucun lien, comme s'il ne voyait pas la page !
    Au niveau du header HTTP j'ai ça :
    Merci

    PS : le lien : [modéré OTP]
    Svp ne pas rendre le lien inclicable, ici on est en nofollow et en plus ça me permet de supprimer le trafic généré de mes stats trafic et serveur pub.
     
  2. milkiway
    milkiway WRInaute accro
    Inscrit:
    3 Février 2004
    Messages:
    4 237
    J'aime reçus:
    0
    Bonjour,

    Un modérateur peut il éditer les liens svp ? Toute mention concernant le nom de mon site, ça fait pas sérieux.
    A quand une partie du forum non indexée !!

    Sinon pour aider ceux qui cherchent la même chose que moi, un utilisateur avancé de Linux m'a trouvé le problème en utilisant Curl.
    Il y avait un problème de compression : les pages étaient compressées mais indiquées aux bots et navigateurs comme ... non compressées. Du coup c'était le foutoir. J'ai viré toute compression Gzip en attendant de mettre un système qui fonctionne.
     
  3. nickargall
    nickargall WRInaute accro
    Inscrit:
    13 Juin 2005
    Messages:
    6 661
    J'aime reçus:
    4
    Hello
    Bon t'as fini par trouver alors ? J'avais pas pensé à ça, en effet ...

    Sinon, tu peux éditer toi meme tes propres messages,pas besoin d'un modérateur pour ça :wink:
     
  4. milkiway
    milkiway WRInaute accro
    Inscrit:
    3 Février 2004
    Messages:
    4 237
    J'aime reçus:
    0
    Hé non je ne peux pas, ça se désactive au bout de quelques instants.
    Merci pour ton aide en tout cas, c'est sympa d'avoir regardé.

    Pour info, le trouble fête était un script de compression de pages à la volée repris sur php.net.
     
  5. OTP
    OTP WRInaute accro
    Inscrit:
    16 Décembre 2005
    Messages:
    14 715
    J'aime reçus:
    3
    Fait.
     
Chargement...
Similar Threads - Crawl dépasse semblant Forum Date
Critères de tri en GET et budget crawl Référencement Google Jeudi à 12:31
Stimuler GoogleBot pour crawler de nouvelles pages Crawl et indexation Google, sitemaps 24 Janvier 2021
Crawl prédictif Google : pourquoi c'est majeur en SEO Techniques avancées de référencement 17 Décembre 2020
Search Console Suivi du crawl Google (Statistiques sur l'exploration) Crawl et indexation Google, sitemaps 9 Décembre 2020
Comment éviter un piège à bots avec un crawler ? Crawl et indexation Google, sitemaps 3 Décembre 2020
Pas de nouveau "crawl" sur une page récente, pourquoi ? Crawl et indexation Google, sitemaps 17 Novembre 2020
Crawl Screaming Frog : comment interpréter ces données ? Crawl et indexation Google, sitemaps 8 Octobre 2020
Search Console Suppression de sous domaines + stop crawl ? Crawl et indexation Google, sitemaps 27 Juillet 2020
Qwant : une étude du crawl Autres moteurs de recherche connus 7 Juillet 2020
Urls orphelines crawlées par Google + Robots.txt ? Crawl et indexation Google, sitemaps 3 Avril 2020