Crawl ne dépasse pas la page d'accueil et semblant de problème d'encodage

Discussion dans 'Administration d'un site Web' créé par milkiway, 8 Mars 2010.

  1. milkiway
    milkiway WRInaute accro
    Inscrit:
    3 Février 2004
    Messages:
    4 196
    J'aime reçus:
    0
    Bonjour,

    En essayant de lancer un Xenu sur mon site actuel pour faire une cartographie de toutes mes URL, j'ai découvert que le logiciel ne parvenait pas à crawler le site : il reste bloqué sur la home 8O Ca ne me le fait que pour ce site là.

    De plus, une fois un membre de ce forum retif m'a dit que de chez lui il était impossible d'accéder à mon site, ça renvoyait une erreur de dingue (du genre des signes étranges de partout en noir sur fond blanc).

    1- Pourriez vous jeter un oeil pour savoir si ça le fait de chez vous ?
    2- Savez vous pourquoi Xenu peut bloquer sur la home ?

    EDIT : pire encore, quand je teste une page profonde du type [modéré OTP]
    => Xenu ne donne aucun lien, comme s'il ne voyait pas la page !
    Au niveau du header HTTP j'ai ça :
    Merci

    PS : le lien : [modéré OTP]
    Svp ne pas rendre le lien inclicable, ici on est en nofollow et en plus ça me permet de supprimer le trafic généré de mes stats trafic et serveur pub.
     
  2. milkiway
    milkiway WRInaute accro
    Inscrit:
    3 Février 2004
    Messages:
    4 196
    J'aime reçus:
    0
    Bonjour,

    Un modérateur peut il éditer les liens svp ? Toute mention concernant le nom de mon site, ça fait pas sérieux.
    A quand une partie du forum non indexée !!

    Sinon pour aider ceux qui cherchent la même chose que moi, un utilisateur avancé de Linux m'a trouvé le problème en utilisant Curl.
    Il y avait un problème de compression : les pages étaient compressées mais indiquées aux bots et navigateurs comme ... non compressées. Du coup c'était le foutoir. J'ai viré toute compression Gzip en attendant de mettre un système qui fonctionne.
     
  3. nickargall
    nickargall WRInaute accro
    Inscrit:
    13 Juin 2005
    Messages:
    6 601
    J'aime reçus:
    4
    Hello
    Bon t'as fini par trouver alors ? J'avais pas pensé à ça, en effet ...

    Sinon, tu peux éditer toi meme tes propres messages,pas besoin d'un modérateur pour ça :wink:
     
  4. milkiway
    milkiway WRInaute accro
    Inscrit:
    3 Février 2004
    Messages:
    4 196
    J'aime reçus:
    0
    Hé non je ne peux pas, ça se désactive au bout de quelques instants.
    Merci pour ton aide en tout cas, c'est sympa d'avoir regardé.

    Pour info, le trouble fête était un script de compression de pages à la volée repris sur php.net.
     
  5. OTP
    OTP WRInaute accro
    Inscrit:
    16 Décembre 2005
    Messages:
    14 581
    J'aime reçus:
    3
    Fait.
     
Chargement...
Similar Threads - Crawl dépasse semblant Forum Date
Problème : Google Crawl et Index des pages en No Index et bloqué par le robot.txt Crawl et indexation Google, sitemaps 26 Avril 2022
Crawler une url présente dans un select Développement d'un site Web ou d'une appli mobile 28 Mars 2022
Questions URL canonique, crawl et indexation Débuter en référencement 25 Mars 2022
Liens internes invisibles pour les crawlers Demandes d'avis et de conseils sur vos sites 7 Décembre 2021
Budget Crawl Google pour un gros site Crawl et indexation Google, sitemaps 18 Novembre 2021
Problème récent de Crawl Google Crawl et indexation Google, sitemaps 7 Juillet 2021
faut-il activer les URL image ou éviter pour économiser le crawl Référencement Google 21 Juin 2021
Signaler aux crawler de ne pas suivre un lien qui nécessite une connexion Crawl et indexation Google, sitemaps 9 Juin 2021
Urls filtrées indexées et crawl robots.txt Crawl et indexation Google, sitemaps 19 Mai 2021
Crawl et indexation Landing Page (site en création) Débuter en référencement 25 Mars 2021
Critères de tri en GET et budget crawl Référencement Google 25 Février 2021
Stimuler GoogleBot pour crawler de nouvelles pages Crawl et indexation Google, sitemaps 24 Janvier 2021
Crawl prédictif Google : pourquoi c'est majeur en SEO Techniques avancées de référencement 17 Décembre 2020
Search Console Suivi du crawl Google (Statistiques sur l'exploration) Crawl et indexation Google, sitemaps 9 Décembre 2020
Comment éviter un piège à bots avec un crawler ? Crawl et indexation Google, sitemaps 3 Décembre 2020
Pas de nouveau "crawl" sur une page récente, pourquoi ? Crawl et indexation Google, sitemaps 17 Novembre 2020
Crawl Screaming Frog : comment interpréter ces données ? Crawl et indexation Google, sitemaps 8 Octobre 2020
Search Console Suppression de sous domaines + stop crawl ? Crawl et indexation Google, sitemaps 27 Juillet 2020
Qwant : une étude du crawl Autres moteurs de recherche connus 7 Juillet 2020
Urls orphelines crawlées par Google + Robots.txt ? Crawl et indexation Google, sitemaps 3 Avril 2020