Absence robots.txt et 404 personnalisée

Discussion dans 'Débuter en référencement' créé par u8086, 14 Décembre 2004.

  1. u8086
    u8086 WRInaute passionné
    Inscrit:
    24 Mai 2004
    Messages:
    2 436
    J'aime reçus:
    0
    Bonjour;

    Je viens de reprérer le passage du crawler de Yahoo sur mon site dans mes logs. Il n'a demandé que le robots.txt qui n'existe pas et la page 404 personnalisée.
    Je viens de tester -monsite.com/robots.txt- et on arrive effectivement sur ma 404 personnalisée.

    Est-ce une erreur pénalisante ?
     
  2. Pouzy
    Pouzy WRInaute passionné
    Inscrit:
    1 Septembre 2004
    Messages:
    1 041
    J'aime reçus:
    0
    IL vaut mieux en mettre un ;) Disallow rien du tout, je ne sais pas, mais tu peux disallower une petite page qui ne sert a rien ( généralement, il y a en a toujours :)
     
  3. u8086
    u8086 WRInaute passionné
    Inscrit:
    24 Mai 2004
    Messages:
    2 436
    J'aime reçus:
    0
    Je viens d'en mettre un avec :

    Code:
    User-agent:  *
    Ca suffit, non ?


    Ma question était plutôt : Est-ce une chausse-trappe réelle et/ou connue ?
     
  4. Photoshop user
    Photoshop user WRInaute impliqué
    Inscrit:
    8 Décembre 2004
    Messages:
    854
    J'aime reçus:
    0
    Même question que le Mr.
     
  5. rituel
    rituel WRInaute impliqué
    Inscrit:
    15 Mars 2003
    Messages:
    897
    J'aime reçus:
    0
    Arrêtez de flipper, si vous saviez le nombre de sites qui n'ont pas de robots.txt (Le mien compris) ;)
     
  6. Birdman
    Birdman Nouveau WRInaute
    Inscrit:
    8 Décembre 2004
    Messages:
    14
    J'aime reçus:
    0
    Et avec un robots.txt vide, ça autorise Googel et les autres à vister tout le site, non ?
    Enfin, moi j'en ai mis un, c'est juste pour éviter les erreurs 404...
     
  7. Photoshop user
    Photoshop user WRInaute impliqué
    Inscrit:
    8 Décembre 2004
    Messages:
    854
    J'aime reçus:
    0
    Je flip pas Mr le Jolien :wink:
    'Juste je voulais savoir la réponse et m'abonner au sujet c'est tout :wink:
     
  8. rituel
    rituel WRInaute impliqué
    Inscrit:
    15 Mars 2003
    Messages:
    897
    J'aime reçus:
    0
    Mince je suis demasqué :lol:
     
  9. u8086
    u8086 WRInaute passionné
    Inscrit:
    24 Mai 2004
    Messages:
    2 436
    J'aime reçus:
    0
    D'accord, mais que ce passe-t-il quand le bot demandant le robots.txt tombe sur une page 404 ??
    Comment l'interprète-t-il ?
     
  10. niceunef
    niceunef WRInaute passionné
    Inscrit:
    19 Janvier 2004
    Messages:
    1 375
    J'aime reçus:
    0
    Pareil. En plus, ca ne sert peut-etre a rien (repertoire).
     
  11. snivel
    snivel Nouveau WRInaute
    Inscrit:
    18 Août 2004
    Messages:
    36
    J'aime reçus:
    0
    Pour ton 404 personalisé tu peu regarder dans outils - > Entête HTTP (Header HTTP)

    Si c bien un code 404 -> pas de probléme
    Si c un code 200 avec qq chose apres tu peu douter ....
     
  12. niceunef
    niceunef WRInaute passionné
    Inscrit:
    19 Janvier 2004
    Messages:
    1 375
    J'aime reçus:
    0
    En meme temps, si tu cherche a acceder ta page 404 directement, elle va bien renvoyer un code 200...
     
  13. u8086
    u8086 WRInaute passionné
    Inscrit:
    24 Mai 2004
    Messages:
    2 436
    J'aime reçus:
    0
    Pour un appel à une page qui n'existe pas, le serveur renvoi une erreur "302 Found" "document déplacé de façon temporaire"

    Pour une page que j'ai déplacé en spécifiant son nouvel emplacement avec un .htaccess, le serveur renvoie une "301 Moved Permanently".

    C'est bon non ?
     
  14. niceunef
    niceunef WRInaute passionné
    Inscrit:
    19 Janvier 2004
    Messages:
    1 375
    J'aime reçus:
    0
    Si tu as dit de renvoyer une 301 dans tel et tel cas, c'est normal qu'il le fasse. Normalement la 301 permet de renvoyer vers une autre page.
    Pour la 302 sur d'autres adresses, c'est bizzarre (a moins que tu l'aies spécifié dans le .htacces? en tous cas, il faut donner aussi une URL de destination, et la 302 peut poser des ennuis du moment qu'il y a des liens vers une page en 302)
     
  15. u8086
    u8086 WRInaute passionné
    Inscrit:
    24 Mai 2004
    Messages:
    2 436
    J'aime reçus:
    0
    Pour la 302, c'est le résultat de ma 404 personnalisée.

    Dans mon .htaccess, j'ai mis :
    Code:
    ErrorDocument 404 http://www.*****.com/_errors/404.html
    RedirectPermanent ancienepage.html http://www.domaine.tld/nouvellepage.html
     
Chargement...
Similar Threads - Absence robots 404 Forum Date
Search Console Images bloquées ... malgré absence de robots.txt Crawl et indexation Google, sitemaps 31 Octobre 2019
HELP PLZ : lien entre l'absence de robots.txt le compte des backlinks et le calcul du PR? Débuter en référencement 14 Janvier 2011
Absence d'affichage de données dans tableau de bord Analytics Google Analytics 25 Juin 2021
Search Console Absence de requêtes dans la search console Problèmes de référencement spécifiques à vos sites 21 Mai 2021
Baisse de traffic juste après : Votre compte Google Ads a été désactivé pour absence de dépenses Référencement Google 17 Octobre 2020
Absence de référencement Problèmes de référencement spécifiques à vos sites 29 Septembre 2020
Absence de redirection ou de lien canonique Netlinking, backlinks, liens et redirections 7 Octobre 2019
Absence de données structurées : bug Search Console ? Crawl et indexation Google, sitemaps 25 Janvier 2017
Quel message en cas d'absence, merci pour votre aide à un basque Administration d'un site Web 21 Décembre 2016
Absence d'indexation Crawl et indexation Google, sitemaps 19 Décembre 2016
Absence de com.google.android.googlequicksearchbox Google Analytics 29 Juin 2016
Absence de CSS dans le cache Google -> problème ? Référencement Google 24 Juin 2015
Absence de meta description Crawl et indexation Google, sitemaps 17 Mars 2015
6ans d'absence, quoi de neuf? Débuter en référencement 9 Février 2015
Avis sur Jorani (OSS de gestion des absences) Demandes d'avis et de conseils sur vos sites 5 Février 2015
Absence d'images de comptes auteur Google+ Référencement Google 22 Mai 2014
absence d'adwords avec le mot "jeux" et autres particularités Adwords AdWords 18 Mars 2014
Retour aprés 8 mois d'absence....ko ? Référencement Google 13 Novembre 2013
Absence presque totale d'indexation sur certains mots-clés Problèmes de référencement spécifiques à vos sites 16 Août 2013
Déclassement apres absence Débuter en référencement 4 Mars 2013