| |
|
Voir le sujet précédent :: Voir le sujet suivant
|
| Auteur |
Message |
| |
|
bipbip
WRInaute occasionnel
Inscrit le: 19 Déc 2002
Messages: 107
|
 Posté le : Jeu Déc 19, 2002 10:52 Sujet du message: A propos des fichiers robots.txt ... |
|
|
Bonjour 
Est-il vraiment indispensable de déposer un fichier robots.txt du genre:
| Code: |
# Allow all
User-agent: *
Disallow:
|
si l' on veut que le bot indexe toutes les pages d' un site ?
Mon site (dont je tairais l' url) n' en avait point et était bien référencé par voila (par google aussi mais çà n' a pas changé). Je me renseigne au sujet de Pompos et vois qu' ils conseillent vivement de mettre un fichier robots.txt pour permettre une bonne indexation d' un site.
Du coup j' en met un, celui cité plus haut.
Je passe sur voila et constate que le moteur a sacqué toutes mes pages (mais a laissé curieusement l' unique page d' accueil de mon site il y a plusieurs mois alors que celui-ci était en totale construction et qu' il n' y avait rien).
Je vais sur leur FAQ et lis ceci:
| Citation: |
Le fichier robots.txt interdit aux moteurs de recherche d'indexer vos pages web
Si vous ne voulez pas que les robots visitent votre site, ou bien si vous désirez que votre site soit retiré de la base, il vous suffit de placer un fichier /robots.txt à la racine de votre site.
Le fichier /robots.txt vous permet de spécifier par qui et comment vous autorisez l'indexation de votre page.
|
à cette adresse: http://www.voila.fr/Informations/Recherche/?Robots
Il y a t' il un lien de cause à effet ?
Je n' ai par ailleur pas constaté d' amélioration dans le référencement de google lié à ce fameux robots.txt, dans quels cas est-ce important de l' inclure ?
Merci d' avance pour vos indications  |
|
| |
|
 |
hetzeld
WRInaute accro
Inscrit le: 02 Déc 2002
Messages: 2205
Localisation: France - Angleterre
|
| Posté le : Jeu Déc 19, 2002 11:27 Sujet du message: A propos des fichiers robots.txt ... |
|
|
Bonjour,
Il semble que voila n'aime pas la ligne "Disallow:" quand il n'y a pas de répertoire mentionné.
J'ai changé récemment, en mettant la même chose que toi et cela m'a valu d'être purement et simplement retiré de voila 
Le mieux est encore un fichier robots.txt avec 2 lignes:
User-agent: *
Disallow: /prive/
si tu veux interdire l'accès au répertoire /prive
Le seul problème, à mon avis, c'est qu'il donne aux hackers une indication quant à l'emplacement de certaines données perso... d'où cible privilégiée.
Dan |
|
| |
|
|
melmoth
WRInaute discret
Inscrit le: 11 Déc 2002
Messages: 73
|
| Posté le : Jeu Déc 19, 2002 12:26 Sujet du message: A propos des fichiers robots.txt ... |
|
|
| hetzeld a écrit: |
Le seul problème, à mon avis, c'est qu'il donne aux hackers une indication quant à l'emplacement de certaines données perso... d'où cible privilégiée.
|
Argh, un abus de langage.
Hop, j'y vais de mon petit commentaire.
Le terme correct pour désigner les délinquants dont tu parles est 'cracker' .
"Hacker" est un terme qui désigne les codeurs fous qui font ce qu'est internet, les systèmes d'exploitation etc... Un hacker construit, un cracker détruit.
Utiliser un terme à la place de l'autre est néfaste pour la communauté hacker qui à force se trimbale une image de hors la loi alors qu'il ne s'agit que de passionnés.
Plus d'information par la:
http://www.tuxedo.org/~esr/jargon/html/entry/hacker.html
Pour en revenir au problème du répertoire privés.
SI il s'agit d'informations vraiment sensibles, ne pas les mettre sur le web du tout
Sinon, interdire aux robots d'y aller, restreindre l'acces par un .htaccess et surtout, ne permettre l'acces que par ssl.
Baser sa sécurité uniquement sur la discretion n'est pas une bonne idée.
Hop. |
|
| |
|
|
hetzeld
WRInaute accro
Inscrit le: 02 Déc 2002
Messages: 2205
Localisation: France - Angleterre
|
| Posté le : Jeu Déc 19, 2002 12:32 Sujet du message: A propos des fichiers robots.txt ... |
|
|
Bonjour,
Tu as raison, c'est un abus de langage ! 
C'est d'autant plus c*n que je connais parfaitement la différence entre les deux...
Merci pour ce correctif!
Quand je parle de "données perso", ce n'est bien sûr rien de confidentiel mais des éléments qui ne devraient pas être indexés. J'ai eu le cas avec des "templates" qui, à l'état brut' n'étaient pas vraiment parlants pour l'internaute moyen. 
Depuis, j'ai modifié cela.
Tu as tout à fait raison en insistant sur le fait que "cacher n'est pas protéger".
Cordialement,
Dan |
|
| |
|
|
| |
|
|
|
|
Autres sujets de discussion :
|
|
