Robots.txt ne marche que si repertoires physiques ?

[joelbarrish]

Hello à tous!
Une petite question pour laquelle la réponse pourrait être "ben t'as qu'à tester, tu verras"

Concernant le fichier robots.txt, le fait d'exclure des répertoires dans ce fichier nécessite t il que ces répertoires existent réellement sur le serveur?
Je m'explique : j'utilise un CMS pour lequel l'arborescence du site ne reflète pas l'arborescence réelle des dossiers posées sur le serveur. Donc je me dis que si j'exclue un dossier type "mondomaine.com/dossierexclu" et que ce dossier n'existe pas sur le serveur, je ne sais pas si google va le crawler...et donc l'exclure.
Je me suis renseigné un peu sur le net, et je n'arrive pas à voir de précision sur ce sujet.

Si jamais quelqu'un sait, je suis preneur

Merci!

newbie-power...

 

[Marie-Aude]

Aucun besoin de répertoires physiques.

 

[e-kiwi]

et comment les moteurs savant si c est un répertoire physique ou pas ?

 

[raljx]

si tu exclus des repertoires (physiques ou pas) dans ton robots.txt, Google et les autres ne s'y interesserons pas.

 

[KOogar]

et comment les moteurs savant si c est un répertoire physique ou pas ?

le virtuel aura ce tag <base href="http://www.ndd.com/" /> et pas le physique

 

[Leonick]

le virtuel aura ce tag <base href="http://www.ndd.com/" /> et pas le physique

8O je n'ai pas de tel tag sur mes pages, répertoire virtuel ou non.
Par contre, un moyen possible sur de nombreux serveurs, c'est Content-Location: qui indique le nom du script réellement utilisé

 

[joelbarrish]

Merci à tous pour vos réponses!

et comment les moteurs savant si c est un répertoire physique ou pas ?

Ben en fait..je vais peut être m'enfoncer si je m'explique, mais je le tente quand même
J'ai l'impression que google crawle les de 2 manières : via une interface web (il "lit" le code source, suit les liens sur les pages, etc), et via l'exploration de l'arborescence sur les serveurs (j'ai déjà vu google indexer des répertoires de sauvegarde, jamais linkés sur les sites). C'est donc par rapport à cette 2nde seconde méthode d'exploration que je me posais la question du robots.txt.

 

[HawkEye]

(j'ai déjà vu google indexer des répertoires de sauvegarde, jamais linkés sur les sites)

...et jamais visités avec la toolbar activée ?

 

[KOogar]

je pense que google crawle les ftp uniquement parce qu'il télécharge des fichiers pour les analyser ( .pdf, .swf, le fichier sitemap

 

[joelbarrish]

(j'ai déjà vu google indexer des répertoires de sauvegarde, jamais linkés sur les sites)

...et jamais visités avec la toolbar activée ?

bonne remarque...Néanmoins, à priori, je dirai non, car je n'ai jamais accédé à ces ressources que par ftp,et donc jamais avec mon browser.

 

[HawkEye]

OK.
Aucun lien ne pointe vers ces dossiers ?
Aucun fichier de ces dossiers n'est lié depuis ailleurs ?

 

[joelbarrish]

OK.
Aucun lien ne pointe vers ces dossiers ?
Aucun fichier de ces dossiers n'est lié depuis ailleurs ?

Autant que je me rappelle, non, aucun. Je suis le seul à qui c'est arrivé? je pensais que c'était "commun".
En tout cas, pour ma question initiale du robots.txt, vous aviez raison! Repertoire physique ou pas, il s'en fiche le google... :roll:

 

[jb_gfx]

Re:

je pense que google crawle les ftp uniquement parce qu'il télécharge des fichiers pour les analyser ( .pdf, .swf, le fichier sitemap

Quel hacker ce Google...