Site mis en ligne mais indexé "en construction"

[chuck2008]

Bonjour à tous,

Je viens de mettre en ligne le site Quai West Nautique et j'ai commencé son référencement la semaine dernière.

La validation de son contenu a mis un peu de temps car le propriétaire du site n'était pas souvent disponible.

Avant le lancement du référencement et tant que le site n'était pas entièrement validé, j'avais placé dans la balise meta de la page d'accueil:
<meta name="robots" content="noindex,nofollow"/>
et sur le fichier robots.txt la syntaxe suivante:
User-agent: *
Disallow:

Je m'aperçois avec grande surprise que google a indexé la page d'accueil qui n'était pas encore validé et avec un contenu non définitif:
http://webcache.googleusercontent.com/search?q=cache:WrTjq2xHvPAJ:quai ... =firefox-a

Quelqu'un a t'il déjà eu le même problème?

Le webmaster de http://www.quai-west-nautique.com/

 

[L.Jee]

Oui, je l'ai eu il n'y a que quelques jours encore, trop d'indexation, il faut arrêter !

 

[Zecat]

La seule façon de tout verrouiller : un htacces et password ! Même avec adsense avec test = on il vient sniffer ! donc ht access en phase de dev impératif ...

 

[HawkEye]

Avant le lancement du référencement et tant que le site n'était pas entièrement validé, j'avais placé dans la balise meta de la page d'accueil:
<meta name="robots" content="noindex,nofollow"/>
et sur le fichier robots.txt la syntaxe suivante:
User-agent: *
Disallow:

...qui signifie Disallow: rien... donc Allow: tout

La syntaxe correcte est:

User-Agent: *
Disallow: /

(Ne pas autoriser la racine (/) et sa sous-arborescence)

Pour ce qui est de <meta name="robots" content="noindex, nofollow" />, elle n'interdit pas la mise en cache (noarchive).
Les syntaxes correctes sont:

<meta name="robots" content="noindex,nofollow,noarchive" />

ou mieux:

<meta name="robots" content="none" />

Ca arrive aux meilleurs :lol:

 

[chuck2008]

Avant le lancement du référencement et tant que le site n'était pas entièrement validé, j'avais placé dans la balise meta de la page d'accueil:
<meta name="robots" content="noindex,nofollow"/>
et sur le fichier robots.txt la syntaxe suivante:
User-agent: *
Disallow:

...qui signifie Disallow: rien... donc Allow: tout

La syntaxe correcte est:

User-Agent: *
Disallow: /

(Ne pas autoriser la racine (/) et sa sous-arborescence)

Pour ce qui est de <meta name="robots" content="noindex, nofollow" />, elle n'interdit pas la mise en cache (noarchive).
Les syntaxes correctes sont:

<meta name="robots" content="noindex,nofollow,noarchive" />

ou mieux:

<meta name="robots" content="none" />

Ca arrive aux meilleurs :lol:

Pour le disallow : / c'est une erreur de copié/collé, j'avais bien utilisé la bonne syntaxe. Par contre c'est vrai que j'ai oublié le noarchive

Au niveau de la syntaxe de l'.htaccess, laquelle aurait du être utilisée?

Merci d'avance

 

[HawkEye]

Est-ce qu'il t'avait crawlé le robots.txt avant la mise en cache ?

Pour le .htaccess, un petit tour ici : http://www.phpdebutant.org/article51.php