|
Voir le sujet précédent :: Voir le sujet suivant
|
| Auteur |
Message |
| |
|
piloue
Nouveau WRInaute
Inscrit le: 04 Aoû 2004
Messages: 6
|
 Posté le : Lun Nov 14, 2005 17:27 Sujet du message: Desindexer pour faire le ménage |
|
|
Bonjour,
J'utilise une technologie serveur particulière qui a eu un temps la mauvaise habitude d'afficher dans l'URL un ID de session et qui n'était pas optimisé pour le passage des bots.
Résultat, je peux avoir 20 fois la même page référencée 
On le constate bien pour le site son-et-technique.com sur google où plus de 2200 pages sont référencées alors qu'il ne contient qu'une dizaine de pages statiques et environ 400 références article.
Malheureusement, toutes ces URL sont valides, google n'a aucune raison de les supprimer tout seul.
Depuis l'eau a coulé sous les ponts et on a enfin des choses plus cohérentes en terme de résultat.
C'est à ça que je voudrais arriver pour son-et-technique (et d'autres).
Je le précise tout de suite : je ne peux pas utiliser de htaccess sur ce type de serveur.
La seule solution que je vois c'est mettre des meta de refus de bot
noindex, nofollow dans toutes les pages du site, attendre que les bots passent, suppriment ces pages de leurs index, puis virer mes tags et attendre un nouveau passage.
-> Est-ce le seul moyen de procéder ?
-> Quels sont les risques ?
Merci de vos lumières ! |
|
| |
|
 |
Khal3d
WRInaute passionné
Inscrit le: 03 Déc 2004
Messages: 725
Localisation: Marrakech
|
| Posté le : Lun Nov 14, 2005 18:04 Sujet du message: Desindexer pour faire le ménage |
|
|
| je compte faire la meme chose pour mon site, mais je sais pas comment procéder ! par meta ou par robots.txt ??? j'ai des tonnes de pages avec le truc PHPSID... |
|
| |
|
|
Aquarius
WRInaute impliqué
Inscrit le: 08 Nov 2004
Messages: 447
Localisation: Poitiers
|
| Posté le : Lun Nov 14, 2005 18:41 Sujet du message: Desindexer pour faire le ménage |
|
|
Une autre solution : mettre un robots.txt à la racine de vos sites pour interdire l'indexation de certaines de vos URL par les bots.
Pour déindexer les URL en double qui risquent de provoquer du duplicate content sur Google vous pouvez aller à cette adresse après avoir installer votre robots.txt : http://services.google.com:8882/urlconsole/controller |
|
| |
|
|
Khal3d
WRInaute passionné
Inscrit le: 03 Déc 2004
Messages: 725
Localisation: Marrakech
|
| Posté le : Lun Nov 14, 2005 18:45 Sujet du message: Desindexer pour faire le ménage |
|
|
| Aquarius a écrit: |
Une autre solution : mettre un robots.txt à la racine de vos sites pour interdire l'indexation de certaines de vos URL par les bots.
Pour déindexer les URL en double qui risquent de provoquer du duplicate content sur Google vous pouvez aller à cette adresse après avoir installer votre robots.txt : http://services.google.com:8882/urlconsole/controller |
oui merci, j'ai deja essayer ce formulaire pour le suppression d'un site (en entier), maintenant je veux juste supprimer certaines pages de mon site, ces pages sont générés automatiquement, expl url -http://www.maroc-selection.com/pagechambre.php?hotelid=9976&zoneid=12556 .
que vais je mettre dans le fichier robots .txt ? |
|
| |
|
|
piloue
Nouveau WRInaute
Inscrit le: 04 Aoû 2004
Messages: 6
|
| Posté le : Lun Nov 14, 2005 19:59 Sujet du message: Desindexer pour faire le ménage |
|
|
Quand on se retrouve avec 1000 URL à supprimer, c'est fastidieux...
Par ailleurs, je croyais que le robots.txt était plus pénalisant cas google met un certain temps à voir quand de nouvelles autorisations ont été mises en place.
Ce n'est pas plus facile de se faire re-indexer ensuite si l'on met des méta ? |
|
| |
|
|
Khal3d
WRInaute passionné
Inscrit le: 03 Déc 2004
Messages: 725
Localisation: Marrakech
|
| Posté le : Mar Nov 15, 2005 14:23 Sujet du message: Desindexer pour faire le ménage |
|
|
j'ai trouver ça sur les pages de google "conseils webmaster":
User-agent: Googlebot
Disallow: /*?
si je met ces lignes dans une fichier robots.txt, google va til vraiment supprimer tout mes pages dynamique ?
merci pour vos réponses |
|
| |
|
|
Aquarius
WRInaute impliqué
Inscrit le: 08 Nov 2004
Messages: 447
Localisation: Poitiers
|
| Posté le : Mar Nov 15, 2005 16:00 Sujet du message: Desindexer pour faire le ménage |
|
|
Bin moi j'ai trouvé ça sur le site d'Abondance (à cette adresse : http://docs.abondance.com/robots.html) :
| Abondance a écrit: |
L'étoile (*) n'est acceptée que dans le champ User-agent.
Elle ne peut servir de joker (ou d'opérateur de troncature) comme dans l'exemple : Disallow: /entravaux/*. |
Donc ta ligne n'est pas valide... |
|
| |
|
|
Aquarius
WRInaute impliqué
Inscrit le: 08 Nov 2004
Messages: 447
Localisation: Poitiers
|
| Posté le : Mar Nov 15, 2005 16:06 Sujet du message: Desindexer pour faire le ménage |
|
|
Khal3d, quelles sont les URL que tu veux supprimer ? Donne un exemple d'URL.
Idem pour Piloue (quel est ton site ?) |
|
| |
|
|
HawkEye
Modérateur
Inscrit le: 23 Fév 2004
Messages: 12777
Localisation: Bah: First! C'te question...!?
|
| Posté le : Mar Nov 15, 2005 16:22 Sujet du message: Desindexer pour faire le ménage |
|
|
Tu peux aussi utiliser quelquechose comme:
| Code: |
$agent = $_SERVER['HTTP_USER_AGENT'];
if ((stristr($agent, "rchive"))||
// for testing ...
// (stristr($agent, "your browser"))||
(stristr($agent, "IE"))||
(stristr($agent, "bot"))||
(stristr($agent, "crawl"))||
(stristr($agent, "index"))||
(stristr($agent, "eeves"))||
(stristr($agent, "eck"))||
(stristr($agent, "link"))||
(stristr($agent, "cooter"))||
(stristr($agent, "slurp")
(stristr($agent, "slurp"))||
(stristr($agent, "pider")))
{
$usesession="no";
} else {
include("include/session.php");
$usesession="yes";
session_start();
}
|
...je te laisse ajouter le poivre, le sel, et passer au four  |
|
| |
|
|
Khal3d
WRInaute passionné
Inscrit le: 03 Déc 2004
Messages: 725
Localisation: Marrakech
|
|
| |
|
|
Aquarius
WRInaute impliqué
Inscrit le: 08 Nov 2004
Messages: 447
Localisation: Poitiers
|
| Posté le : Mar Nov 15, 2005 18:34 Sujet du message: Desindexer pour faire le ménage |
|
|
Tu met dans ton robots.txt :
| Code: |
User-agent: *
Disallow: /pagechambre.php? |
Normalement les bots devraient arréter d'indexer les URL. Après si tu veux vraiment les supprimer de Google, tu vas à l'adresse que je t'ai donné plus haut et tu entres l'URL de ton robots.txt, et Google supprimera les URL correspondantes. |
|
| |
|
|
Khal3d
WRInaute passionné
Inscrit le: 03 Déc 2004
Messages: 725
Localisation: Marrakech
|
| Posté le : Mar Nov 15, 2005 19:31 Sujet du message: Desindexer pour faire le ménage |
|
|
| Aquarius a écrit: |
Tu met dans ton robots.txt :
| Code: |
User-agent: *
Disallow: /pagechambre.php? |
Normalement les bots devraient arréter d'indexer les URL. Après si tu veux vraiment les supprimer de Google, tu vas à l'adresse que je t'ai donné plus haut et tu entres l'URL de ton robots.txt, et Google supprimera les URL correspondantes. |
c'est ce que j'ai bien fais  tnx |
|
| |
|
|
Khal3d
WRInaute passionné
Inscrit le: 03 Déc 2004
Messages: 725
Localisation: Marrakech
|
| Posté le : Mer Nov 16, 2005 11:27 Sujet du message: Desindexer pour faire le ménage |
|
|
| ça marche j'ai utiliser le formulaire super rapide de google pour supprimer toutes mes pages "pagehotel.php?" de mon site ! ce matin la je les trouve plus sur google |
|
| |
|
|
Aquarius
WRInaute impliqué
Inscrit le: 08 Nov 2004
Messages: 447
Localisation: Poitiers
|
| Posté le : Mer Nov 16, 2005 11:31 Sujet du message: Desindexer pour faire le ménage |
|
|
| Content d'avoir pu t'aider mais je pense que tu devrais te tourner sérieusement vers l'URL Rewriting car tes URL sont en général très compliquées, et pour les moteurs c'est pas toujours une bonne chose... |
|
| |
|
|
Khal3d
WRInaute passionné
Inscrit le: 03 Déc 2004
Messages: 725
Localisation: Marrakech
|
| Posté le : Mer Nov 16, 2005 12:16 Sujet du message: Desindexer pour faire le ménage |
|
|
| je compte créer des pages statiques qui vont remplacer celles qui sont dynam, qui seront plus indexé par google, je pense laisser le fichier robots tel qu'il est, ou bien ajoter un meta tag noindex. |
|
| |
|
|
| |
|
|
