Supprimer du duplicate extèrieur

[chimoun]

Bonjour à tous,

après des mois de travail sur le référencement d'un de mes sites me voilà sans résultats.

Je cherche le pourquoi, et m'aperçois qu'un site duplique mes pages par centaines (duplication de mon propre contenu à 100%)

Voilà les urls dupliquées indexées dans google, il y en a des dizaines :
http://cvlev.vi-mobile.appspot.com/www.mondomaine.com/mapage.html
http://assci.pakgalaxy.appspot.com/www.mondomaine.com/mapage.html
http://yaxei.ivegotalovelybunch.appspot.com/www.mondomaine.com/mapage.html
http://urjyu.pakgalaxy.appspot.com/www.mondomaine.com/mapage.html
...

Comment faire pour désindexer rapidement TOUTES ces pages qui nuisent fortement à mon site par duplicate content extèrieur ?

Merci

 

[IllusionPerdu]

Bonjour,

Toutes les url données sont des url de proxy.
Personnellement je n'est trouver aucune solution miracle pour les évitées...
S'il existe une solution elle m’intéresse aussi !

 

[chimoun]

Oui, mais ces urls de proxy provoquent du duplicate content en masse à mon site.

Je suis quasi certain que se sont à cause d'elles que mon site est sanctionné. Il faut que je les supprime.

Penses tu que ces urls de proxy indexées sur google sont l'objet d'un geste mal intentionné ?

 

[XGilbert]

Je mettrai une balise <link rel="canonical" href="http://www.mondomaine.com/mapage.html" /> sur toutes les pages du site
Je retournerai surfer sur mon site via le/les proxys, en espérant qu'ils mettent leur cache à jour.
Une seule chose, est-ce que la balise canonical est prise en compte lorsqu'elle renvoie vers un site externe ?

 

[zeb]

il y a plus rapide pour ce genre de sangsues passez directement a l'attaque.

 

[chimoun]

Je mettrai une balise <link rel="canonical" href="http://www.mondomaine.com/mapage.html" /> sur toutes les pages du site
Je retournerai surfer sur mon site via le/les proxys, en espérant qu'ils mettent leur cache à jour.
Une seule chose, est-ce que la balise canonical est prise en compte lorsqu'elle renvoie vers un site externe ?

Effectivement, je vais installer cette balise mais je veux également supprimer les urls de proxy.

Peut être en refusant l'accès par le bloquage de l'ip du proxy via le htaccess ?

 

[forty]

pour bloquer les proxy il faut ajouter dans le htaccess :

#interdit AppEngine-Google
RewriteCond %{HTTP_USER_AGENT} ^AppEngine-Google
RewriteRule ^.*$ - [F,L]

 

[zeb]

Peut être en refusant l'accès par le bloquage de l'ip du proxy via le htaccess ?

Chez moi (voir lien) j'ai suivi quelques un de ces proxy de me*de après installation de la règle dans le htaccess et j'ai pu constater que les aperçus contenaient un belle page yahoo. Donc google a bien re-crawlé ces pages et viré mon contenu pour celui de yahoo fixé par le htaccess. Bref plu de souci de duplicate (enfin pas pour yahoo mais bon ... c'est une page de recherche que j'envoie).

 

[chimoun]

pour bloquer les proxy il faut ajouter dans le htaccess :

#interdit AppEngine-Google
RewriteCond %{HTTP_USER_AGENT} ^AppEngine-Google
RewriteRule ^.*$ - [F,L]

Merci pour ce joli code, je vais installer ça desuite !!!!

Je me rends compte qu'un grand nombre de sites sont touchés par ce même problème.

 

[zeb]

et il y a pas que ça ... wiki mémorise les page citées dans ses articles aussi (en trafiquant tes pages au passage)
https://www.webrankinfo.com/forum/t/wiki-cache-publicite.135333/ regarde ici : -http://archive.wikiwix.com/cache/?url=http://www.pointvoyance.com/

eux pour les sortir c'est encore plus simple suffit de blacklister les ip de leur serveurs

	order allow,deny
	deny from 195.221.21.171
	deny from 195.221.21.172
	deny from 195.221.21.173
	deny from 195.221.21.150
	deny from 195.221.21.225
	deny from 195.221.21.227
	deny from 195.221.21.229
	deny from 195.221.21.231
	deny from 195.221.21.235
	allow from all

On devrais dresser une liste des parasites et des contre mesures pour se faciliter la vie

 

[forty]

pour wikiwix c'est plutôt dans le robots.txt la solution : http://archive.wikiwix.com/cache/cache.php

 

[chimoun]

pour bloquer les proxy il faut ajouter dans le htaccess :

#interdit AppEngine-Google
RewriteCond %{HTTP_USER_AGENT} ^AppEngine-Google
RewriteRule ^.*$ - [F,L]

Après installation du code, quasi tous les proxy sont redirigés vers une page blanche.

Un seul renvoie vers ma page index.

Faut il bannir son adresse IP ?

 

[zeb]

Un seul renvoie vers ma page index.

C'est peut être une version "en cache" de ton index (ajoute un petit truc dedans et regarde si le proxy te donne bien la même page)

 

[chimoun]

Un seul renvoie vers ma page index.

C'est peut être une version "en cache" de ton index (ajoute un petit truc dedans et regarde si le proxy te donne bien la même page)

Apparemment tous les proxy sont pris en compte... J'espère que les pages des proxy vont maintenant rapidement se désindexer.

Et encore une fois merci pour l'aide

 

[Leonick]

pour wikiwix c'est plutôt dans le robots.txt la solution : http://archive.wikiwix.com/cache/cache.php

si tu savais le nombre de bots (même officiels) qui ne respectent pas le robots.txt

 

[chimoun]

Maintenant, reste à supprimer ces urls des serps.

Est ce qu'il me faudra attendre patiemment que google passe sur toutes ces urls ou alors une autre méthode pour aller plus vite ?

Je pense notamment à relever toutes ces urls de proxy et faire un lien depuis un nom de domaine (nom de domaine parking par exemple) pour que google les prennent en compte rapidement.
Mais cette méthode prend du temps à être mise en place puisqu'il faut que je détecte toutes les urls ou une grosse partie.

 

[zeb]

je serais toi j'attendrai une semaine ou deux, c'est le temps que ça a pris pour que ça dégage pour moi sans rien faire.

 

[chimoun]

je serais toi j'attendrai une semaine ou deux, c'est le temps que ça a pris pour que ça dégage pour moi sans rien faire.

Merci pour ton retour