Désindexation sites suite à un problème robot spam

nsonigo

Nouveau WRInaute
Bonjour à tous,

Nos différents sites Wordpress (voir exemples d'URLs ci-dessous) ont été désindexés des résultats Google ces derniers jours. Ce changement est survenu la semaine dernière, le jour-même d'une attaque de robot spam sur l'un de nos sites, ce qui a généré un nombre de requêtes inhabituel sur l'IP de notre serveur.

https://cloudeco.fr
https://cloudeco-recrutement.fr
https://sct-telecom.fr
https://sct-telecom-faq.fr

Nous avons entrepris plusieurs actions pour remédier à ce problème :
- Restauration des sites à une date antérieure à l'attaque
- Re-upload du fichier robots.txt à la racine du serveur pour chaque site
- Vérification de la présence éventuelle de l'IP du serveur hébergeant nos sites sur une blacklist...

Malgré toutes ces actions, nos sites demeurent désindexés et nous ne parvenons pas à inviter google bot à venir examiner à nouveau nos sites ni à consulter les sitemap mises en place, le robot nous renvoie un échec d'accès au serveur...

Merci d'avance pour vos réponses, en espérant trouver une solution à ce problème dans les meilleurs délais grâce à votre aide...!

Bien cordialement,
 

Madrileño

Membre Honoré
Bonjour,

Pareil ici, "connection timed out" pour les 4 liens.

N'hésitez pas à vous présenter au forum : ici et entre deux messages présenter vos avis aussi sur les sujets : ici, pour aider les autres personnes de la communauté d'entraide.

Temps de réponse : 2 minutes.
Cordialement.
 

Johanwri

WRInaute occasionnel

Johanwri

WRInaute occasionnel
C'est curieux car je viens de refaire le test de mon côté + de demander l'aide d'une collègue via nos mobiles hors réseau interne de la société, ils sont parfaitement accessibles pour nous...

Videz le cache de vos navigateurs et essayez de vous reconnecter
 

nsonigo

Nouveau WRInaute
Bonjour,

Pareil ici, "connection timed out" pour les 4 liens.

N'hésitez pas à vous présenter au forum : ici et entre deux messages présenter vos avis aussi sur les sujets : ici, pour aider les autres personnes de la communauté d'entraide.

Temps de réponse : 2 minutes.
Cordialement.

Bionjour Madrileño,

Je vais me pencher là dessus alors mais de mon côté, RAS sur ce point...

Bien noté pour la présentation, désolé, je vais m'en occuper rapidement.


Nous avions plusieurs résultats positionnés en première page depuis des mois, assez logiquement sur des requêtes de pur branding. Aujourd'hui, ces pages ont tout simplement disparu et nous avons plusieurs signaux d'alertes depuis Search Console et Analytics à propos de l'accès au fichier robots.txt ainsi qu'à nos sitemap... Ceci coincidant exactement avec l'attaque spam subie la semaine dernière...
 

Johanwri

WRInaute occasionnel
Nous avions plusieurs résultats positionnés en première page depuis des mois, assez logiquement sur des requêtes de pur branding. Aujourd'hui, ces pages ont tout simplement disparu .

Tu peux donner l'URL de ces pages qui etaient bien postionnees
Il faudrait voir si c'est le positionnement qui a chute ou si la page n'est plus du tout indexee dans Google
 

nsonigo

Nouveau WRInaute

Johanwri

WRInaute occasionnel

Effectivement ces URL semblent desindexees ; c'est la racine du nom de domaine.
Ils restent des URLs de chaque site indexes

Je pense que la premiere etape c'est de retrouver acces a tes sites.
Si nous n'avons pas acces, Google non plus.

Vous voyez vos sites peut etre a cause du cache
 

nsonigo

Nouveau WRInaute
Effectivement ces URL semblent desindexees ; c'est la racine du nom de domaine.
Ils restent des URLs de chaque site indexes

Je pense que la premiere etape c'est de retrouver acces a tes sites.
Si nous n'avons pas acces, Google non plus.

Vous voyez vos sites peut etre a cause du cache

Ce qui est surprenant c'est que je les vois également en navigation privée et/ou depuis un appareil personnel à partir duquel je n'ai jamais été amené à effectuer ce type de requêtes...

"Retrouver accès à tes sites" ==> qu'entends-tu par là ?

un petit tour dans search console s'impose, pour voir si Google a aussi des pb d'accès

Bonjour Admin,

Je suis allé sur Search Console hier après nos actions et encore ce matin à l'instant, mais cela ne semble toujours pas fonctionner... Pourtant nous avons bien un fichier robots.txt à la racine du serveur, nous avons vérifié cela hier à plusieurs reprises mais google bot ne semble pas réussir à y accéder (voir captures ci-dessous)... capture 10.PNG

capture 11.PNG
 

Johanwri

WRInaute occasionnel
"Retrouver accès à tes sites" ==> qu'entends-tu par là ?

J'entends que je puisse voir les sites en ligne.
Madrileno n'a pas non plus acces ; il faudrait que d'autres membres confirme si ils voient les sites ou pas.

Dans la Search Console, Expoloration > Erreurs d'exploration, que vois tu ?
 

cthierry

WRInaute passionné
Je vois tes sites, les 4, même si ils mettent un peu de temps à s'afficher. Et il y a aussi les 4 robots.txt
User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Allow: /wp-content/uploads/
 

nsonigo

Nouveau WRInaute
J'entends que je puisse voir les sites en ligne.
Madrileno n'a pas non plus acces ; il faudrait que d'autres membres confirme si ils voient les sites ou pas.

Dans la Search Console, Expoloration > Erreurs d'exploration, que vois tu ?

C'est très surprenant car certains les voient, d'autres pas du tout... Je viens d'aller voir sur Search Console pour la propriété concernant le site sct-telecom.fr, voici ce que je vois :

capture 12.PNG
Encore une fois, j'ai essayé d'envoyer le fichier robots.txt que nous avons bien remis en place à la racine du serveur, mais cela échoue systématiquement.

Je vois tes sites, les 4, même si ils mettent un peu de temps à s'afficher. Et il y a aussi les 4 robots.txt

Bonjour Cthierry,

Les sites sont accessibles sans problème avec les URLs effectivement mais vous les voyez dans les résultats Google ? Si oui, à partir de quelle requête ? Les fichiers robots.txt existent bien effectivement mais nous n'arrivons pas à inviter google bot à venir les examiner de nouveau pour réindexer nos pages...
 

nsonigo

Nouveau WRInaute
En envoyant un ping, message d'erreurs :
Unable to connect to the remote server (https://cloudeco.fr)
Unable to connect to the remote server (https://cloudeco-recrutement.fr)
Unable to connect to the remote server (https://sct-telecom.fr)
Unable to connect to the remote server (https://sct-telecom-faq.fr)

Ok... Mais nous avons fait des contrôles, il n'y a aucun problème a priori sur notre serveur... Est-ce qu'un blocage a pu être mis côté google bot pour ne plus aller consulter les sites qui y sont hébergés ?
 

spout

WRInaute accro
Pas accessible non plus ici.
Les DNS fonctionnent mais pas le ping.

SvzNbK7.png
 

Johanwri

WRInaute occasionnel
Encore une fois, j'ai essayé d'envoyer le fichier robots.txt que nous avons bien remis en place à la racine du serveur, mais cela échoue systématiquement.
Il faut resoudre ce probleme

Pistes
1 - Quels sont les droits sur ton fichier robots.tx ?
2 - Ou est ce que ton serveur est herbege ?
3 - As tu un parefeu ?
 

nsonigo

Nouveau WRInaute
Pas accessible non plus ici.
Les DNS fonctionnent mais pas le ping.

SvzNbK7.png

Bonjour Spout merci pour ta réponse mais du coup, qu'est-ce que cela signifie ?

Il faut resoudre ce probleme

Pistes
1 - Quels sont les droits sur ton fichier robots.tx ?
2 - Ou est ce que ton serveur est herbege ?
3 - As tu un parefeu ?

1- la question concerne les pages autorisées / non autorisées pour le robot google dans le fichier robots.txt ?
2- serveur mutualisé
3- oui, ça a également été contrôlé chez nous pour voir si le problème venait d'un blocage à ce niveau là, RAS a priori


Merci mais là encore, je ne comprends pas ce que cela signifie concrètement et comment on peut vérifier cela ?
 

Johanwri

WRInaute occasionnel
1- la question concerne les pages autorisées / non autorisées pour le robot google dans le fichier robots.txt ?

Non les permissions sur le fichier robots.txt au niveau du serveur
Copie ecran : https://prnt.sc/kua653

Meme si ca n'expliquerai pas pourquoi je ne peux pas voir les sites..
Comme dit spout c'est pas facile pour nous de determiner le probleme ; j'essaie juste d'imaginer d'ou peut venir le probleme et proposer des pistes, bonnes ou mauvaises

3- oui, ça a également été contrôlé chez nous pour voir si le problème venait d'un blocage à ce niveau là, RAS a priori

Est ce que la configuration de votre serveur a ete modifee apres l'attaque ?

Tu as essaye de redemarrer le serveur ?

Dans la search console, est ce que tu peux essayer de soumettre de nouveau le sitemap de ton site et voir si il te donnent un message d'erreur.
 

nsonigo

Nouveau WRInaute
Non les permissions sur le fichier robots.txt au niveau du serveur
Copie ecran : https://prnt.sc/kua653

Je viens de regarder, voici les droits que nous avons sur le robots.txt, ce sont les mêmes que ceux qui sont indiqués sur ta copie d'écran...

2018-09-14.png

Meme si ca n'expliquerai pas pourquoi je ne peux pas voir les sites..
Comme dit spout c'est pas facile pour nous de determiner le probleme ; j'essaie juste d'imaginer d'ou peut venir le probleme et proposer des pistes, bonnes ou mauvaises

Est ce que la configuration de votre serveur a ete modifee apres l'attaque ? Tu as essaye de redemarrer le serveur ?

==> Pas à ma connaissance non ; nous avons simplement levé des blocages que nous avions mis suite à l'attaque spam et procédé à la restauration de nos sites. Le redémarrage du serveur n'a pas été fait par contre.

Dans la search console, est ce que tu peux essayer de soumettre de nouveau le sitemap de ton site et voir si il te donnent un message d'erreur.

==> Je l'ai fait pour plusieurs de nos sites, la Search Console me renvoie un message d'erreur indiquant qu'il est impossible de récupérer le sitemap :

capture 7.PNG
 

Johanwri

WRInaute occasionnel
Le redémarrage du serveur n'a pas été fait par contre.
Ca vaut le coup de le faire

==> Je l'ai fait pour plusieurs de nos sites, la Search Console me renvoie un message d'erreur indiquant qu'il est impossible de récupérer le sitemap :
Donc le probleme n'est pas uniquement sur un acces au fichier robots mais aussi le sitemap

La copie ecran que tu as donne tout a l'heure n'indique pas de probleme de connection au serveur , tu confirme ?
 

nsonigo

Nouveau WRInaute
Ca vaut le coup de le faire

Ok je vois ça en espérant que cela puisse fonctionner...!

Donc le probleme n'est pas uniquement sur un acces au fichier robots mais aussi le sitemap
La copie ecran que tu as donne tout a l'heure n'indique pas de probleme de connection au serveur , tu confirme ?

Non, les messages d'erreur reçus sont ceux figurant dans les captures d'écran déposées ici... Aucun autre message concernant la connexion au serveur
 

Johanwri

WRInaute occasionnel
Est ce que tu utilise un CDN ? Amazon CloudFront ?
Ca pourrait expliquer que certaines personnes peuvent acceder au site et d'autres non
Et les problemes d'acces au fichiers pourraient etre lie au CDN

Copie ecran : https://prnt.sc/kubxdr

Tu es sur 2 blacklist apparement
 

Madrileño

Membre Honoré
Bonjour,

Tests des sites en version fr :
sct-telecom-faq
sct-telecom
cloudeco
cloudeco-avis
sct-telecom-avis
cloudeco-recrutement

Réponses :
5 outils en lignes + navigateurs = "connection timed out".

Temps de réponse : 10 minutes.
Cordialement.
 

nsonigo

Nouveau WRInaute
Bonjour,

Tests des sites en version fr :
sct-telecom-faq
sct-telecom
cloudeco
cloudeco-avis
sct-telecom-avis
cloudeco-recrutement

Réponses :
5 outils en lignes + navigateurs = "connection timed out".

Temps de réponse : 10 minutes.
Cordialement.

Madrileño,

Est-ce que cela peut expliquer seul l'origine du problème ? Personnellement nous avons refait les tests de notre côté sur différents outils en ligne et navigateurs, et nous ne sommes pas confrontés au problème donc cela me semble trop aléatoire pour être la cause du souci...?
 

Madrileño

Membre Honoré
Bonjour,

Page Speed (Google) affiche aussi :
Délai avant expiration dépassé lors de la connexion à sct-telecom[...]. Assurez-vous que la page est accessible à partir de l'Internet public.

Si les sites sont inaccessibles (et ce n'est pas aléatoire, puisque c'est avec tous les tests) c'est un problème (Nombreux outils avec la même erreur, outils de Google, tests avec IP différentes qui affichent toujours la même erreur.).

Temps de réponse : 10 minutes.
Cordialement.
 

Discussions similaires

Haut