Le robot Google se connecte t-il sur toutes les aborescences mêmes inexistantes ?

Discussion dans 'Débuter en référencement' créé par anthony974, 10 Octobre 2015.

  1. anthony974
    anthony974 WRInaute occasionnel
    Inscrit:
    14 Novembre 2011
    Messages:
    300
    J'aime reçus:
    0
    Bonjour,

    Je me permets de poster un message concernant les crawl de Google.
    Depuis plusieurs jours, je subis des attaques et j'ai mis en place les filtres avec fail2ban.
    Cependant, je remarque en même temps qu'une adresse IP cherche à maintes reprises (à la volée), des fichiers "standards" sous une arborescence "standard" qui n'existe pas sur mon serveur.
    Les voici :

    Concernant 50.28.56.15 et 173.242.127.190, ils ont été bannis automatiquement.
    Concernant l'adresse IP 66.249.64.89 qui correspond à Google, selon le whois, je n'ai entamé aucune action.
    Je n'ai aucun sous dossier /var/www/xxxxxx

    Qu'en pensez-vous svp ?
     
  2. jeanluc
    jeanluc WRInaute accro
    Inscrit:
    3 Mai 2004
    Messages:
    2 882
    J'aime reçus:
    0
    Bonjour,

    Le robot Google ignore les arborescences. Il essaie de se connecter sur des adresses qu'il a trouvées quelque part. Ces adresses peuvent évidemment être fausses. Trouver l'origine de ces adresses n'est pas évident.

    Jean-Luc
     
  3. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    19 651
    J'aime reçus:
    433
    il y a peut-être sur ton site (ou ailleurs sur le web) un lien vers cette URL
    quel est le site ?
     
  4. anthony974
    anthony974 WRInaute occasionnel
    Inscrit:
    14 Novembre 2011
    Messages:
    300
    J'aime reçus:
    0
    Il s'agit d'un serveur dédié, contenant plusieurs sites internet.
    L’arborescence est comme suit :

    var/www/site1.fr/web/contenu-du-site
    var/www/site2.fr/web/contenu-du-site
    var/www/site3.fr/web/contenu-du-site
    etc.

    Sous le répertoire du contenu du site, on retrouve bien des répertoires "standards" comme modules, thèmes, etc.
    Je ne pense donc pas qu'il y a un lien externe pointant vers ces "erreurs" de crawl (si c'est le cas).
    Je n'ai jamais créé un répertoire /var/www/themes par exemple.
     
  5. anthony974
    anthony974 WRInaute occasionnel
    Inscrit:
    14 Novembre 2011
    Messages:
    300
    J'aime reçus:
    0
    Un autre exemple reçu tout à l'heure :
    NetName: GOOGLE-CLOUD
    Est-ce vraiment en rapport direct avec Google ?
    Car vouloir accéder à /var/www/phpMyAdmin , je ne vois pas pourquoi il le ferait...!


     
  6. jeanluc
    jeanluc WRInaute accro
    Inscrit:
    3 Mai 2004
    Messages:
    2 882
    J'aime reçus:
    0
    Non, ce n'est pas Google. C'est un client mal intentionné de Google.

    Ce serait bien de comparer avec les logs des serveurs web. Il y aurait d'autres détails que dans le log d'erreurs.

    Jean-Luc
     
  7. spout
    spout WRInaute accro
    Inscrit:
    14 Mai 2003
    Messages:
    9 003
    J'aime reçus:
    284
    +1 Google Cloud != Googlebot
     
  8. anthony974
    anthony974 WRInaute occasionnel
    Inscrit:
    14 Novembre 2011
    Messages:
    300
    J'aime reçus:
    0
    Malin... :)
    merci pour vos réponses !

    Concernant

    [client 66.249.64.84] File does not exist: /var/www/themes

    C'est bien Google ?
     
  9. Leonick
    Leonick WRInaute accro
    Inscrit:
    8 Août 2004
    Messages:
    19 414
    J'aime reçus:
    0
    ça a bien l'air d'être une ip du gg bot
     
  10. Leonick
    Leonick WRInaute accro
    Inscrit:
    8 Août 2004
    Messages:
    19 414
    J'aime reçus:
    0
    t'es sur un dédié ? parce que la fréquence du crawl est importante quand même. Tu sais que tu peux limiter la vitesse de crawl de gg
     
Chargement...
Similar Threads - robot Google connecte Forum Date
Urls orphelines crawlées par Google + Robots.txt ? Crawl et indexation Google, sitemaps 3 Avril 2020
Passage en https et problème robots.txt dans Google Search Console Débuter en référencement 26 Mars 2018
SEO : Référencement naturel pour le visiteur ou le robot (Spider) - Google - Bing - Autre Référencement Google 10 Janvier 2018
Robots.txt ligne génante selon Googlebot votre avis ? Crawl et indexation Google, sitemaps 23 Mai 2017
Code source et robots Google Débuter en référencement 18 Avril 2017
le robot google ne passe plus sur mon site !! Crawl et indexation Google, sitemaps 12 Août 2016
Echec exploration des pages robot.txt/ google merchant center e-commerce 27 Juillet 2016
Robots.txt : changement soudain d'interpretation par google Crawl et indexation Google, sitemaps 18 Février 2016
Robots.txt pour Google Crawl et indexation Google, sitemaps 21 Octobre 2015
Apres plantage cause robot.txt, Google reste figé, comment résoudre ? Crawl et indexation Google, sitemaps 10 Juillet 2015
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice