N'autoriser que Google

Discussion dans 'Crawl et indexation Google, sitemaps' créé par dumbel, 19 Février 2013.

  1. dumbel
    dumbel WRInaute discret
    Inscrit:
    30 Mai 2005
    Messages:
    185
    J'aime reçus:
    0
    Bonjour,

    je souhaite indexer mon site uniquement sur Google, j'ai donc mis les lignes suivnates dans le robots.txt:

    User-agent: *
    Disallow:/
    User-agent: Googlebot
    Allow: /

    Or lorsque je soumets par exemple un sitemap mon GWT m'indique 'Réseau inaccessible: Impossible d'atteindre robots.txt'

    ???

    Auriez vous une idée sachant que mon site est parfaitement accessible?
     
  2. finstreet
    finstreet WRInaute accro
    Inscrit:
    10 Juillet 2005
    Messages:
    13 358
    J'aime reçus:
    2
  3. StefouFR
    StefouFR Guest
    Bonjour,

    de mon coté j'utiliserai plutôt :

    Bon courage !
     
  4. dumbel
    dumbel WRInaute discret
    Inscrit:
    30 Mai 2005
    Messages:
    185
    J'aime reçus:
    0
    @ StefouFR:
    Je ne pense pas que l'ordre ait une importance quelconque mais je note ton idée

    En tout cas, Merci à tout les 2 , je vais voir ça avec mon hébergeur...
     
  5. StefouFR
    StefouFR Guest
    Ce n'est pas une question d'ordre dans ma syntaxe.


    Bon courage pour la suite.
     
  6. ybet
    ybet WRInaute accro
    Inscrit:
    22 Novembre 2003
    Messages:
    7 419
    J'aime reçus:
    1
    Il y a plusieurs choses qui me pose problème: pourquoi supprimer les autres moteurs de recherches .... comme Bing? (pour les pseudo moteurs genre régie publicitaires comme ask, babylon OK mais pour les autres?
    La deuxième est comment va réagir Google en sachant que tu n'accepte que lui?
     
  7. Rogers
    Rogers WRInaute impliqué
    Inscrit:
    24 Janvier 2003
    Messages:
    673
    J'aime reçus:
    0
    On parle souvent de Bing, mais pour moi Voila est plus productif :D. Il ne faut pas l'oublier :)
     
  8. dumbel
    dumbel WRInaute discret
    Inscrit:
    30 Mai 2005
    Messages:
    185
    J'aime reçus:
    0
    @Ybet: j'ai une grosse (énorme) pénalité sur GG mais pas sur les autres moteurs de recherche , alors j'ai refait mon site avec nouvelle adresse.. ceci explique cela...
     
  9. rd79
    rd79 Nouveau WRInaute
    Inscrit:
    27 Mars 2013
    Messages:
    2
    J'aime reçus:
    0
    Bonjour,

    Est-ce que le problème était lié à l'hébergeur ?
    Cela m'intéresse car je rencontre le même problème... (site correctement indexé sur Google jusqu'à un arrêt soudain il y a 2 semaines avec un robots.txt auquel Googlebot ne peut plus accéder).

    Merci
     
Chargement...
Similar Threads - autoriser Google Forum Date
Comment Autoriser seulement Google à avoir un lien direct URL Rewriting et .htaccess 13 Février 2017
Google PageSpeed : Autoriser la mise en cache Débuter en référencement 13 Mars 2014
Comment autoriser Google à indexer un contenu protégé Référencement Google 10 Décembre 2013
Ne pas autoriser Google à indexer des pages ! Crawl et indexation Google, sitemaps 25 Janvier 2013
Autoriser Google Adsense Bot, interdire tous les autres ? Problèmes de référencement spécifiques à vos sites 15 Mars 2011
Autoriser googlebot à se connecter Développement d'un site Web ou d'une appli mobile 31 Août 2008
Autoriser Google a consulter du contenu restreint Référencement Google 13 Juin 2008
N autoriser que les robots et les liens Refer google URL Rewriting et .htaccess 15 Mars 2008
Empêcher le download mais autoriser la lecture mp3 URL Rewriting et .htaccess 17 Août 2021
Robots : n'autoriser que les 4 ou 5 moteurs de recherche principaux Crawl et indexation Google, sitemaps 15 Janvier 2021
Autoriser un fichier txt depuis htaccess ? Netlinking, backlinks, liens et redirections 13 Décembre 2016
Interdire Iframe mais autoriser certains sites Développement d'un site Web ou d'une appli mobile 11 Mai 2016
Robots.txt: interdire un dossier mais autoriser une page de ce dossier Crawl et indexation Google, sitemaps 3 Février 2016
Autoriser l'accès que pour include. Développement d'un site Web ou d'une appli mobile 9 Janvier 2015
Autoriser les URL dans les commentaires : pour et contres Débuter en référencement 8 Octobre 2014
Autoriser une seule url à outrepasser une identification .htpassd URL Rewriting et .htaccess 25 Juillet 2014
Quel type de site doit-on autoriser dans la liste de Adsense? AdSense 15 Août 2013
Un SPF pour autoriser smtp.free.fr à envoyer des e-mails Administration d'un site Web 18 Janvier 2013
htacces htpasswd autoriser script php serveur URL Rewriting et .htaccess 6 Décembre 2012
Que faut-il faire pour autoriser la récupération de contenu d'un site web Droit du web (juridique, fiscalité...) 28 Juin 2012