Cette syntaxe de robots.txt est-elle correcte ?

Discussion dans 'Administration d'un site Web' créé par Savoy, 8 Avril 2013.

Tags:
  1. Savoy
    Savoy WRInaute occasionnel
    Inscrit:
    22 Février 2007
    Messages:
    278
    J'aime reçus:
    0
    Bonjour,

    J'ai plusieurs erreurs qui sortent dans les GWT et qui concernent les dossier d'un forum, à savoir des url de type :

    forums/shared_files/uploaded/1194/
    forums/shared_files/uploaded/1340/
    forums/shared_files/uploaded/1029/
    forums/shared_files/uploaded/992/
    forums/shared_files/uploaded/869/
    forums/shared_files/uploaded/909/
    etc...

    J'ai interdit l'accès au robot à ces dossiers avec la syantaxe suivante :

    Disallow: /forums/shared_files/uploaded/

    Mais ces pages sont toujours présentes dans mes GWT...
    Pouvez vous me confirmer que cette syntaxe est correcte (avec User-agent: *)?

    Merci
     
    #1 Savoy, 8 Avril 2013
  2. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    20 054
    J'aime reçus:
    533
    interdire le crawl n'interdit pas l'indexation !
    donc si les documents étaient déjà indexés, interdire leur accès ne fait qu'empêcher leur mise à jour

    par contre dans ton cas, tout étant dans un même répertoire, tu peux aller faire une demande de désindexation via GWT
     
    #2 WebRankInfo, 8 Avril 2013
  3. Savoy
    Savoy WRInaute occasionnel
    Inscrit:
    22 Février 2007
    Messages:
    278
    J'aime reçus:
    0
    Merci pour cette réponse, la syntaxe est-elle néanmoins correcte ?

    Par ailleurs pour supprimer le rep complet dois je indiquer dans l'url à supprimer :

    forums/shared_files/uploaded/
    ou plutot
    www.monsite.com/forums/shared_files/uploaded/
     
    #3 Savoy, 9 Avril 2013
  4. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    20 054
    J'aime reçus:
    533
    oui la syntaxe est bonne.
    il faut indiquer l'URL complète
     
    #4 WebRankInfo, 9 Avril 2013
  5. Savoy
    Savoy WRInaute occasionnel
    Inscrit:
    22 Février 2007
    Messages:
    278
    J'aime reçus:
    0
    Ok merci et si je veux supprimer un grand nombre d'url de type (Il s'agit d'articles d'une boutique) :

    /vente/articleRef123456.html
    /vente/articleRef12313.html
    /vente/articleRef45648.html
    /vente/articleRef45949.html

    Si dans l'outil de suppression d'url je renseigne
    -http://www.example.com/vente/
    va-t-il prendre en compte toutes ces url ou pas ?
     
    #5 Savoy, 10 Avril 2013
  6. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    11 890
    J'aime reçus:
    75
    Oui, parce que c'est un dossier. Mais il faut qu'il soit bloqué via le robots.txt au préalable.
     
    #6 UsagiYojimbo, 10 Avril 2013
(Vous devez vous identifier ou vous inscrire pour poster ici.)
Chargement...
Similar Threads - syntaxe robots correcte Forum Date
Robots.txt et syntaxe de Disallow Crawl et indexation Google, sitemaps 2 Juin 2017
Quelle syntaxe pour les mots-clés ? Débuter en référencement 6 Juillet 2020
Search Console Site FR en attente de Multilangue + syntaxe Robot.txt Référencement international (langues, pays) 5 Novembre 2019
syntaxe, pattern redirect Crawl et indexation Google, sitemaps 1 Octobre 2019
syntaxe commande dans htaccess Crawl et indexation Google, sitemaps 8 Juillet 2019
Syntaxe des mots clefs pour le référencement Rédaction web et référencement 20 Juin 2019
Syntaxe .htaccess pour migrer des URL URL Rewriting et .htaccess 7 Janvier 2018
La syntaxe SQL permet-elle plusieurs mots-clefs dans une (sous-)requête identique ? Développement d'un site Web ou d'une appli mobile 17 Août 2017
Je ne comprends pas cette syntaxe Développement d'un site Web ou d'une appli mobile 10 Avril 2017
Erreur au niveau des URL dans GWT - Question sur les redirections et sur la syntaxe Problèmes de référencement spécifiques à vos sites 15 Mai 2014