Robot.txt et Disallow un dossier mais pas tous ses sous dossiers ?

Discussion dans 'Débuter en référencement' créé par Douf, 8 Avril 2012.

Tags:
  1. Douf
    Douf WRInaute discret
    Inscrit:
    9 Juillet 2005
    Messages:
    81
    J'aime reçus:
    0
    Bonsoir à toutes et tous,

    J'ai un petit problème avec un fichier robot.

    Mon site est une galerie photo, et j'aimerais que si on partage une photo sur facebook, elle apparaisse en miniature.

    A cette simple chose, il y a plusieurs problèmes :( :
    les photos présentent sur les pages sont "insérées" via un blackground dans un div, de façon à limiter la facilité à les prendre (le clic droit donnera une image transparente de 1px sur 1px...);
    il y a un robot qui interdit à l'accès au dossier "album" à tous les robots;

    J'ai réussi à mettre le lien pour que Facebook aille chercher la miniature, le problème c'est que le Robot.txt lui interdit l'accès.

    Comment faire pour autoriser l'accès à tous les dossiers Miniatures qui sont dans les sous-dossiers du dossier album ?

    Pour mieux comprendre, voici le classement de mes photos sur le serveur :
    Code:
    album/album1/miniatures/photo1.jpg
album/album1/miniatures/photo2.jpg
album/album1/miniatures/photo3.jpg
album/album1/photo1.jpg
album/album1/photo2.jpg
album/album1/photo3.jpg
    Sachant qu'il y a pas mal d'album (une dizaine pour le moment) c'est pas très clair de mettre chaque dossier miniatures dans le robot, donc il me faudrait une sorte de règle qui dise : album n'est pas autorisé, sauf si il y a miniatures dans le nom... ?

    Ca existe ?
     
    #1 Douf, 8 Avril 2012
  2. Fredo73
    Fredo73 WRInaute discret
    Inscrit:
    4 Septembre 2008
    Messages:
    73
    J'aime reçus:
    0
    Je propose ça sous couvert de spécialistes :

    Code:
    .....

# Interdire le dossier album et tout ce qu'il contient
Disallow: /album/
# Autoriser le contenu du dossier miniatures qui se trouve dans un dossier album1, album2, ..., qui eux même se trouvent dans un dossier album
Allow: /album/*/miniatures/

....
    A tester dans GWT.
    Par contre, je crois que * est pris en compte que par google ... Mais là, je suis pas sûr.
    Si des spécialistes peuvent confirmer ...
     
    #2 Fredo73, 9 Avril 2012
  3. Douf
    Douf WRInaute discret
    Inscrit:
    9 Juillet 2005
    Messages:
    81
    J'aime reçus:
    0
    Bon, l'étoile n'étant pas reconnue par tous les "robots", j'ai cherché une autre solution.

    Les robots n'ont pas accès au dossier "album", sauf le robot de Facebook.

    Code:
    User-agent: *
Disallow: /album/

User-agent: facebookexternalhit/1.1
Allow: /album/
    Cette solution provisoire répond à mon besoin pour autoriser Facebook.

    L'étape suivante sera de déplacer les miniatures dans un dossier "miniatures" ou les robots auront accès. Mais pour cela, je dois retravailler mes pages d'affichage des images et des miniatures, et également mes pages d'ajout de photo.

    Je pense que cette solution règlerait également un autre de mes problèmes, je vais y réfléchir.

    Merci pour ta suggestion Fredo73
     
    #3 Douf, 14 Avril 2012
  4. spout
    spout WRInaute accro
    Inscrit:
    14 Mai 2003
    Messages:
    9 163
    J'aime reçus:
    338
    C'est robots.txt pas robot.txt
     
    #4 spout, 14 Avril 2012
(Vous devez vous identifier ou vous inscrire pour poster ici.)
Chargement...
Similar Threads - Robot Disallow dossier Forum Date
Cacher un dossier par Disallow et robots.txt Débuter en référencement 27 Août 2008
Sites de test indexés malgré Disallow dans robots.txt Crawl et indexation Google, sitemaps 7 Juin 2019
robots.txt avec Disallow:/*.php Débuter en référencement 23 Juin 2018
Robots.txt et syntaxe de Disallow Crawl et indexation Google, sitemaps 2 Juin 2017
Balise Noindex ou Disallow dans robots.txt Référencement Google 15 Septembre 2015
Robots.txt + sous domaine disallow Débuter en référencement 11 Août 2014
Page de liens spécifiées disallow dans le robots.txt Netlinking, backlinks, liens et redirections 18 Mars 2014
Robots.txt ok à 100% mais lu comme disallow dans GWT et Bing ? Crawl et indexation Google, sitemaps 16 Décembre 2013
Disallow robots.txt et pages sattellites Crawl et indexation Google, sitemaps 19 Juillet 2012
Disallow fichiers robots de facebook Débuter en référencement 16 Juillet 2012
Mettre une page en Disallow ou pas dans robot.txt ? Débuter en référencement 26 Juin 2011
Disallow d'un site avec un port spécifique dans le fichier robot.txt Tests et études de cas 31 Mai 2011
Robots.txt : Disallow des pages sport-xxxx.html sans Disallow de sport-equestre.html Administration d'un site Web 8 Décembre 2010
Robots.txt Disallow:repertoire mais pas une URL Crawl et indexation Google, sitemaps 30 Octobre 2010
Disallow tag dans robots.txt Crawl et indexation Google, sitemaps 26 Octobre 2010
Problèmes Robot.txt pour disallow des pages Problèmes de référencement spécifiques à vos sites 30 Avril 2010
Disallow robots.txt Débuter en référencement 4 Février 2010
Robots.txt tout disallow sauf page accueil ? Problèmes de référencement spécifiques à vos sites 1 Février 2009
Robots.txt - Disallow pour des pages avec paramètre Google : l'entreprise, les sites web, les services 20 Octobre 2006
Robots : Allow et Disallow ? Crawl et indexation Google, sitemaps 20 Avril 2006