Robots.txt

[Daktari]

Mon but est d'installer un fichier robots.txt à la racine de mon site et c'est pour voir si celui-ci est correct :roll: .

Mediapartners-google : tout autoriser.
Les 3 suivants : empêcher l'accès à certaines parties.
Le dernier "Bumlebee" : tout interdire.

User-agent: Mediapartners-google*
Disallow:

User-agent: Googlebot*
Disallow:/forum/login.php
Disallow:/forum/modcp.php
Disallow:/forum/posting.php
Disallow:/forum/privmsg.php
Disallow:/forum/search.php
Disallow:/forum/viewonline.php
Disallow:/forum/profile.php
Disallow:/forum/memberlist.php
Disallow:/forum/album.php
Disallow:/forum/faq.php

User-agent: Inktomi Slurp*
Disallow:/forum/login.php
Disallow:/forum/modcp.php
Disallow:/forum/posting.php
Disallow:/forum/privmsg.php
Disallow:/forum/search.php
Disallow:/forum/viewonline.php
Disallow:/forum/profile.php
Disallow:/forum/memberlist.php
Disallow:/forum/album.php
Disallow:/forum/faq.php

User-agent: MSNBot*
Disallow:/forum/login.php
Disallow:/forum/modcp.php
Disallow:/forum/posting.php
Disallow:/forum/privmsg.php
Disallow:/forum/search.php
Disallow:/forum/viewonline.php
Disallow:/forum/profile.php
Disallow:/forum/memberlist.php
Disallow:/forum/album.php
Disallow:/forum/faq.php

User-agent: Bumblebee*
Disallow:/

De plus, je suppose que je dois retirer les deux lignes suivantes de mon site ?

<META NAME="revisit-after" content="15 days">
<META NAME="robots" content="all">

 

[lunea]

La ligne
User-agent: Mediapartners-google*
Disallow:
ne sert à rien

Le revisit after : euh, les robots font un peu ce qu'ils veulent, depuis longtemps :wink:

 

[Mac125]

La ligne
User-agent: Mediapartners-google*
Disallow:
ne sert à rien

Le revisit after : euh, les robots font un peu ce qu'ils veulent, depuis longtemps :wink:

pourtant c'est ce que google recommande
https://www.google.com/adsense/support/ ... swer=10532

alors ca sert ou ca sert pas ?