Indexations non souhaitées (phpBB)

WRInaute occasionnel
Bonjour à tous,

Mon forum est passé entierement dans google et je dirais qu'il est meme un peu trop passé :p

En effet, il me met des pages telles que posting.php?..., sutra...

Ohax disais dans un autre post que l'indexation des sutra favorisait le duplicate content, alors j'aurais voulu savoir ce que je dois ajouter a mon fichier robots.txt pour ne plu indexer les sutra et les pages posting.php... :)

Mon fichier robots.txt :

Code:
User-agent: *
Disallow: /forum/sutra*.html$ 
Disallow: /forum/ptopic*.html$ 
Disallow: /forum/ntopic*.html$ 
Disallow: /forum/ftopic*asc*.html$

Merci d'avance :)

MAx
 
Nouveau WRInaute
en prennant example sur webrankinfo :lol:

User-agent: *
Disallow: /forums/login.php
Disallow: /forums/modcp.php
Disallow: /forums/posting.php
Disallow: /forums/printview.php
Disallow: /forums/privmsg.php
Disallow: /forums/search.php
Disallow: /forums/viewonline.php
 
WRInaute occasionnel
Encore une petite question :)

Si je mets Disallow: /forums/sutra

Est ce que ca va interdire l'indexation de pages telles que sutra3333.html, sutra-8888.html,... ? :?

Et est ce qu'une fois les pages indexées, Google va les désindexer si je mets le fichier robots.txt modifié ou alors il va me laisser des url sans texte? :p
 
Nouveau WRInaute
Ne pense pas aprés le rewrite, pense avant.

donc c'est sutra.php que tu interdit, donc pas d'indexation :)
 
WRInaute occasionnel
pirw3t a dit:
Ne pense pas aprés le rewrite, pense avant.

donc c'est sutra.php que tu interdit, donc pas d'indexation :)
Mais mon forum est deja completement rewrité chez moi :?

Donc google ne trouvera aucune page du type sutra.php... :p
 
WRInaute discret
La question pourrai être bète mais vous parlez toujours de sutra dans phpbb, j'ai beau cherché chez moi j'ai pas de sutra.php ou tout ce qui peut commencer avec sutra, qeul est donc ce fichier ?
 
WRInaute accro
mmmmmm

voyant ton robots.txt je me demande si les * font vraiment joker et j'aimerai les utiliser pour supprimer de l'index google les posts qui ont conservés les urls contenant "asc"

les etoiles sont-elles utilisables dans un robots.txt ? si oui de quelle manière? si non comment faire des jokers?


merci :D
 
WRInaute passionné
Bonjour tout le monde,

Voici mon robots.txt concernant un forum phpbb:

Disallow: /forum/posting
Disallow: /forum/profile
Disallow: /forum/privmsg
Disallow: /forum/viewonline
Disallow: /forum/groupcp
Disallow: /forum/memberlist
Disallow: /forum/search
Disallow: /forum/login
Disallow: /forum/faq
Disallow: /forum/post-
Disallow: /forum/updates-topic
Disallow: /forum/stop-updates-topic
Disallow: /forum/ptopic
Disallow: /forum/ntopic
Disallow: /forum/sutra
Disallow: /forum/mforum
Disallow: /forum/index.php?
Disallow: /forum/viewtopic.php?
Disallow: /forum/viewforum.php?

Voici celui de WRI:

Disallow: /forums/login.php
Disallow: /forums/modcp.php
Disallow: /forums/posting.php
Disallow: /forums/printview.php
Disallow: /forums/privmsg.php
Disallow: /forums/search.php
Disallow: /forums/viewonline.php

Je rewrite pour tout passer en html. Pensez-vous mon R.txt soit trop restrictif ?
 
WRInaute accro
voici le mien donc si tu pense que je suis trop restrictif :lol:


User-agent: Mediapartners-Google*
Disallow:

User-agent: *
Disallow: /nancy
Disallow: /banni
Disallow: /viewtopic.php
Disallow: /viewforum.php
Disallow: /memberlist.php
Disallow: /login.php
Disallow: /faq.php
Disallow: /modcp.php
Disallow: /posting.php
Disallow: /privmsg.php
Disallow: /search.php
Disallow: /viewonline.php
Disallow: /profile.php
Disallow: /groupcp.php
Disallow: /newtopic
Disallow: /setopic
Disallow: /stopic
Disallow: /ntopic
Disallow: /ptopic
Disallow: /sutra
Disallow: /mforum
Disallow: /ftopic1
Disallow: /ftopic2
Disallow: /ftopic3
Disallow: /ftopic4
Disallow: /ftopic5
Disallow: /ftopic6
Disallow: /ftopic7
Disallow: /ftopic8
Disallow: /ftopic9
Disallow: /airsoft/viewtopic.php
Disallow: /airsoft/viewforum.php
Disallow: /airsoft/memberlist.php
Disallow: /airsoft/login.php
Disallow: /airsoft/faq.php
Disallow: /airsoft/modcp.php
Disallow: /airsoft/posting.php
Disallow: /airsoft/privmsg.php
Disallow: /airsoft/search.php
Disallow: /airsoft/viewonline.php
Disallow: /airsoft/profile.php
Disallow: /airsoft/groupcp.php
Disallow: /airsoft/newtopic
Disallow: /airsoft/setopic
Disallow: /airsoft/stopic
Disallow: /airsoft/ntopic
Disallow: /airsoft/ptopic
Disallow: /airsoft/sutra
Disallow: /airsoft/mforum
Disallow: /airsoft/ftopic1
Disallow: /airsoft/ftopic2
Disallow: /airsoft/ftopic3
Disallow: /airsoft/ftopic4
Disallow: /airsoft/ftopic5
Disallow: /airsoft/ftopic6
Disallow: /airsoft/ftopic7
Disallow: /airsoft/ftopic8
Disallow: /airsoft/ftopic9
Disallow: /airsoft/profile
Disallow: /fanagames/viewtopic.php
Disallow: /fanagames/viewforum.php
Disallow: /fanagames/memberlist.php
Disallow: /fanagames/login.php
Disallow: /fanagames/faq.php
Disallow: /fanagames/modcp.php
Disallow: /fanagames/posting.php
Disallow: /fanagames/privmsg.php
Disallow: /fanagames/search.php
Disallow: /fanagames/viewonline.php
Disallow: /fanagames/profile.php
Disallow: /fanagames/groupcp.php
Disallow: /fanagames/newtopic
Disallow: /fanagames/setopic
Disallow: /fanagames/stopic
Disallow: /fanagames/ntopic
Disallow: /fanagames/ptopic
Disallow: /fanagames/sutra
Disallow: /fanagames/mforum
Disallow: /fanagames/ftopic1
Disallow: /fanagames/ftopic2
Disallow: /fanagames/ftopic3
Disallow: /fanagames/ftopic4
Disallow: /fanagames/ftopic5
Disallow: /fanagames/ftopic6
Disallow: /fanagames/ftopic7
Disallow: /fanagames/ftopic8
Disallow: /fanagames/ftopic9
Disallow: /fanagames/profile

User-agent: pompos
Disallow: /

User-agent: turnitinbot
Disallow: /

User-agent: QuepasaCreep
Disallow: /

User-agent: NPBot
Disallow: /

User-agent: ConveraMultiMediaCrawler
Disallow: /

User-agent: linkwalker
Disallow: /

User-agent: NPBot-1/2.0
Disallow: /

User-agent: NPBot-1/2.0 (http://www.nameprotect.com/botinfo.html)
Disallow: /

User-agent: Steeler
Disallow: /

User-agent: minibot(NaverRobot)/1.0
Disallow: /

User-agent: linksmanager
Disallow: /

User-agent: Wget
Disallow: /

User-agent: IRLbot
Disallow: /
 
WRInaute occasionnel
Valhala a dit:
La question pourrai être bète mais vous parlez toujours de sutra dans phpbb, j'ai beau cherché chez moi j'ai pas de sutra.php ou tout ce qui peut commencer avec sutra, qeul est donc ce fichier ?

Ce qui correspond aux pages sutra... chez moi correspond aux pages -http://forum.valhala.be/-vp113.html chez toi par exemple... Il s'agit donc d'un duplicate content :p

Ohax a dit:
voyant ton robots.txt je me demande si les * font vraiment joker et j'aimerai les utiliser pour supprimer de l'index google les posts qui ont conservés les urls contenant "asc"

les etoiles sont-elles utilisables dans un robots.txt ? si oui de quelle manière? si non comment faire des jokers?

Apparemment les * ne sont pas tres bien interpretés par google, mes pages sutra... sont toujours dans l'index. Mais par contre, elles n'ont pas de titres et ne peuvent pas etre affichées en cache... :?

https://www.google.be/search?hl=fr&c2cof ... cher&meta=
 
WRInaute passionné
@Ohax

voici le mien donc si tu pense que je suis trop restrictif

:wink:

Oui, mais je ne demandais pas si le mien était restrictif par rapport a la longueur du fichier robot, mais par son contenu vis à vis de phpbb
Dans ton robot, tu as 3 forums de gérés, que tu sembles définir de la même façon d'ailleurs.
 
WRInaute accro
wow comme j'ai pu passer à coté de ce post ? :shock: :shock: :shock:

:oops:


le code est en effet extremement interressant :D

je vai faire quelques tests avec celui-ci ;-)
 
Discussions similaires
Haut