Indexations non souhaitées (phpBB)

didjiridou · 4 Avril 2005

Bonjour à tous,

Mon forum est passé entierement dans google et je dirais qu'il est meme un peu trop passé

En effet, il me met des pages telles que posting.php?..., sutra...

Ohax disais dans un autre post que l'indexation des sutra favorisait le duplicate content, alors j'aurais voulu savoir ce que je dois ajouter a mon fichier robots.txt pour ne plu indexer les sutra et les pages posting.php...

Mon fichier robots.txt :

Code:

User-agent: *
Disallow: /forum/sutra*.html$ 
Disallow: /forum/ptopic*.html$ 
Disallow: /forum/ntopic*.html$ 
Disallow: /forum/ftopic*asc*.html$

Merci d'avance

MAx

pirw3t · 4 Avril 2005

en prennant example sur webrankinfo :lol:

User-agent: *
Disallow: /forums/login.php
Disallow: /forums/modcp.php
Disallow: /forums/posting.php
Disallow: /forums/printview.php
Disallow: /forums/privmsg.php
Disallow: /forums/search.php
Disallow: /forums/viewonline.php

didjiridou · 4 Avril 2005

pirw3t a dit:
Disallow: /forums/posting.php

Si je mets cela, les pages du genre posting.php?mode=newtopic&f=14 vont elles disparaitre egalement? :?

pirw3t · 4 Avril 2005

Oui 8)

didjiridou · 4 Avril 2005

merci

didjiridou · 4 Avril 2005

Encore une petite question

Si je mets Disallow: /forums/sutra

Est ce que ca va interdire l'indexation de pages telles que sutra3333.html, sutra-8888.html,... ? :?

Et est ce qu'une fois les pages indexées, Google va les désindexer si je mets le fichier robots.txt modifié ou alors il va me laisser des url sans texte?

pirw3t · 4 Avril 2005

Ne pense pas aprés le rewrite, pense avant.

donc c'est sutra.php que tu interdit, donc pas d'indexation

didjiridou · 4 Avril 2005

pirw3t a dit:
Ne pense pas aprés le rewrite, pense avant.

donc c'est sutra.php que tu interdit, donc pas d'indexation

Mais mon forum est deja completement rewrité chez moi :?

Donc google ne trouvera aucune page du type sutra.php...

Valhala · 4 Avril 2005

La question pourrai être bète mais vous parlez toujours de sutra dans phpbb, j'ai beau cherché chez moi j'ai pas de sutra.php ou tout ce qui peut commencer avec sutra, qeul est donc ce fichier ?

Ohax · 4 Avril 2005

mmmmmm

voyant ton robots.txt je me demande si les * font vraiment joker et j'aimerai les utiliser pour supprimer de l'index google les posts qui ont conservés les urls contenant "asc"

les etoiles sont-elles utilisables dans un robots.txt ? si oui de quelle manière? si non comment faire des jokers?

merci

oli004 · 4 Avril 2005

Bonjour tout le monde,

Voici mon robots.txt concernant un forum phpbb:

Disallow: /forum/posting
Disallow: /forum/profile
Disallow: /forum/privmsg
Disallow: /forum/viewonline
Disallow: /forum/groupcp
Disallow: /forum/memberlist
Disallow: /forum/search
Disallow: /forum/login
Disallow: /forum/faq
Disallow: /forum/post-
Disallow: /forum/updates-topic
Disallow: /forum/stop-updates-topic
Disallow: /forum/ptopic
Disallow: /forum/ntopic
Disallow: /forum/sutra
Disallow: /forum/mforum
Disallow: /forum/index.php?
Disallow: /forum/viewtopic.php?
Disallow: /forum/viewforum.php?

Voici celui de WRI:

Disallow: /forums/login.php
Disallow: /forums/modcp.php
Disallow: /forums/posting.php
Disallow: /forums/printview.php
Disallow: /forums/privmsg.php
Disallow: /forums/search.php
Disallow: /forums/viewonline.php

Je rewrite pour tout passer en html. Pensez-vous mon R.txt soit trop restrictif ?

Ohax · 4 Avril 2005

voici le mien donc si tu pense que je suis trop restrictif :lol:

User-agent: Mediapartners-Google*
Disallow:

User-agent: *
Disallow: /nancy
Disallow: /banni
Disallow: /viewtopic.php
Disallow: /viewforum.php
Disallow: /memberlist.php
Disallow: /login.php
Disallow: /faq.php
Disallow: /modcp.php
Disallow: /posting.php
Disallow: /privmsg.php
Disallow: /search.php
Disallow: /viewonline.php
Disallow: /profile.php
Disallow: /groupcp.php
Disallow: /newtopic
Disallow: /setopic
Disallow: /stopic
Disallow: /ntopic
Disallow: /ptopic
Disallow: /sutra
Disallow: /mforum
Disallow: /ftopic1
Disallow: /ftopic2
Disallow: /ftopic3
Disallow: /ftopic4
Disallow: /ftopic5
Disallow: /ftopic6
Disallow: /ftopic7
Disallow: /ftopic8
Disallow: /ftopic9
Disallow: /airsoft/viewtopic.php
Disallow: /airsoft/viewforum.php
Disallow: /airsoft/memberlist.php
Disallow: /airsoft/login.php
Disallow: /airsoft/faq.php
Disallow: /airsoft/modcp.php
Disallow: /airsoft/posting.php
Disallow: /airsoft/privmsg.php
Disallow: /airsoft/search.php
Disallow: /airsoft/viewonline.php
Disallow: /airsoft/profile.php
Disallow: /airsoft/groupcp.php
Disallow: /airsoft/newtopic
Disallow: /airsoft/setopic
Disallow: /airsoft/stopic
Disallow: /airsoft/ntopic
Disallow: /airsoft/ptopic
Disallow: /airsoft/sutra
Disallow: /airsoft/mforum
Disallow: /airsoft/ftopic1
Disallow: /airsoft/ftopic2
Disallow: /airsoft/ftopic3
Disallow: /airsoft/ftopic4
Disallow: /airsoft/ftopic5
Disallow: /airsoft/ftopic6
Disallow: /airsoft/ftopic7
Disallow: /airsoft/ftopic8
Disallow: /airsoft/ftopic9
Disallow: /airsoft/profile
Disallow: /fanagames/viewtopic.php
Disallow: /fanagames/viewforum.php
Disallow: /fanagames/memberlist.php
Disallow: /fanagames/login.php
Disallow: /fanagames/faq.php
Disallow: /fanagames/modcp.php
Disallow: /fanagames/posting.php
Disallow: /fanagames/privmsg.php
Disallow: /fanagames/search.php
Disallow: /fanagames/viewonline.php
Disallow: /fanagames/profile.php
Disallow: /fanagames/groupcp.php
Disallow: /fanagames/newtopic
Disallow: /fanagames/setopic
Disallow: /fanagames/stopic
Disallow: /fanagames/ntopic
Disallow: /fanagames/ptopic
Disallow: /fanagames/sutra
Disallow: /fanagames/mforum
Disallow: /fanagames/ftopic1
Disallow: /fanagames/ftopic2
Disallow: /fanagames/ftopic3
Disallow: /fanagames/ftopic4
Disallow: /fanagames/ftopic5
Disallow: /fanagames/ftopic6
Disallow: /fanagames/ftopic7
Disallow: /fanagames/ftopic8
Disallow: /fanagames/ftopic9
Disallow: /fanagames/profile

User-agent: pompos
Disallow: /

User-agent: turnitinbot
Disallow: /

User-agent: QuepasaCreep
Disallow: /

User-agent: NPBot
Disallow: /

User-agent: ConveraMultiMediaCrawler
Disallow: /

User-agent: linkwalker
Disallow: /

User-agent: NPBot-1/2.0
Disallow: /

User-agent: NPBot-1/2.0 (http://www.nameprotect.com/botinfo.html)
Disallow: /

User-agent: Steeler
Disallow: /

User-agent: minibot(NaverRobot)/1.0
Disallow: /

User-agent: linksmanager
Disallow: /

User-agent: Wget
Disallow: /

User-agent: IRLbot
Disallow: /

didjiridou · 4 Avril 2005

Valhala a dit:
La question pourrai être bète mais vous parlez toujours de sutra dans phpbb, j'ai beau cherché chez moi j'ai pas de sutra.php ou tout ce qui peut commencer avec sutra, qeul est donc ce fichier ?

Ce qui correspond aux pages sutra... chez moi correspond aux pages -http://forum.valhala.be/-vp113.html chez toi par exemple... Il s'agit donc d'un duplicate content

Ohax a dit:
voyant ton robots.txt je me demande si les * font vraiment joker et j'aimerai les utiliser pour supprimer de l'index google les posts qui ont conservés les urls contenant "asc"

les etoiles sont-elles utilisables dans un robots.txt ? si oui de quelle manière? si non comment faire des jokers?

Apparemment les * ne sont pas tres bien interpretés par google, mes pages sutra... sont toujours dans l'index. Mais par contre, elles n'ont pas de titres et ne peuvent pas etre affichées en cache... :?

https://www.google.be/search?hl=fr&c2cof ... cher&meta=

oli004 · 4 Avril 2005

@Ohax

voici le mien donc si tu pense que je suis trop restrictif

:wink:

Oui, mais je ne demandais pas si le mien était restrictif par rapport a la longueur du fichier robot, mais par son contenu vis à vis de phpbb
Dans ton robot, tu as 3 forums de gérés, que tu sembles définir de la même façon d'ailleurs.

Kaizen · 4 Avril 2005

Ohax a dit:
supprimer de l'index google les posts qui ont conservés les urls contenant "asc"

Que penses-tu de la gestion des asc que j'ai faite dans ici https://www.webrankinfo.com/forum/t/le-libelle-du-titre-dans-lurl-de-votre-forum-phpbb-v2.25745/ ?

Ohax · 4 Avril 2005

wow comme j'ai pu passer à coté de ce post ? :shock: :shock: :shock:

le code est en effet extremement interressant

je vai faire quelques tests avec celui-ci ;-)