Rewriting phpbb indexation des topics :(

ponko · 4 Juin 2005

Bonsoir,
Après un mois , dont j'avais disposer le superbe mod qui permet à phpbb d'afficher dans l'url le nom du topic, aucune page de topic n'a été indexée seulement les catégories sont présentes

Mon robots txt est le suivant :

User-agent: *

Disallow: /forum/viewtopic.php
Disallow: /forum/viewforum.php
Disallow: /forum/memberlist.php
Disallow: /forum/login.php
Disallow: /forum/faq.php
Disallow: /forum/modcp.php
Disallow: /forum/posting.php
Disallow: /forum/privmsg.php
Disallow: /forum/search.php
Disallow: /forum/viewonline.php
Disallow: /forum/profile.php
Disallow: /forum/groupcp.php
Disallow: /forum/newtopic
Disallow: /forum/setopic
Disallow: /forum/stopic
Disallow: /forum/ntopic
Disallow: /forum/ptopic
Disallow: /forum/sutra
Disallow: /forum/mforum

Normalement ça ne doit pas empecher le référencement des sujets !

Mon forum se trouve ici http://www.recettes-de-cuisines.com/forum/

Pourtant tout est optimisé et il a 10000 messages à indexer !! aucun topic n'est pour l'instant enregistrer.
Merci par avance de m'indiquer d'où cela pourrait venir
A+

daffsteam · 5 Juin 2005

salut
je ne m'y connais pas beaucoup je l'avoue et en parcourant ton forum je m'apercois de ceci :

l'url "d'accueil" est impect

ensuite quand je rentre dans un "sous forum" j'ai cette url :
-http://www.recettes-de-cuisines.com/forum/forum6.php&sid=36e201b8edf307ba67640c30da1c3014
(par exemple)
par contre les topic ont une url qui me semble nikel :
ex : -http://www.recettes-de-cuisines.com/forum/ftopic6167--0--une-recette-de-raviolis-chinois.html

donc je pense peut-etre que le bot fait "demi-tour" quand il rentre dans un "sous-forum" donc il ne lit pas les topic.

Par contre je serais interessé de savoir commment faire pour avoir l'estension .html ou lieu de .php (apparement c'est mieux pour le ref)

mon forum : -http://www.zonaplayer.com/forum

Valhala · 5 Juin 2005

J'ai le même problème, il indexe les pages qui sont normalement bloqué par robots.txt mais celle qui doit et qui sont visible à tout le monde il le fait pas, il garde toujours en mémoire mon ancien rewriting, ce qui fait que j'ai 1 km d'erreur dans mes logs et sur 428 pages "indexer" d'après lui seulement une avec du contenu, je ne comprend pas à quoi il joue ... On peut se tenir la main

raspoutine59 · 5 Juin 2005

T'a pas supprimé le SID pour les invités. AVant d'arriver au topic il faut qu'il passe par le forum ! A mon avis c bloquant comme truc.

Pour empecher l'indexation des anciens fichiers j'ai :
1. Spécifié des dissallow dans le robots.txt
2. Crée des réécriture dans mon htaccess vers un script de redirect Permanent :

RewriteRule $viewtopc.php?t=([0-9]+)^ RedirectPermanent.php?mode=topic&t=$1

Ensuite dans le script RedirectPermanent.php tu récupere le nom du topic en fonction de $t et tu faire ton redirecte avec un header(). Idem pour tous les autres fichiers. J't'aurai bien filé les sources de mon phpBB modifié, mais j'ai fais trop de modif pour qu'il soit partagé comme ça...

Patrice A. · 5 Juin 2005

Salut,
il ne faut pas sauter de lignes dans robots.txt !

mowmow · 5 Juin 2005

ponko a dit:
Bonsoir,
Après un mois , dont j'avais disposer le superbe mod qui permet à phpbb d'afficher dans l'url le nom du topic, aucune page de topic n'a été indexée seulement les catégories sont présentes
Mon robots txt est le suivant :

User-agent: *

Disallow: /forum/viewtopic.php
Disallow: /forum/viewforum.php
Disallow: /forum/memberlist.php
Disallow: /forum/login.php
Disallow: /forum/faq.php
Disallow: /forum/modcp.php
Disallow: /forum/posting.php
Disallow: /forum/privmsg.php
Disallow: /forum/search.php
Disallow: /forum/viewonline.php
Disallow: /forum/profile.php
Disallow: /forum/groupcp.php
Disallow: /forum/newtopic
Disallow: /forum/setopic
Disallow: /forum/stopic
Disallow: /forum/ntopic
Disallow: /forum/ptopic
Disallow: /forum/sutra
Disallow: /forum/mforum

Cliquez pour agrandir...

Normalement ça ne doit pas empecher le référencement des sujets !

Mon forum se trouve ici http://www.recettes-de-cuisines.com/forum/

Pourtant tout est optimisé et il a 10000 messages à indexer !! aucun topic n'est pour l'instant enregistrer.
Merci par avance de m'indiquer d'où cela pourrait venir
A+

Si je me trompe pas :

Disallow: /forum/viewtopic.php
Disallow: /forum/viewforum.php

Ca veut dire : Ignore viewtopic.php et viweforum.php, mais c'est pas justement celles que tu veux référencer ?

ponko · 5 Juin 2005

Merci mais malgré un test avec spider-simulator.com je ne vois pas où se trouve mon probleme

J'ai la 2.0.15 et dans mon fichier sessions.php j'ai bien ça :

Code:

global $SID, $HTTP_SERVER_VARS; 

   if ( !empty($SID) && !preg_match('#sid=#', $url) && !strstr($HTTP_SERVER_VARS['HTTP_USER_AGENT'] ,'Googlebot') && !strstr($HTTP_SERVER_VARS['HTTP_USER_AGENT'] ,'slurp@inktomi.com;'))
	{
		$url .= ( ( strpos($url, '?') != false ) ?  ( ( $non_html_amp ) ? '&' : '&amp;' ) : '?' ) . $SID;
	}

Alors pourquoi google n'arrive pas indexer les messages ??

Merci encore,
Je change mon fichier robots.txt

ponko · 5 Juin 2005

Code:

Ca veut dire : Ignore viewtopic.php et viweforum.php, mais c'est pas justement celles que tu veux référencer ?

Je me suis posé la question m'ais vu que j'ai fait de l'url rewriting dorénavant mes topics s'appelles :
http://www.recettes-de-cuisines.com/for ... erbes.html (exemple)

Penses tu vraiment que ce soit cela qui bloque ? car ce qui serait viewforum.php donc les catégories de forums sont eux bien indéxées
https://www.google.fr/search?hl=fr&rls=G ... orum&meta=

Merci encore

mowmow · 5 Juin 2005

https://www.webrankinfo.com/forum/viewt ... htm#256682

ponko · 5 Juin 2005

Merci mowmow mais ça s'est déjà fait.
Bizarre qu'il n'ait pas encore indexé mes topics

Merci tout de même

Daktari · 5 Juin 2005

ponko a dit:
Merci mais malgré un test avec spider-simulator.com je ne vois pas où se trouve mon probleme

J'ai la 2.0.15 et dans mon fichier sessions.php j'ai bien ça :

Code:

global $SID, $HTTP_SERVER_VARS; if ( !empty($SID) && !preg_match('#sid=#', $url) && !strstr($HTTP_SERVER_VARS['HTTP_USER_AGENT'] ,'Googlebot') && !strstr($HTTP_SERVER_VARS['HTTP_USER_AGENT'] ,'slurp@inktomi.com;')) { $url .= ( ( strpos($url, '?') != false ) ? ( ( $non_html_amp ) ? '&' : '&' ) : '?' ) . $SID; }

Alors pourquoi google n'arrive pas indexer les messages ??

Merci encore,
Je change mon fichier robots.txt

Tu vires ce que tu as mis au-dessus et tu utilises le lien qui suit :

http://www.phpbb.com/phpBB/viewtopic.php?t=185839

Ce qui bloque c'est que les sids sont toujours présents dans les sous-forums.

Viewforum.php et viewtopic.php ne posent aucun problème dans ton robots.txt vu que c'est (ftopic) que tu cherches à référencer :wink: .

Finalement, tu devrais modifier ton robots.txt pour autoriser le robot googleadsence sur tout ton forum...

Daktari · 5 Juin 2005

Ce qui serait utile aussi ce serait d'avoir une copie de ton .htaccess pour voir ton url-rewriting...

Patrice A. · 7 Juin 2005

Salut !
Comment autorises-tu le robot adsense ? ça m'intéresse...

raspoutine59 · 7 Juin 2005

Daktari a dit:
ponko a dit:

Merci mais malgré un test avec spider-simulator.com je ne vois pas où se trouve mon probleme

J'ai la 2.0.15 et dans mon fichier sessions.php j'ai bien ça :

Code:

global $SID, $HTTP_SERVER_VARS; if ( !empty($SID) && !preg_match('#sid=#', $url) && !strstr($HTTP_SERVER_VARS['HTTP_USER_AGENT'] ,'Googlebot') && !strstr($HTTP_SERVER_VARS['HTTP_USER_AGENT'] ,'slurp@inktomi.com;')) { $url .= ( ( strpos($url, '?') != false ) ? ( ( $non_html_amp ) ? '&' : '&' ) : '?' ) . $SID; }

Alors pourquoi google n'arrive pas indexer les messages ??

Merci encore,
Je change mon fichier robots.txt

Cliquez pour agrandir...

Tu vires ce que tu as mis au-dessus et tu utilises le lien qui suit :

http://www.phpbb.com/phpBB/viewtopic.php?t=185839

Ce qui bloque c'est que les sids sont toujours présents dans les sous-forums.

Viewforum.php et viewtopic.php ne posent aucun problème dans ton robots.txt vu que c'est (ftopic) que tu cherches à référencer :wink: .

Finalement, tu devrais modifier ton robots.txt pour autoriser le robot googleadsence sur tout ton forum...

Non mais arreté d'embrouillez les gens avec des modification pareille ! lol

Derniere fonction de sessions.php y a juste a faire :

Code:

function append_sid($url, $non_html_amp = false)
{
	global $SID;
	global $userdata; // j'ai rajouté seulement ça !!
	
	if ( !empty($SID) && !preg_match('#sid=#', $url)  && $userdata['user_id'] <> -1) // et $userdata['user_id'] <> -1 !!!
	{
		$url .= ( ( strpos($url, '?') != false ) ?  ( ( $non_html_amp ) ? '&' : '&amp;' ) : '?' ) . $SID;
	}

	return $url;
}

[/code]

Daktari · 7 Juin 2005

Dj_Apx a dit:
Salut !
Comment autorises-tu le robot adsense ? ça m'intéresse...

Comme expliqué dans la Faq adsense :wink: :

User-agent: Mediapartners-Google*
Disallow:

Patrice A. · 8 Juin 2005

Ca, ça lui interdit des trucs non ?
Moi je veux lui autoriser des pages que j'ai interdites à user-agent:*

Foxus · 8 Juin 2005

J'ai exactemetn le meme probleme, avec l'url rewwriting j'ai que les forum mais aucun topic d'indexé depuis 2 mois !!!!

je vois aucun SID en visiteur (j'ai mi le mod pour les enlevez)

help

Daktari · 8 Juin 2005

Foxus a dit:
J'ai exactemetn le meme probleme, avec l'url rewwriting j'ai que les forum mais aucun topic d'indexé depuis 2 mois !!!!

je vois aucun SID en visiteur (j'ai mi le mod pour les enlevez)

help

C'est quoi l'url de ton site ?

dcz · 22 Août 2005

héhé

Il ya cette solution aussi : https://www.webrankinfo.com/forum/t/url-rewriting-titres-pour-phpbb-v2-solution-globale.31831/