Une explication à ceci ?

calou · 2 Avril 2004

Qui pourrait m'expliquer ceci ?? D' apres ce que je voie c'est le robot mais pourquoi est il resté 3 secondes ?

Code:

[30/Mar/2004:14:29:29 +0200] "GET /robots.txt HTTP/1.0" 404 277 "-" "Googlebot/2.1 (+http://www.googlebot.com/bot.html)"

Et voici mon .htaccess

Code:

DirectoryIndex index.html index.htm portal.php index.php
RewriteEngine On 
RewriteRule ^forums.* /index.php
RewriteRule ^forum([0-9]*).* /viewforum.php?f=$1&mark=topic 
RewriteRule ^viewforum([0-9]*)-([0-9]*)-([0-9]*).* /viewforum.php?f=$1&topicdays=$2&start=$3 
RewriteRule ^forum([0-9]*).* /viewforum.php?f=$1 
RewriteRule ^ptopic([0-9]*).* /viewtopic.php?t=$1&view=previous 
RewriteRule ^ntopic([0-9]*).* /viewtopic.php?t=$1&view=next 
RewriteRule ^ftopic([0-9]*)-([0-9]*)-([a-zA-Z]*)-([0-9]*).* /viewtopic.php?t=$1&postdays=$2&postorder=$3&start=$4 
RewriteRule ^ftopic([0-9]*)-([0-9]*).* /viewtopic.php?t=$1&start=$2 
RewriteRule ^ftopic([0-9]*).* /viewtopic.php?t=$1 
RewriteRule ^ftopic([0-9]*).html /viewtopic.php?t=$1&start=$2&postdays=$3&postorder=$4&highlight=$5 
RewriteRule ^sutra([0-9]*).* /viewtopic.php?p=$1

et j' ai appliqué ceci pour l'urlrewriting

Code:

Code: 
// 
// Short URL implementation 
// 
ob_start(); 
function replace_for_mod_rewrite(&$s) 
{ 
$urlin = 
array( 
"'(?<!/)viewforum.php\?f=([0-9]*)&(?:amp;)topicdays=([0-9]*)&(?:amp;)start=([0-9]*)'", 
"'(?<!/)viewforum.php\?f=([0-9]*)&(?:amp;)mark=topics'", 
"'(?<!/)viewforum.php\?f=([0-9]*)'", 
"'(?<!/)viewtopic.php\?t=([0-9]*)&(?:amp;)view=previous'", 
"'(?<!/)viewtopic.php\?t=([0-9]*)&(?:amp;)view=next'", 
"'(?<!/)viewtopic.php\?t=([0-9]*)&(?:amp;)postdays=([0-9]*)&(?:amp;)postorder=([a-zA-Z]*)&(?:amp;)start=([0-9]*)'", 
"'(?<!/)viewtopic.php\?t=([0-9]*)&(?:amp;)start=([0-9]*)&(?:amp;)postdays=([0-9]*)&(?:amp;)postorder=([a-zA-Z]*)&(?:amp;)highlight=([a-zA-Z0-9]*)'", 
"'(?<!/)viewtopic.php\?t=([0-9]*)&(?:amp;)start=([0-9]*)'", 
"'(?<!/)viewtopic.php\?t=([0-9]*)'", 
"'(?<!/)viewtopic.php&(?:amp;)p=([0-9]*)'", 
"'(?<!/)viewtopic.php\?p=([0-9]*)'", 
); 
$urlout = array( 
"viewforum\\1-\\2-\\3.html", 
"forum\\1.html", 
"forum\\1.html", 
"ptopic\\1.html", 
"ntopic\\1.html", 
"ftopic\\1-\\2-\\3-\\4.html", 
"ftopic\\1.html", 
"ftopic\\1-\\2.html", 
"ftopic\\1.html", 
"sutra\\1.html", 
"sutra\\1.html", 
); 
$s = preg_replace($urlin, $urlout, $s); 
return $s; 
} 


Step 2. In /includes/page_tail.php after 


Code: 
$db->sql_close(); 



add this: 

Code: 
$contents = ob_get_contents(); 
ob_end_clean(); 
echo replace_for_mod_rewrite($contents); 
global $dbg_starttime; 




in the same file after 

Code: 
ob_end_clean();  



add this: 

Code: 
echo replace_for_mod_rewrite($contents); 
global $dbg_starttime;

merci :wink:

JPC · 2 Avril 2004

Qu'est ce qui te fait dire qu'il est resté trois secondes ?
à priori, il est venu vérifier ton robots.txt, il n'en a pas vu;
il peut donc tout indexer...

Anonymous · 2 Avril 2004

Je ne vois pas non plus plus ou tu peux trouver l'info des 3 secondes.
De plus tu renvois des url rewriting relatifs à certaines pages et ta log correspond à l'accés au fichier robots.tx qui comme dit précédement n'existe pas sur ton site (code 404). Comprends pas trop...
dk

calou · 2 Avril 2004

voilà le robots.txt que je viens d'ajouter à la racine de mon site

Code:

User-agent: * 
Disallow: sutra*.html$ 
Disallow: ptopic*.html$ 
Disallow: ntopic*.html$ 
Disallow: ftopic*asc*.html$

est ce que cela convient ?

calou · 2 Avril 2004

Je viens d'ajouter le lien dans mon profil se sera sans doute plus simple pour vous de m' aider un peu :wink:

WebRankInfo · 2 Avril 2004

retire les * et $ dans les lignes commençant par Disallow
PS : utilise le style Code et non le style Quote

calou · 2 Avril 2004

donc ça donne ceci :

Code:

User-agent: * 
Disallow: sutra.html 
Disallow: ptopic.html
Disallow: ntopic.html 
Disallow: ftopic*asc.html

mais pour cette ligne

Code:

Disallow: ftopic*asc.html

que faut il mettre à la place de *

WebRankInfo · 2 Avril 2004

ça n'est pas possible... tu peux utiliser plutot la balise meta robots
fais un tour si besoin dans la FAQ spéciale fichier robots.txt et balises meta robot : https://www.webrankinfo.com/dossiers/indexation/20-ans-robots-txt

calou · 2 Avril 2004

Donc en robots.txt je mets l exemple qu'il ya ICI

Code:

User-agent: *
Disallow:

et à priori j' autorise les robots à indexer toutes les pages de mon site ?

Y a t'il des précautions à prendre pour un forum phpbb 2.0.8a ?

ET POUR FINIR ...faut il laisser les * dans le .htaccess

Code:

DirectoryIndex index.html index.htm portal.php index.php 
RewriteEngine On 
RewriteRule ^forums.* /index.php 
RewriteRule ^forum([0-9]*).* /viewforum.php?f=$1&mark=topic 
RewriteRule ^viewforum([0-9]*)-([0-9]*)-([0-9]*).* /viewforum.php?f=$1&topicdays=$2&start=$3 
RewriteRule ^forum([0-9]*).* /viewforum.php?f=$1 
RewriteRule ^ptopic([0-9]*).* /viewtopic.php?t=$1&view=previous 
RewriteRule ^ntopic([0-9]*).* /viewtopic.php?t=$1&view=next 
RewriteRule ^ftopic([0-9]*)-([0-9]*)-([a-zA-Z]*)-([0-9]*).* /viewtopic.php?t=$1&postdays=$2&postorder=$3&start=$4 
RewriteRule ^ftopic([0-9]*)-([0-9]*).* /viewtopic.php?t=$1&start=$2 
RewriteRule ^ftopic([0-9]*).* /viewtopic.php?t=$1 
RewriteRule ^ftopic([0-9]*).html /viewtopic.php?t=$1&start=$2&postdays=$3&postorder=$4&highlight=$5 
RewriteRule ^sutra([0-9]*).* /viewtopic.php?p=$1

merci :wink:

WebRankInfo · 2 Avril 2004

il ne faut pas mettre le .* mais uniquement l'extension que tu utilises
si c'est .html tu dois écrire des lignes du style :

Code:

RewriteRule ^forum([0-9]*)\.html /viewforum.php?f=$1&mark=topic

calou · 2 Avril 2004

comme ça ?

Code:

DirectoryIndex index.html index.htm portal.php index.php
RewriteEngine On 
RewriteRule ^forums.php /index.php
RewriteRule ^forum([0-9]*)\.html /viewforum.php?f=$1&mark=topic 
RewriteRule ^viewforum([0-9]*)-([0-9]*)-([0-9]*)\.html /viewforum.php?f=$1&topicdays=$2&start=$3 
RewriteRule ^forum([0-9]*)\.html /viewforum.php?f=$1 
RewriteRule ^ptopic([0-9]*)\.html /viewtopic.php?t=$1&view=previous 
RewriteRule ^ntopic([0-9]*)\.html /viewtopic.php?t=$1&view=next 
RewriteRule ^ftopic([0-9]*)-([0-9]*)-([a-zA-Z]*)-([0-9]*)\.html /viewtopic.php?t=$1&postdays=$2&postorder=$3&start=$4 
RewriteRule ^ftopic([0-9]*)-([0-9]*)\.html /viewtopic.php?t=$1&start=$2 
RewriteRule ^ftopic([0-9]*)\.html /viewtopic.php?t=$1 
RewriteRule ^ftopic([0-9]*)\.html /viewtopic.php?t=$1&start=$2&postdays=$3&postorder=$4&highlight=$5 
RewriteRule ^sutra([0-9]*)\.html /viewtopic.php?p=$1

Et je laisse ça pour le robots.txt

Code:

User-agent: * 
Disallow:

ou d' apres le .htaccess , je dois ajouter des lignes ?

calou · 2 Avril 2004

oupps c'est l'heure de l'apéro !! c'est pour ça que personne me répond :wink:

Faites moi un signe apres ... que je sache si c'est bon comme ça ou pas

merci

calou · 3 Avril 2004

Toujours pas de news :cry:

WebRankInfo · 3 Avril 2004

ça a l'air pas mal : as-tu testé ?

calou · 3 Avril 2004

je ne sais pas comment on fait pour tester de suite :cry:

mais hier le robot est passé est le même résultat :

Code:

[01/Apr/2004:12:52:00 +0200] "GET /robots.txt HTTP/1.0" 404 277 "-" "Googlebot/2.1 (+http://www.googlebot.com/bot.html)"

[01/Apr/2004:12:52:01 +0200] "GET / HTTP/1.0" 200 46940 "-" "Googlebot/2.1 (+http://www.googlebot.com/bot.html)"

mais j' avais pas encore fait les modifs dont tu m' as parlé ... ce qui peut expliquer celà puisqu'il est passé à 12:52

comme c'est un forum phpbb y a t'il des choses à ajouter dans le robots.txt et exite t'il un lien pour vérifier la validité de mon .htaccess et du robots.txt

merci

calou · 4 Avril 2004

quelle est la différence entre

Code:

RewriteRule ^viewforum_([0-9]+)\.html$ /viewforum.php?f=$1

et ça

Code:

RewriteRule ^viewforum_([0-9]+)\.html /viewforum.php?f=$1 [L

et votre avis sur mon .htaccess

Code:

DirectoryIndex index.html index.htm portal.php index.php 
RewriteEngine On 
RewriteRule ^forums.php /index.php 
RewriteRule ^forum([0-9]*)\.html /viewforum.php?f=$1&mark=topic 
RewriteRule ^viewforum([0-9]*)-([0-9]*)-([0-9]*)\.html /viewforum.php?f=$1&topicdays=$2&start=$3 
RewriteRule ^forum([0-9]*)\.html /viewforum.php?f=$1 
RewriteRule ^ptopic([0-9]*)\.html /viewtopic.php?t=$1&view=previous 
RewriteRule ^ntopic([0-9]*)\.html /viewtopic.php?t=$1&view=next 
RewriteRule ^ftopic([0-9]*)-([0-9]*)-([a-zA-Z]*)-([0-9]*)\.html /viewtopic.php?t=$1&postdays=$2&postorder=$3&start=$4 
RewriteRule ^ftopic([0-9]*)-([0-9]*)\.html /viewtopic.php?t=$1&start=$2 
RewriteRule ^ftopic([0-9]*)\.html /viewtopic.php?t=$1 
RewriteRule ^ftopic([0-9]*)\.html /viewtopic.php?t=$1&start=$2&postdays=$3&postorder=$4&highlight=$5 
RewriteRule ^sutra([0-9]*)\.html /viewtopic.php?p=$1

et de mon robots.txt

Code:

User-agent: * 
Disallow:

l' avis d'un pro m'aiderait bien , a savoir que j'utilise phpbb + ezportal

merci :wink:

Anonymous · 5 Avril 2004

C'est tout à fait normal...
GG passe régulièrement (à priori en fonction de ton PR) scanner ta page d'accueil. Les crawls complets des sites ne se font qu'au moment des google dance (entre 15 jours et 1mois).
dk.

George Abitbol · 5 Avril 2004

darkfire a dit:
Les crawls complets des sites ne se font qu'au moment des google dance (entre 15 jours et 1mois)

Bah non, pas du tout.

Fred

calou · 5 Avril 2004

alors si vous n'êtes pas du même avis 8O !!!

enfin ... pourriez vous me donner votre avis sur les questions en haut sur les différences de ligne et sur le .htacces et robots.txt

merci