Script pour calculer ses backlinks sur les moteurs

Mitirapa · 17 Mars 2003

Je suis en train de voir pour préparer sur un de mes sites persos un script php pour calculer sa popularité...

mais une question idiote... pour par exemple lycos
http://search.lycos.com/default.asp?loc ... rf4all.net
c'est le 7,843 que je dois choper dans mon script.. mais faire ca à coup de substr( et de trim( rendra la chose un peu instable dès qu'il y aura un changement dans les pages des résultats... et aussi un peu lent a faire ca sur une dizaine de moteurs en meme tps

google avec l'api c'est bon, mais pour tous les autres moteurs ? qqun a t'il trouvé une astuce ?
car sinon je vois que les substr( et de trim( pour choper le chiffre

Jocelyn · 17 Mars 2003

Ce n'est pas si dur que ça pour Lycos :
Il faut récupérer le nombre qui se trouve immédiatement après "1 thru 10 of".
Evidemment, ça ne marchera plus s'ils changent la présentation de la page.
Et il faut faire pareil pour chaque moteur j'ai l'impression. Sauf s'il y a une API comme celle de Google.

Jocelyn

absoluteweb · 17 Mars 2003

Dans le genre, je fais de l'ASP mais il faut que je me mettes au PHP... Quelle est l'instruction en php pour récupérer une page distante ?

Dams · 17 Mars 2003

C'est fopen..
http://www.php.net/manual/fr/function.fopen.php

php.net y'a que ca de vrai pour trouver une fonction php!

Mitirapa · 17 Mars 2003

Jocelyn a dit:
Il faut récupérer le nombre qui se trouve immédiatement après "1 thru 10

ha ya une fonction pour recupérer après tel ou tels caractères ?
car moi j'ai toujours fair des substr( pour couper apres 8 caractres par exemple...

Dams · 17 Mars 2003

Tu veut recuperer apres un caractere ou un groupe de caractere ???

Si c'est le cas t'a explode('seoarateur','source') comme fonction en php..

http://www.php.net/manual/fr/function.explode.php

melmoth · 17 Mars 2003

Mitirapa a dit:
ha ya une fonction pour recupérer après tel ou tels caractères ?
car moi j'ai toujours fair des substr( pour couper apres 8 caractres par exemple...

Les expressions rationnelles sont tes amies:

http://www.php.net/manual/fr/function.preg-match.php

Un tutoriel sur la grammaire des expressions rationnelles par la:

http://www.bribes.org/perl/docfr/perlretut.html

C'est le meme genre de truc que pour l'url rewriting.

Prévoire du café

Mitirapa · 17 Mars 2003

ok merci je vais lire tout ca et me remettre un ptit coup à jour dans mes fonctions :wink:

Jocelyn · 17 Mars 2003

Voila ma solution (ce n'est bien sûr pas la seule) :
Le contenu du fichier est récupéré dans la variable $texte (avec fopen par exemple).
Il faut repérer le texte suivant : 1 thru 10 of 7,843 (
(Le nombre est variable, évidemment).

Code:

// garder tout ce qui est après '1 thru 10 of '
$texte_apres = strstr($texte, '1 thru 10 of ');

// chercher la position de la première parenthèse ouvrante
$pos = strpos($texte_apres, '(');

// extraire tout ce qui est avant cette position, puis enlever les espaces avant et après de la chaîne renvoyée.
$nombre = trim(substr($texte_apres, 0, $pos));

Pour finir il faut probablement reformater le nombre pour supprimer la virgule.

Avantage de ma méthode, elle n'utilise pas les expressions régulières qui peuvent s'avérer coûteuses en temps de calcul sur de grandes chaînes. A tester, et à confirmer que c'est plus rapide.

Autre possibilité :
Utiliser la fonction ereg (expressions régulières)
http://php.net/manual/en/ref.strings.php

Jocelyn

Mitirapa · 17 Mars 2003

oui c bcp plus rapide que la mienne.. car perso je prenais ligne par ligne en sélectionnant les lignes que je veux traiter...(mauvais habitude à cause d'un ancien script)

je vais tester tout ca demain avec plusieurs moteurs donc. merci !

WebRankInfo · 17 Mars 2003

les outils de WRI utilisent tout simplement des strstr, strpos et autres fonctions simples de manipulations de chaines...
enfin, les outils qui marchent encore, et y'en a plus bcp :cry:
promis un jour je prendrais du temps pour voir ce qui cloche avec l'API de Google...

Mitirapa · 18 Mars 2003

voilà j'ai un peu avancé dans mon ptit script pour calculer ses backlinks (merci à jocelyn pour ses lignes)

si vous voulez tester: http://www.surf4all.org/test.php

luckyluk · 18 Mars 2003

chouette ton truc...

il fonctionne bien!

mais dites moi...

en venant ici, ...on apprends toujours quelque chose...

ça vas bientot etre le lieu de rassemblement de tous les outils utiles pour le referencement...

WebRankInfo · 18 Mars 2003

Mitirapa a dit:
voilà j'ai un peu avancé dans mon ptit script pour calculer ses backlinks (merci à jocelyn pour ses lignes)

si vous voulez tester: http://www.surf4all.org/test.php

pour Lycos tu interroges comment ? car je n'obtiens pas les mêmes résultats en allant faire la requête sur lycos.
idem pour MSN...

Mitirapa · 18 Mars 2003

>pour google tu interroges comment ?
ben pour google, j'ai utilsé l'api et les autres la fonction file en php

>pour Lycos tu interroges comment ?
http://search.lycos.com/default.asp?loc ... nkinfo.com

>pour MSN tu interroges comment ?
http://search.msn.com/results.asp?RS=CH ... nkinfo.com

et donc dans les deux derniers je récupère le chiffre

WebRankInfo · 18 Mars 2003

j'ai la flemme d'aller lire quelle est la différence entre le classique link et le linkdomain ?

Mitirapa · 18 Mars 2003

WebRankInfo a dit:
j'ai la flemme d'aller lire quelle est la différence entre le classique link et le linkdomain ?

link: prend les liens internes et externes et linkdomain ne prend que les liens externes au nom de domaine

Gilbert Wayenborgh · 18 Mars 2003

Bonsoir ... je savais que vous m'attendiez ;-)

merci à jocelyn de m'avoir indique cette discussion ... ce qui me permet de retrouver certains qui m'avait déjà interpellé en prive ... sur la "hapi" ;-)

Je termine un ou deux trucs plus ou moins urgents ... puis je vous donnerais l'api de deepindex.

C'est du XML un peu dérivé, puisque je ... ne connais pas le XML... je me suis donc fais un propre "langage" le "dixml"

Je vous fournirais les scripts et les urls à interoger,ainsi que les syntaxes ... mais uniquement à un certains nombres de personnes ... dans le courant du deuxième trimestre elle seront alors dévoilé au public...

Mitirapa · 21 Mars 2003

Pour ceux qui sont interressés, j'ai mis le script pour compter ses backlinks en téléchargement...

il y a la version phpnuke (5.x, 6.0 et 6.5):
Démo: -http://www.creation-de-site-brest.com/calcul-popularite.html
Téléchargement: -http://www.creation-de-site-brest.com/modules.php?name=Downloads&d_op=getit&lid=6

et la version normale en page php simple:
Démo: -http://www.creation-de-site-brest.com/popularity.php
Téléchargement: -http://www.creation-de-site-brest.com/modules.php?name=Downloads&d_op=getit&lid=7
(le lien que j'ai placé peut etre viré si vous le mettez dans vos liens par exemple)

J'ai mis une clé pour l'api de google par défaut.. il suffira donc de la changer (c'est expliqué dans le document texte)
Dans les prochaines versions, je mettrais des graphs, essayerais de l'accélerer et nettoyer le code de l'api...