Extraire un fichier robots.txt et comparer le résultat

Discussion dans 'Développement d'un site Web ou d'une appli mobile' créé par yule, 12 Juillet 2014.

  1. yule
    yule WRInaute occasionnel
    Inscrit:
    24 Juillet 2004
    Messages:
    320
    J'aime reçus:
    9
    Hello,

    Je cherche a extraire des informations du fichier robots.txt s'il existe..

    plus précisément, j'aimerais savoir si cette ligne "Disallow: /" est présente sur robots.txt des urls qu'on me soumet..

    si tel est le cas, retourne un message d'alerte indiquant par exemple " Attention la page demandée n'est pas accessible"

    Niveau code, je reste bloquée à l'affichage dudit document. Je ne sais pas comment extraire la ligne concernée s'il est existe et la comparer pour afficher ou pas un message d'alerte

    Code:
    <?php 
    
    
    $lines = file('http://www.monsite.com/robots.txt');
    
    // Affiche toutes les lignes du tableau 
    foreach ($lines as $line_num => $line) {
        echo "Line #<b>{$line_num}</b> : " . htmlspecialchars($line) . "<br />\n";
    }
    ?>

    Si vous avez une idée c'est volontiers
    COrdialement
    Yule
     
  2. spout
    spout WRInaute accro
    Inscrit:
    14 Mai 2003
    Messages:
    8 727
    J'aime reçus:
    232
    PHP:
    <span class="syntaxdefault"><br /></span><span class="syntaxkeyword"><?</span><span class="syntaxdefault">php<br />$search </span><span class="syntaxkeyword">=</span><span class="syntaxdefault"> </span><span class="syntaxstring">'Disallow: /'</span><span class="syntaxkeyword">;<br /></span><span class="syntaxdefault">$contents </span><span class="syntaxkeyword">=</span><span class="syntaxdefault"> file_get_contents</span><span class="syntaxkeyword">(</span><span class="syntaxstring">'http://www.example.com/robots.txt'</span><span class="syntaxkeyword">);<br /></span><span class="syntaxdefault">$lines </span><span class="syntaxkeyword">=</span><span class="syntaxdefault"> explode</span><span class="syntaxkeyword">(</span><span class="syntaxstring">"\n"</span><span class="syntaxkeyword">,</span><span class="syntaxdefault"> $contents</span><span class="syntaxkeyword">);<br /><br /></span><span class="syntaxdefault">foreach </span><span class="syntaxkeyword">(</span><span class="syntaxdefault">$lines as $line </span><span class="syntaxkeyword">=></span><span class="syntaxdefault"> $content</span><span class="syntaxkeyword">)</span><span class="syntaxdefault"> </span><span class="syntaxkeyword">{<br /></span><span class="syntaxdefault">    if </span><span class="syntaxkeyword">(</span><span class="syntaxdefault">trim</span><span class="syntaxkeyword">(</span><span class="syntaxdefault">$content</span><span class="syntaxkeyword">)</span><span class="syntaxdefault"> </span><span class="syntaxkeyword">==</span><span class="syntaxdefault"> $search</span><span class="syntaxkeyword">)</span><span class="syntaxdefault"> </span><span class="syntaxkeyword">{<br /></span><span class="syntaxdefault">        echo sprintf</span><span class="syntaxkeyword">(</span><span class="syntaxstring">'%s found at line %d'</span><span class="syntaxkeyword">,</span><span class="syntaxdefault"> $search</span><span class="syntaxkeyword">,</span><span class="syntaxdefault"> $line</span><span class="syntaxkeyword">);<br /></span><span class="syntaxdefault">    </span><span class="syntaxkeyword">}<br />}<br /></span><span class="syntaxdefault"> </span>
    NB: XSS sur ton site: -http://www.kolaoo.com/q.php?search=%22%3E%3Cstyle%3Ebody{background-color:pink}%3C/style%3E
     
  3. Axiso
    Axiso WRInaute passionné
    Inscrit:
    8 Avril 2004
    Messages:
    1 209
    J'aime reçus:
    0
    Voilà, comme spout il a dit, c'est plus simple :)
     
  4. yule
    yule WRInaute occasionnel
    Inscrit:
    24 Juillet 2004
    Messages:
    320
    J'aime reçus:
    9
    Ok extra merci.

    Pour la faille ci-dessus... le site va fermer prochainement... je fais un autre moteur de recherche (0kil.com, rien n'est fini j'essaye de le mettre en place). je reste un amateur qui test des choses pour le plaisir et surtout selon mes maigres connaissances.

    Par contre pour cette erreur, j'ai déjà eu des messages qui m'informe des possibilités de failles mais j'ai jamais réussi a faire face...

    Perso j'ai essayé de mettre ceci dans la recherche et tout ce passe bien

    Code:
    <script > alert (Hack) </script >
    POur ce qui est de ton test je sais pas comment y faire face...

    il semblerait que cela soit insufissant ?

    Code:
    $keywords = isset($_GET['s']) ? $_GET['s'] : '';
    
     $parsed_keywords = htmlspecialchars(chop($keywords));

    A+
    Yule
     
  5. loubet
    loubet WRInaute impliqué
    Inscrit:
    19 Février 2003
    Messages:
    793
    J'aime reçus:
    0
    -http://www.kolaoo.com/q.php?search=%22%3E%3Cscript+%3E+alert+%28%27Hack%27%29+%3C%2Fscript+%3E&submit=GO+!!!
    il ne faut pas toujours utiliser htmlspecialchars, seulement quand tu affiches la recherche dans la page html (en valeur de la input de recherche par exemple), mais pas pour faire la recherche sql.
     
  6. yule
    yule WRInaute occasionnel
    Inscrit:
    24 Juillet 2004
    Messages:
    320
    J'aime reçus:
    9
    Mais finalement faut faire quoi ?

    Quel est la véritable parade pour éviter ça, quoique je fasse c'est pas correct ou insuffisant 8O

    Il faut bien nettoyer avant d'afficher les résultats, par contre si on place directement dans l'adresse ce code, C'est carton plein..

    <style>body{background-color:pink}</style>

    q.php?search="><style>body{background-color:pink}</style>


    Ayaaa caramba
     
Chargement...
Similar Threads - Extraire fichier robots Forum Date
Extraire des données d'un fichier .csv pour en faire un pdf Administration d'un site Web 12 Mai 2011
Extraire données d'un fichier txt Développement d'un site Web ou d'une appli mobile 24 Décembre 2008
Extraire chaine d'un Json Développement d'un site Web ou d'une appli mobile 18 Octobre 2018
Linkedin : impossible d'extraire un aperçu --- Help !!! Autres réseaux sociaux 2 Février 2017
Extraire une partie d'un site vers un nouveau Débuter en référencement 17 Juin 2016
Extraire les sessions pour chaque mois par source Google Analytics 30 Septembre 2015
url rewriting formule pour extraire "mots+clefs" Débuter en référencement 4 Août 2014
[résolu] Extraire les statistiques d'une partie du site avec Google Analytics Google Analytics 11 Février 2013
Extraire une partie des données Google Analytics 8 Octobre 2012
Expression régulière : extraire une chaine variable d'une chaine Développement d'un site Web ou d'une appli mobile 4 Septembre 2012
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice