Turnitin : comment l'empecher de venir ?

Discussion dans 'Autres moteurs de recherche connus' créé par WebRankInfo, 18 Mai 2003.

  1. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    19 124
    J'aime reçus:
    347
    Je ne souhaite pas que Turnitin vienne sur mon site, et malgré ces 2 lignes dans le robots.txt, il vient toujours de temps en temps (350 visites ce mois-ci) :
    Code:
    User-agent: TurnitinBot
    Disallow: /  
    avez-vous le meme pb ?
     
  2. ndailly
    ndailly WRInaute discret
    Inscrit:
    10 Avril 2003
    Messages:
    152
    J'aime reçus:
    0
    Je sais qu'Aglaia a eu le même problème. En même temps, je ne pense pas que Turnitin agisse comme un rebot de moteur de recherche. Il ne sert pas à référencer des pages mais à déterminer si, un texte, n'est pas le plagiat d'un autre trouvé sur Internet. Si des webmaster commencent à lui en interdire l'entrée, turnitin ne pourra plus faire son boulot.

    Une solution possible serait de lui envoyer une page blanche en lieu et place des pages réelles chaque fois que turnitin pointe le bout de son nez.

    Nico
     
  3. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    19 124
    J'aime reçus:
    347
    Pourtant je les avais contactés et ils m'avaient indiqué qu'ils suivaient les directives du fichier robots.txt
    Apparemment ils les suivent seulement de temps en temps :cry:
     
  4. enky
    enky WRInaute occasionnel
    Inscrit:
    23 Mars 2003
    Messages:
    275
    J'aime reçus:
    0
    Même probleme chez moi il vien de fair 79 pages et pourtant il est interdit de séjour sur mon site, via robot.txt
     
  5. Kmacleod
    Kmacleod WRInaute passionné
    Inscrit:
    28 Novembre 2002
    Messages:
    2 467
    J'aime reçus:
    0
    Chez moi il n'est jamais passé
    Code:
    RewriteCond %{HTTP_USER_AGENT} ^TurnitinBot 
    RewriteRule .* - [F,L]
    Mais je n'ai pas encore vérifié s'il avait essayé de rentrer.
     
  6. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    19 124
    J'aime reçus:
    347
    j'ai ça aussi dans mon .htaccess mais je le vois quand meme dans GoogleStats... ou alors c'est GoogleStats qui se trompe ?
     
  7. Richard
    Richard WRInaute discret
    Inscrit:
    9 Février 2003
    Messages:
    126
    J'aime reçus:
    0
    Sur CinemaQuiz, depuis que je l'ai interdit dans le robots.txt, il ne vient plus... Avez-vous vérifier que votre robots.txt est correct ???

    De plus, sur le site de turnitin, il est précisé qu'on peut les contacter si le robot ne tient pas compte du robots.txt.

    Voila, a++
     
  8. jjack
    jjack Guest
    Idem, pareil, même chose...
     
  9. fupap
    fupap WRInaute occasionnel
    Inscrit:
    14 Novembre 2002
    Messages:
    254
    J'aime reçus:
    0
    apres de multiples passages sans tenir compte de l'interdiction) il semble s'etre calme
    et suivre le robots.txt maintenant
     
  10. Kmacleod
    Kmacleod WRInaute passionné
    Inscrit:
    28 Novembre 2002
    Messages:
    2 467
    J'aime reçus:
    0
    Turnitinbot que je bloque par le .htaccess a essayé de rentrer il y a deux jours, dans mes logs il apparait en erreur 403 pour 135 pages avec comme nom d'agent
    Dans googlestats : aucune trace de tout le mois alors qu'il est activé
    La protection marche bien, mais génére tout de même des hits serveur.
    Pour info le robots.txt a été le premier fichier lu
     
Chargement...
Similar Threads - Turnitin empecher venir Forum Date
Empêcher Googlebot de crawler/indexer tout un dossier Débuter en référencement 19 Avril 2019
désindexer et/ou empêcher crawl ? Crawl et indexation Google, sitemaps 4 Janvier 2019
Patron de Qwant : "Google essaye d'empêcher ..." Autres moteurs de recherche connus 1 Novembre 2018
Empêcher les majuscules dans les URL Débuter en référencement 27 Avril 2018
Empécher indexation Crawl et indexation Google, sitemaps 10 Avril 2018
Comment empêcher les gens de faire du copier coller ? Débuter en référencement 21 Janvier 2018
Empêcher des script javascript d'etre indexer Crawl et indexation Google, sitemaps 13 Mars 2017
Comment empêcher le crawl sur les pages "filter" et "order" Débuter en référencement 20 Janvier 2017
empêcher des caractères comme /?longurlwascutoff_0&& derrière l'url d'un site URL Rewriting et .htaccess 30 Avril 2016
Empêcher l'indexation de mon fichier sitemap Débuter en référencement 29 Avril 2016
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice