Doutes sur le robots.txt

Discussion dans 'Problèmes de référencement spécifiques à vos sites' créé par medium69, 23 Mai 2006.

Tags:
  1. medium69
    medium69 WRInaute passionné
    Inscrit:
    7 Mai 2005
    Messages:
    1 940
    J'aime reçus:
    3
    J'ai un petit doute sur l'utilisation du robots.txt...

    Si je met une url qui à changer de nom dans ce fichiers, j'indique aux robots de ne plus indexé cette page.

    Si je ne me trompe pas, si il l'ont dans leur index, ils vont la désindexée.

    Si la dite url à une redirection dans le .htaccess, est-ce que les bots vont la remplacer par l'url de destination ou non ??

    Sachant que j'en interdit la lecture par le robots.txt.
     
    #1 medium69, 23 Mai 2006
  2. le_gber
    le_gber WRInaute discret
    Inscrit:
    9 Mai 2006
    Messages:
    164
    J'aime reçus:
    0
    si dans le .htaccess tu utilises un redirect 'personne' ne pourra lire ton ancienne page. Le redirect etant au niveau du serveur, il interviendra avant que ta page ne soit 'servit'

    Lister ta page dans le robots.txt est donc inutile.

    De plus si tu utilise un 301 redirect, Google (sur) Yahoo (un peu moins sur) remplaceront automatiquement l'ancienne par la nouvelle et le Pagerank sera aussi transféré.
     
    #2 le_gber, 23 Mai 2006
  3. medium69
    medium69 WRInaute passionné
    Inscrit:
    7 Mai 2005
    Messages:
    1 940
    J'aime reçus:
    3
    Disons que j'en ai certaines qui ont cette redirection 301 depuis presque un an, et quand j'ai essayé de les enlevé du .htaccess, je les ai retrouvé en 404 dans mes stats.

    Donc je trouve qu'ils mettent longtemps à réagir les bots ; non ?
     
    #3 medium69, 23 Mai 2006
  4. le_gber
    le_gber WRInaute discret
    Inscrit:
    9 Mai 2006
    Messages:
    164
    J'aime reçus:
    0
    oui, ca c parce que il ne comprenne pas tous le message envoyé par ton serveur - 301 Permanent redirect. Google est le seule a le comprendre pour l'instant - bien qu'il y a une rumeur qui court disant que depuis BigDaddy c plus trop ca - Yahoo a aussi du mal je crois
     
    #4 le_gber, 23 Mai 2006
(Vous devez vous identifier ou vous inscrire pour poster ici.)
Chargement...
Similar Threads - Doutes robots Forum Date
Des doutes sur Blogger Google : l'entreprise, les sites web, les services 17 Mai 2012
doutes sur transfert de domaine Noms de domaine et référencement 15 Décembre 2010
Redirection et référencement, j'ai quelques doutes. Netlinking, backlinks, liens et redirections 17 Mai 2009
Redirection et doutes sur le référencement à suivre. Référencement Google 11 Mars 2008
Serveur OVH hacké. De gros doutes Administration d'un site Web 21 Novembre 2007
Des doutes subsistes quand à mon référencement sur Google Problèmes de référencement spécifiques à vos sites 17 Novembre 2007
Pour ceux qui ont des doutes sur les méta à utiliser ! Référencement Google 17 Juin 2005
Sérieux doutes sur mes compétences en référencement Problèmes de référencement spécifiques à vos sites 24 Novembre 2004
Pourquoi se créer des doutes ? Netlinking, backlinks, liens et redirections 8 Juillet 2004
De serieux doutes sur les stats E-stat. Administration d'un site Web 23 Mai 2004
Pourquoi ne pas utiliser le robots.txt pour interdire l'indexation ? Débuter en référencement 14 Avril 2022
canonical et robots=index sur une même page Débuter en référencement 7 Décembre 2021
le noindex dans le robots.txt Débuter en référencement 19 Novembre 2021
suppression des pages bloquées par robots.txt Débuter en référencement 18 Octobre 2021
Faut-il déclarer le sitemap dans le robots.txt ou search console ? Crawl et indexation Google, sitemaps 14 Juillet 2021
Les mots-clés de mon site ne sont pas détectés par les robots de référencement Problèmes de référencement spécifiques à vos sites 7 Juillet 2021
Wordpress et le robots.txt Débuter en référencement 21 Juin 2021
Search Console noindex détecté dans la balise Meta robots Débuter en référencement 21 Mai 2021
Urls filtrées indexées et crawl robots.txt Crawl et indexation Google, sitemaps 19 Mai 2021
Robots : n'autoriser que les 4 ou 5 moteurs de recherche principaux Crawl et indexation Google, sitemaps 15 Janvier 2021