crawl (exploration)

  1. N

    Iframe youtube remplacée par <!--@ inlined-iframe . --> dans cache Google ?

    Bonsoir Lorsque je regarde le code source de mes pages (qui contiennent des video youtubes) via webcache de google je constate que mes simples lignes : <iframe class="embed-responsive-item" src="https://www.youtube.com/embed/idvideo" allowfullscreen></iframe></div> sont remplacées par plus...
  2. M

    Probleme de pagination

    Bonjour, y'aurait il un programmeur php expérimenté qui pourrait m'aider svp? car ca fait une semaine que je cherche sans trouver. J'ai un formulaire de plusieurs choix qui redirige vers la page de résultat. je me connecte à la BDD, je calcule le nombre total de réponses, je filtre avec mes...
  3. A

    Crawl AJAX - galère, galère

    Bonjour à tous. Je possède un site en AJAX qui est très (très) mal référencé et qui affiche une caractéristique dont j'aimerais vous faire part afin de recueillir votre avis... Donc c'est une question pour les spécialistes de l'AJAX ! Je vous explique. J'ai une page de recherche qui comprend...
  4. W

    Page "nos partenaires" en disallow

    Bonjour à tous. N'ayant rien trouvé sur ce sujet spécifique j' espère trouver une réponse sur ce lumineux forum. Sachant que Google n'aime pas trop les pages "échanges de liens" je me demandais si en mettant cette pages en disallow dans le fichier robots.txt et en mettant ces liens en...
  5. S

    Crawl et nombre de 30X important

    Bonjour, En auditant un site (sous Drupal), j'ai noté une forte proportion des liens internes en 30x (301 et 302) de près de 50%. En gros, 1 lien sur 2 génère une redirection. Il me semblait avoir lu quelque part que ce n'était pas forcément apprécié. Surtout que la grosse partie de ces liens...
  6. V

    Page avec URL canonique différente de l'URL crawle (? )

    Bonjour à tous, Tout d'abord, merci d'avance pour votre accueil et précieux conseils... Je suis totalement débutant en SEO et je préfère comprendre comment "ça marche" en mettant les mains dans le cambouis plutôt que de faire tout sous-traiter... (Peut-être que je vais changer d'avis dans...
  7. A

    Crawl apres suppression urls

    Bonjour je veux supprimer toutes les urls d'un sous dossier et reprendre le crawl dans ce meme sous dossier domaine.com/sousdossier/urls-a-supprimer --->>> domaine.com/sousdossier/nouvelles-urls-a-crawler avec le demande de suppression et User-agent: Googlebot Disallow: /sousdossier apres...
  8. W

    Scroll infini ou pagination: quel est le meilleur en SEO ?

    Je possède un site d'annonces. Les annonces sont affichées de manière aléatoirs, il y a ± 300 annonces. Pour l'instant nous utilisons la méthode scroll infini pensant que Google allait indexer les 300 annonces, ce qui n'est apparemment pas le cas. Par contre si j'utilise la méthode pagination...
  9. Z

    Outil de crawl efficace et gratuit

    Bonjour, Je recherche un outil de crawl gratuit. Quelles sont les meilleures ? Je cherche à savoir notamment : - les problèmes de duplication de contenu en interne - problème de balise non rempli - les longueurs des balises title et meta Par avance merci de vos réponses.
  10. C

    Crawling en fonction des "User Agent"

    Bonjour, Les règles SEO sont assez complètes et s’opposent parfois à un design actuel, épuré et léger ! Je réalise actuellement un site photo et vidéo. Typiquement j’aimerais comme sur cette page : http://www.ascensionlatorre.com/home avoir un texte accrocheur (reprendre l’idée), où les...
  11. S

    Crawler de site pour générer les pages en cache

    Bonjour à tous, J'ai un blog qui tourne sous Wordpress depuis 4 ans environ. J'ai environ 3000 articles dessus. J'ai donc un plugin de cache(wp fastest cache) pour permettre d'afficher les pages plus rapidement. Je purge le cache chaque jour. Ma question: existe-t-il un petit outil (script...
  12. F

    Crawl et analyse de log de mon site

    Bonjour à tous, Je vous explique un peu la situation. Je viens de prendre les "manettes" d'un site à forte volumétrie (dernier crawl effectué plus de 1 500 000 pages). Après avoir commencer à analyser le passage de GoogleBot avec Watussi Box je me suis aperçu avec horreur que plus de 90% de...
  13. D

    Balise Noindex ou Disallow dans robots.txt

    Bonjour, j'aimerais vos avis sur le récent commentaire de John Mueller, sur le fait qu'il fallait éviter d'utiliser la commande noindex dans le fichier robots.txt. Sur un site il y avait plus de 2 millions de pages sans valeurs ajoutées car c'étaient des pages de recherche de produits avec...
  14. D

    Ras le bol ! Bloquer le crawling des fichiers Css et Javascript à Google

    Bonjour, Je trouve que Google devient trop intrusif à ce rythme il permettra aux internautes la consultation du contenu de nos sites à partir de son moteur : Un spécialiste peut-il me dire si ces deux lignes dans le fichier .htaccess vont faire le job ? et suffisant merci RewriteEngine On...
  15. H

    Crawler les pages en mode connecté

    Bonjour bonjour, une demande un peu particulière, je cherche un logiciel de crawl capable de se connecter à un compte utilisateur du site (ou récupérer des cookies de connexion) afin d'avoir la liste exhaustive des contenus, y compris ceux non accessibles par Google. Ca existe ? :)
  16. @

    Comment accéléer la vitesse d'un crawleur en php

    j'ai écrit un script en php qui fait le crawl d'un site web .mais il prend bq de tepms : environ 1h30 pour donner le resultat Alors comment je peux accélerer la vitesse de crawling
  17. J

    Référencement et cache Google

    Bonjour à tous, J'ai créé pour ma boite un site internet avec un CMS créé en interne. Le site a été mis en ligne le 10 Juillet. Entre temps, j'ai décidé de mettre à jour certains contenus dans le but d'optimiser le référencement (le site ne remonte pas sur les mots clés que je souhaite). Le...
  18. L

    Crawl de page par Google Bot via une recherche web

    Bonjour, Je suis à la recherche d'informations concernant le crawl de google Bot (desktop & mobile). Depuis 4 jours, je remarque que 2 pages du site sont crawlées par Gbot via une url de recherche web . exemple : https://www.google.fr/url?sa=t&rct=j&q=&esrc=s&source=web&cd=1&ved=0CFw ...
  19. @

    Script de crawl en php

    bonjour tt le monde !! je suis entrain de rediger un script php qui me permettrait de faire les choses suivants : 1)crawler d'un site internet 2)extraire tous les liens externes et invalides(404 not found) 3)mettre le resultat dans la bdd voilà c que j'écrit exter.php <?php // It may take...
  20. H

    Accès de Googlebot aux fichiers CSS et JS impossible

    Bonjour, J'ai un site sous WordPress. Depuis quelques temps Google m'envoie le message suivant: Après avoir fait le test "Explorer comme Google" conseillé par Google on m'indique que Google n' a qu'un accès partiel à mon site. Google me demande de lui ouvrir l'accès aux dossiers WordPress...
Haut