Bonsoir à tous,
Voilà, je commence le référencement (en mode débutant) de mon site et j'utilise un programme qui crawl l'ensemble des pages dans une première étape. C'est un petit woocommerce.
Après cette première étape donc de crawl j'ai style quelque chose comme 5000 pages crawlées ! Alors que vraiment, le site en fait bien moins...
Donc avant d'aller plus loin je me pose la question suivante :
Est-ce normal et dois-je exclure certaines urls du crawl. C'est possible avec des outils d'exclusion de structures d'url.
Ou bien, il y a un problème dans la structure même du site ?
Exemple de structure d'url crawlés en masse :
/?product_cat=categorie1&add_to_wishlist=19680
/?product_cat=categorie1&add-to-cart=19680
En suivant ce lien par exemple, je charge bien la page de mon site mais un produit c'est ajouté au panier. Comme si cette page existait.. mais c'est un comportement dynamique au final... je pige pas...
Il y a d'autres exemples mais c'est le même délire. Comme si tous les cas de figure/comportements avaient générés une page qui est donc crawlée par le programme de référencement.
Un Kdor pourrait m'éclairer ?
@tout
Voilà, je commence le référencement (en mode débutant) de mon site et j'utilise un programme qui crawl l'ensemble des pages dans une première étape. C'est un petit woocommerce.
Après cette première étape donc de crawl j'ai style quelque chose comme 5000 pages crawlées ! Alors que vraiment, le site en fait bien moins...
Donc avant d'aller plus loin je me pose la question suivante :
Est-ce normal et dois-je exclure certaines urls du crawl. C'est possible avec des outils d'exclusion de structures d'url.
Ou bien, il y a un problème dans la structure même du site ?
Exemple de structure d'url crawlés en masse :
/?product_cat=categorie1&add_to_wishlist=19680
/?product_cat=categorie1&add-to-cart=19680
En suivant ce lien par exemple, je charge bien la page de mon site mais un produit c'est ajouté au panier. Comme si cette page existait.. mais c'est un comportement dynamique au final... je pige pas...
Il y a d'autres exemples mais c'est le même délire. Comme si tous les cas de figure/comportements avaient générés une page qui est donc crawlée par le programme de référencement.
Un Kdor pourrait m'éclairer ?
@tout