Salut, par les temps qui courent je me retrouve à faire des tâches que je ne fais pas habituellement comme le robot.txt, si je pouvais avoir une validation de votre part pour ne pas proposer une c*nnerie... J'ai crawlé le site en staging et j'ai ce genre de résultats que je souhaite ne pas indexer
site.com/fr/entreprises?filters%5Blisting_content_type%5D%5B0%5D="Restaurants"
site.com/fr/recherche?tab=content&filters%5Bitinerary_type%5D%5B%5D="5%20jours%20et%20plus"
site.com/es/search?tab=event&filters%5Bthemes%5D%5B0%5D="bla%20blabla"
site.com/en/search?tab=content&filters%5Bneighbourhoods%5D%5B%5D="bla%20the%20bla"
Est ce que le robot.txt serait bien :
User-agent: *
Disallow: /fr/recherche?filter=*
Disallow: /es/search?filter=*
Disallow: /en/search?filter=*
Disallow: /fr/entreprises?filter=*
Je ne suis pas sure pour entreprises qui a plein de pages derrière. Je veux juste virer les filtres des pages entreprises. Merci de votre aide et bon courage!
site.com/fr/entreprises?filters%5Blisting_content_type%5D%5B0%5D="Restaurants"
site.com/fr/recherche?tab=content&filters%5Bitinerary_type%5D%5B%5D="5%20jours%20et%20plus"
site.com/es/search?tab=event&filters%5Bthemes%5D%5B0%5D="bla%20blabla"
site.com/en/search?tab=content&filters%5Bneighbourhoods%5D%5B%5D="bla%20the%20bla"
Est ce que le robot.txt serait bien :
User-agent: *
Disallow: /fr/recherche?filter=*
Disallow: /es/search?filter=*
Disallow: /en/search?filter=*
Disallow: /fr/entreprises?filter=*
Je ne suis pas sure pour entreprises qui a plein de pages derrière. Je veux juste virer les filtres des pages entreprises. Merci de votre aide et bon courage!