Excellente histoire du Robots.txt, ce fichier qui autorise ou non l’indexation. Excellente mise en perspective qui explique pourquoi beaucoup souhaitent interdire l’indexation pour l’IA, mais peine à identifier les robots dédiés au-delà de GPTbot : ►https://www.theverge.com/24067997/robots-txt-ai-text-file-web-crawlers-spiders
Et le problème, c’est que les robots commencent à ne plus respecter les contraintes du fichier... #indexation