Je suis allé voir par hasard mes logs de serveur. C'est un spam continu de "ai bot". Je pensais pas que c'était à ce point.
Du coup, j'ai suivi cet excellent tuto nginx https://rknight.me/blog/blocking-bots-with-nginx/
Maintenant les crawler sont invités à DL 10Go de choses sans intêret.
Tout le monde devrait faire au moins ça. Si ce n'est par principe anti IA, pour sauver son débit et perf de son serveur.
(EDIT : j'avais pas mis le bon lien :p)
... Les faits que ces même bots insistent pendant des heures malgré la redirection est un peu flippant psychologiquement. Ai l'impression de voir des zombis aller contre un mur. Tu sais que ça craint rien, mais ça fait des bruits dans les logs >_<