Changeset 74748 – SPIP-ZONE

Pour faire face au nombre ahurissant de bots qui tapent sur le serveur, j’avais mis des règles très violentes de contrôle d’accès par user-agent, mais je ne bloquais pas tout le monde. Je viens de réouvrir (un peu).

@Fil Tu me bloquais moi (ainsi que Pierre Beyssac ▻https://twitter.com/pbeyssac/status/520127702326861824 donc ça fait « tout le monde »). Maintenant, j’ai accès. Mais un contrôle par User-Agent me parait très fragile !

@Fil En plus, je suis jaloux, je n’ai pas « un nombre ahurissant de bots » sur mon blog :-(

Est-ce que ça ne bloquait pas IFTTT par hasard ? Parce que ce matin impossible ça ne fonctionnait plus, et là ça refonctionne apparemment.

Avec des merdes comme A6-Indexer, Riddler.io ou encore EasouSpider qui envoient des dizaines de hits par seconde et en provenance de différents IP, je suis bien obligé de trouver une manière de filtrer, d’une manière ou d’une autre. J’y suis allé un peu fort, c’est vrai !

Pour IFTTT renseignements pris c’est le user-agent feedzirra, et en effet je l’avais pris aussi dans mon grand filet :)

@fil tu pourrais tenter d’ajouter un Crawl-delay à 1 dans le robots.txt de seenthis comme on l’avait fait dans SPIP 3 :

▻http://zone.spip.org/trac/spip-zone/changeset/74748

De mon côté ça avait bien calmé les bots qui plombaient geodiversite.net et lestexinomes.org

ah oui ce sera un plus pour les robots gentils

@fil attention à ne pas faire la même erreur que j’avais fait en introduisant la modif dans SPIP :

▻http://zone.spip.org/trac/spip-zone/changeset/83831

Tu as deux fois User-agent : * dans le robots.txt de seenthis là ;)

huhu

@fil Tiens, il faudrait peut-être aussi personnaliser le niveau de load max dans l’écran de sécurité, car j’obtiens souvent des erreurs 503 Site temporarily unavailable (load average 1.31) quand je tente d’afficher le robots.txt du site :)

surtout, on dirait que ce 503 était mis en cache… bizarre !