BigGrizzly

yes !
merci, merci !

Est-ce que tu publies la liste des IP bloquées ?

Merci @biggrizzly et @b_b

Effectivement, c’est très fluide. Bravo la team !

Je confirme, merci !

Je plussoie, Merci.

Merci :)
(cette nuit vers 3h, impossible d’aller sur seenthis, mais je sais pas si c’est lié)

A 3h du mat’, y-a la sauvegarde de mariadb. J’ignorais que ça rendait le site injoignable. Il faudra vérifier ce qu’il se passe.

Je viens de mettre à jour l’ipset (►https://ipset.netfilter.org/ipset.man.html).

Il s’agit du regroupement de toutes les IPv4 bloquées par fail2ban.

J’ai utilisé la commande aggregate pour regrouper les blocs d’IPv4 quand cela est possible (▻https://www.systutorials.com/docs/linux/man/1-aggregate)

On obtient les effectifs suivants par cidr :

Mais au total, donc, nous avons ce matin 463967 adresses IPv4 bloquées par cet ipset dans iptables. Cela permet de n’avoir qu’une seule ligne à gérer dans le firewall pour bloquer toutes ces IP, ça économise quelques ressources.

Le fichier au format ipset est téléchargeable à l’adresse suivante :
▻https://www.partagerfichier.fr/download/2025-03-26-08-39-47_botnet-set.zip

D’autres personnes doivent avoir déjà ce type de ressource à disposition. N’empêche que je nous crois veinards d’avoir cette sorte de bug, dans SeenThis, qui fait qu’il a été si facile de repérer ce botnet (cf. mon autre fil à ce sujet). OK, ça fait sans doute des semaines qu’on aurait pu remarquer ces URI foireuses dans les journaux... mais comme je le dis bien trop souvent, ce serveur est trop vieux pour le connecter aux solutions de journalisation modernes !

Un ipset, ça s’utilise à priori aussi avec les solutions modernes de firewall sur Linux. Mais là, sur SeenThis, on est des vieux, et on utilise iptables.

Pour charger le fichier, on utilise la commande :
ipset restore -file ./botnet-set

Pour l’ajouter dans iptables, on utilise la commande :
iptables -A INPUT -m set --match-set botnet-set src -j DROP

Cette dernière ligne doit s’insérer dans la chaîne de filtrage de votre firewall, que vous connaissez mieux que moi. Elle dépend de votre système.

cette nuit vers 3h

Cette nuit à 3 heures, c’était donc @fonkisifou qui était de quart pour qu’il y ait quelqu’un d’actif sur Seenthis 24h/24 pour pouvoir réagir rapidement au dernier truc nazi posté sur Touiteur par Elon ou Donald.

🤣
Ils en postent trop, si je veux tout lire (et éventuellement partager mais vous êtes bien plus rapide que moi), j’ai plus le temps de dormir

Merci

Je pense que l’un des sites que j’administre (un site d’artisans d’art sous WP) est victime de bot IA pour voler leurs œuvres.
Si quelqu’un a une idée pour bloques ces 💩…

La liste des 460K IP est exploitable aussi sans accès au pare-feu de la machine, mais c’est moins efficace... Par exemple, dans WP Cerber, il est possible d’importer une liste d’adresses IP en liste noire. Ceci dit, je doute qu’une base de données WP supporte 460K IP. Et en plus, pas besoin d’autant de monde pour faire tomber un WP... Mais tu peux toujours essayer. Note que par défaut, les sites WP laissent les robots bourriner certaines URL (xml-rpc.php par exemple), alors qu’elles ne servent à rien d’utile et qu’il vaut mieux ne rien répondre, et griller l’IP qui bourrine. WP Cerber sait faire ce genre de choses.

Effectivement, c’est bien là que ça tape.

►https://thelibre.news/foss-infrastructure-is-under-attack-by-ai-companies

Et tu es cité @biggrizzly d’ailleurs

Ah oui. J’ai répondu sur un ou deux fils que j’ai vu passer sur Mastodon, en envoyant jusqu’à ce post ici. Le fichier des IP a été téléchargé 8 fois. C’est pas à ce rythme qu’on va sauver l’Internet des humains :-))

Là, là, l’ours traverse les frontières.

Ca continue de frapper à la porte, le botnet continue d’émettre des requêtes bidons, et de nouvelles adresses IP se font choper. Le décompte ce matin est de 475284 IPv4 à bloquer.

Le serveur n’a jamais été aussi peu sollicité que depuis que ces IP sont bloquées.

Cela mériterait de faire une étude sur l’origine de ces adresses.

Je commence par rétablir l’accès aux moteurs de recherche (actuellement 748 IP bloquées). Puis je rétablirai l’accès public à la recherche. On pourra vérifier les deux effets.

Charge processeur sur un an. L’accalmie à droite, c’est la semaine qui vient de se passer. Le serveur n’a jamais été aussi peu sollicité, comme je le disais.

https://pixelfed.zoo-logique.org/storage/m/_v2/493151427756716033/549719332-a3f277/uDxNf8I4zfKy/ZcQcSvOkKzVIndgOza4zfcuEiJ7LIzILaCtxMFzi.png

C’est très confortable de pouvoir poster ou rechercher sans regarder le bousin tourner dans le vide pendant des plombes.

Est-ce que j’ai bien compris : ce que tu bloques, ce sont les IP qui appellent une URL erronée typique du crawler qui ne sait pas interpréter <base href> ?

Auquel cas ce bot aurait fabriqué son propre honey trap, ce qui serait assez rigolo…

Oui, c’est exactement ça. C’est rigolo.

Sinon, est-ce que 500 000 IP différentes ça signifie 500 000 machines ? Et d’après ce que tu as indiqué une fois, ces IP ne sont pas géolocalisées dans un seul pays (Chine), mais partout dans le monde.

Si c’est le cas, de quoi parle-t-on ? D’un service d’IA qui a des fermes de machines dans plein de pays différents ? Ou de l’utilisation d’un réseau de machines piratées (comme on le ferait pour une DDOS classique), ce qui me semble autrement plus grave.

(C’était un de mes commentaires à propos de « 6 millions de dollars » qu’aurait coûté Deepseek : c’est (au moins) en ne comptant pas les dégâts que ces crawlers infligent aux sites Web, au temps que passent les gens qui, comme toi, perdent des semaines à essayer d’éviter que leur machine soit submergée… et pour le coup, l’utilisation de 500 000 machines connectées – des fois qu’on paie pour ces machines.)

Une vraie enquête d’un journaliste spécialisé pourrait répondre à certaines de ces questions. Je pense qu’on est dans un entre deux, machines piratées, et VPS achetés dans des datacenters du monde entier.
Il faudrait, par exemple, donner à manger toutes ces IP à un ElasticSearch, avec les options d’analyses de geoip. Pas le temps de le faire. Mais si un curieux souhaite le faire, c’est la raison pour laquelle j’ai publié la liste.

J’ai rouvert la recherche en accès public tout à l’heure.

Les processeurs sont à nouveau fortement sollicités par le firewall (processus ksoftirqd).

Le botnet est toujours à la recherche de contenus et sa porte d’entrée sur SeenThis est bien le formulaire de recherche. Et comme il reste des IP non-bloquées, à chaque fois qu’il parvient à effectuer une recherche, il tente à nouveau de récupérer les pages présentes dans le résultat de la recherche.

Les non-inscrits peuvent toujours utiliser les moteurs de recherche externes, donc pour moi, c’est très bien que ça ne fonctionne que pour les inscrits.

Constatation : ça rame un peu aujourd’hui.

Si ça peut être utile :
►https://arstechnica.com/ai/2025/03/devs-say-ai-crawlers-dominate-traffic-forcing-blocks-on-entire-countrie

Software developer Xe Iaso reached a breaking point earlier this year when aggressive AI crawler traffic from Amazon overwhelmed their Git repository service, repeatedly causing instability and downtime. Despite configuring standard defensive measures—adjusting robots.txt, blocking known crawler user-agents, and filtering suspicious traffic—Iaso found that AI crawlers continued evading all attempts to stop them, spoofing user-agents and cycling through residential IP addresses as proxies.

(source : ▻https://piaille.fr/@jfmblinux@mastodon.jfmblinux.fr/114228268167821495)

Effectivement, en faisant quelques sondages à la main dans le fichier de Biggrizzly, j’ai constaté qu’il y avait énormément d’IP géolocalisées au Brésil. (Mais pas que…)

Qu’est-ce que signifie cette phrase :

use residential IP addresses as proxies

Il me semble que le seul moyen d’utiliser l’IP de quelqu’un d’autre, c’est de pirater sa machine, non ? Ou bien il y a un service (au Brésil notamment) qui permet à n’importe qui de « louer » une partie de son traffic (façon Tor) à quelqu’un d’autre. M’enfin Tor c’est déjà pas super-rapide, alors si c’est utilisé pour que des centaines de milliers de robots crawlers aspirent le Web en continu, ça ne me semble pas viable.

Il se peut que ces plages d’IP soient achetables et exploitables à d’autres fins que pour la fournir à des particuliers. Je ne suis pas suffisamment au fait de ce fonctionnement.

Il se peut aussi que les Alexa et autres GAFAM boxes puissent être utilisées depuis les lignes de leurs possesseurs. Il y a une vraie enquête à mener, pour un journaliste qui aurait du temps.

350 téléchargements depuis ce matin, mais tjs pas de retour comme quoi c’est utile ou pas. Le suspens est rude :-)

En général quand ça sert ou que ça fonctionne, personne ne dit rien, par contre si il y a des erreurs ça chouine toujours.
Peut-être que les IA ont chargé ta liste pour s’autocongratuler parce que ça leur manquait un petit merci :))

En fait, tu l’auras compris, je me demande vraiment si ce botnet est celui qui enquiquine tant de monde, ou bien si ce botnet n’a enquiquiné que nous ici sur SeenThis. Ne pas avoir de retour des autres plateformes qui délivrent du contenu humain, c’est un petit peu anxiogène (le terme est évidemment trop fort), je ne peux pas croire qu’un milliardaire ait pu décider de ne s’attaquer qu’à SeenThis et à rien d’autre.

Ceci dit, je conçois que la mise en œuvre d’un tel outil (ipset) ne soit pas naturelle, les admins Linux n’ont pas forcément l’habitude d’écrire leur script de firewall par eux même, et donc, intercaler ce fichier dans leur chaîne de filtrage, il se peut qu’ils aient quelques difficultés...

Patientons...

@biggrizzly vuex-tu que j’en cause dans ce fil du forum CHATONS ? ►https://forum.chatons.org/t/mise-a-mal-des-forges-git-par-les-indexeurs-dia/7086

Tu peux évidemment transmettre l’information. :-)

J’ai à nouveau coupé la recherche.

Les logs ce matin sont confis de ce genre de lignes :

Et j’ai l’impression que le botnet a appris à suivre les liens correctement.

Hier à 11h, j’ai rétabli la recherche en public. La charge a augmenté immédiatement.
Puis ce matin à 7h, le flux s’est accéléré, saturation à nouveau des processus FPM, erreurs 502, gateway time out, le botnet s’est mis à tenter d’exploiter correctement les URL (d’après les logs, ça commence, mais ce n’est pas encore vraiment la grosse réussite...).
Et donc, ce matin, 8h30, je coupe la recherche publique, et ça va mieux. Ouf.

https://pixelfed.zoo-logique.org/storage/m/_v2/493151427756716033/549719332-a3f277/g50YVVrMRBnQ/fsyitVpnk44iulvL4zDtWrw89IpucmQzsSoBQtjy.png

@biggrizzly j’ai relayé ici ▻https://framapiaf.org/@infini/114230785785284048 et je m’en vais faire de même sur le forum des CHATONS.

L’impression qu’on tente chacun dans son coin des solutions...

Le coup du crawler « MSIE », c’est géré sur SeenThis par une mise en fail2ban quasi-immédiate. Plus personne normalement ne navigue sur Internet avec MSIE, ces navigateurs ne fonctionnent pas avec le web moderne.

J’ai tenté d’extraire les pays des IP, mais j’ai procédé de la mauvaise façon, je dois avoir grillé notre IP de l’accès aux whois pour 150 ans... Il faudrait procéder autrement... avec un serveur plus récent. C’est toujours la même histoire, on en arrive toujours à la même conclusion. :-)

je viens d’essayer « à la main » sur les 3 premières adresses en nb d’occurrences, j’obtiens Bagdad et Minais Gerais ou Porto Alegre au Brésil.
Je ne sais pas ce que ça donne en téléchargeant les BdD ad hoc (faut créer un compte…)

EDIT : sur les 10 premières (1009 accès au total) : 2 à Bagdad, les 8 autres divers États du Brésil.

Vous vous souvenez, j’ai réactivé la recherche pendant un certain temps, pour la couper à nouveau.

Hier, donc, vers 8h30, j’ai coupé la recherche. Et vers 16h30, la charge a recommencé à monter. Raisonnablement. Mais tout de même. Jusqu’à 19h, où tout est revenu à la quasi-normale.

Dans ce délai, ce sont 21000 nouvelles adresses IP qui se sont ajoutées à toutes les autres.

Quand la recherche est active, il accumule des dizaines de liens à visiter. Et il obtient apparemment de nouvelles IP à exploiter, pour faire son travail. Et il tente d’avaler les URL, donc, sous un délai de 8h.

Le botnet n’a pas encore appris de ses erreurs. Tant mieux.

SeenThis est-il un réseau social, ou bien un honeypot ?

Amha tu peux laisser la recherche bloquée, à mins que tu ne souhaites étoffer la liste d’IPs pour l’exploiter ailleurs ;)

J’ai reçu un retour positif, suite au partage de l’ipset. Un seul. Pour le moment. J’ignore si d’autres ont eu du succès, en l’exploitant. Le suspens reste entier.

Tu m’as compris, oui, je pense qu’à intervalle régulier, je vais rouvrir la recherche. Pour compléter l’ipset. On doit s’approcher des 500K IP. C’est un objectif séduisant, d’atteindre les 500K.

Philippe Catherine, on te voit !

géolocalisation des ID (trois premiers octets de l’IP v.4)
sur la version du 26/03 au soir

https://pixelfed.zoo-logique.org/storage/m/_v2/493806419159965724/549719332-a3f277/UeErDnEy4q9Z/TMGG8PWDW1zgoyWtTAUSaC7qqHQrEoqdpdiTUWT4.png

(ma première recherche associative sur une table d’environ 3 millions de lignes – sur 3 feuilles de calcul XL – un peu de bidouille…)

Ça confirme ce que disait l’article de Ars Technica :
►https://arstechnica.com/ai/2025/03/devs-say-ai-crawlers-dominate-traffic-forcing-blocks-on-entire-countrie

Kevin Fenzi, a member of the Fedora Pagure project’s sysadmin team, reported on his blog that the project had to block all traffic from Brazil after repeated attempts to mitigate bot traffic failed.

C’est un botnet issu des pays non-occidentaux qui ont de nombreux utilisateurs. Le Brésil est un des pays les plus développé du sud.
Bloquer le pays tout entier quand il suffit de bloquer 61K IP, c’est excessif, mais pourquoi pas.

Joli travail Simplicissimus, c’est très parlant, finalement.

C’est peut-être le Vo1d mentionné ici ▻https://thehackernews.com/2025/03/vo1d-botnets-peak-surpasses-159m.html

et tant qu’à faire (la moitié des ID du total, quand même)
mais, sans grand intérêt car ça doit être plus ou moins directement lié au nombre de machines sur le réseau…
(mais, chance !, le fond de carte des États du Brésil fait partie des quelques fonds d’exemple de Magrit ;-)

https://pixelfed.zoo-logique.org/storage/m/_v2/493806419159965724/549719332-a3f277/FF1dmpnhV5CW/86Lh0J4EddX8DkILBUh9qo0C9Lx4FDDs4EYTAyCh.png

Ça répond à la question « est-ce que ce sont des connexions résidentielles ou bien des datacenters ? » Non pas qu’il ne puisse y avoir des datacenters au milieu de l’Amazonie, mais, qu’en plus ces datacenters proposent des VPS à la location, j’ai comme un doute.

Hier vers 16h30, à nouveau, jusqu’à 19h30, hausse de la charge, et 10000 nouvelles IP bloquées.

A nouveau : Hier vers 16h30, à nouveau, jusqu’à 19h30, hausse de la charge, et 10000 nouvelles IP bloquées.

J’ai mis à jour, avant ces 10K nouvelles IP, le contenu de l’ipset.

Je suis heureux de vous annoncer que nous avons dépassé les 500K IP.

Hier, 16h30>19h30, +8000 IP.

Ce jour, 18h>22h, +14K IP.

Cette nuit, 17h-22h, +2400 IP seulement.

je ne suis pas sûr de comprendre ton tableau ; j’imagine que c’est lié à la gestion de l’adressage. J’ai jeté un œil sur ce que représente le CIDR (WP[en]) et je suis reparti en courant… En tous cas, je ne vois pas quel type d’information je pourrais y exploiter.

questions :
• disposes-tu d’un historique de l’arrivée des requêtes (nb de nouvelles IP collectées en f. du temps) avec une granularité pas trop grosse et régulière
• as-tu fabriqué une version plus récente de ton fichier de botnet ?

/32 = 1 seule IP 0.0.0.0
/31 = 2 IP 0.0.0.0 + 0.0.0.1
/30 = 4 IP 0.0.0.0-3
etc.
Si j’écris 10.2.3.0/30, je désigne les 4 IP de .0 à .3
Si j’écris 10.2.3.0/25 ; je désigne les 128 IP de .0 à .127

J’ai copié les logs de fail2ban des 3 dernières semaines. Je tâche d’en extraire ce qui t’intéresse dans un format exploitable.

J’ai un botnet-set à jour généré ce matin... Je vais le publier dans la journée.

Voici un fichier avec l’ensemble des blocages, par date, heure et IP (/32).

Il y a des IP qui vont apparaître plusieurs fois, parce que fail2ban plantait et recommençait à traiter les IP de zéro.

▻https://www.partagerfichier.fr/download.php?f=2025-04-03-17-47-11_blocages.log.gz

Ça commence au 14 mars, vers 21h, quand j’ai mis en œuvre la règle de détection du botnet.

merci ! pas loin de 700 000 lignes
pas sûr que je le traite tout de suite, j’ai une fin de semaine bien chargée

Même wikimedia a du mal à gérer le traffic généré par les bots de l’IA... «monde de merde»

▻https://next.ink/178942/les-crawlers-des-ia-deviennent-un-serieux-probleme-pour-le-web-meme-pour-wikim

pfff… ça rame !
je ne sais pas si c’est ST ou par chez moi, où le réseau est parfois bien pourri.

pas facile de se retrouver entre les deux billets sur le sujet ; si en plus, tu supprimes tes messages ;- )

comme dit plus haut, je ne suis pas très à l’aise avec les CIDR, mais oui, les /24, comme tu dis, sont ce que j’ai appelé les ID, il me semble que cela suffit pour assurer la correspondance des IP aux régions et c’est ça que j’ai cartographié.

j’avais utilisé les /32 (IP complètes) sur l’autre fil pour voir si les machines étaient concentrées sur un serveur /24, en fait je comptais le nombre de d utilisés dans un a.b.c pour fabriquer la distribution ▻https://seenthis.net/messages/1105923#message1106100

La dernière liste d’IP bloquées est ici :
▻https://seenthis.net/messages/1105923#message1107718

Ceci dit, la liste des blocages, les 700K lignes, est tout autant exhaustive.

Pourquoi disais-tu que ça rame ? Le serveur est vraiment en confort ces jours-ci. La charge oscille entre 0,5 et 1,5, ce qui fait que même les bots peuvent tranquillement faire leur boulot sans se faire bloquer (dès que la charge dépasse 2, et qu’ils sont reconnus comme des bots, ils sont bloqués).

Je fais l’hypothèse qu’il s’agit d’un botnet, qui se diffuse sur des terminaux compromis. Aussi, il faudrait dans l’idéal que je libère les IP au fil du temps, pour confirmer que l’IP est toujours compromise... parce que les terminaux, si ça s’trouve, changent d’IP. Et dans un tel cas, bloquer les IP n’est pas bien fiable.

Pourquoi disais-tu que ça rame ?

Apparemment, c’était chez moi.

peu de changement entre les deux situations
les cartes sont pratiquement indistingables
le Brésil garde la tête – de loin ! – mais n’augmente pas beaucoup
derrière, l’ordre change un peu : forte progression de Russie et Turquie qui passent en 2 et 3
les suivants, Argentine, Maroc et Mexique ne montent que peu.

https://pixelfed.zoo-logique.org/storage/m/_v2/493806419159965724/6ac28a0f2-92b4f8/AFncmaaSOw4M/OpmIp0Jkvic4hPdZPcqeOiKTNZRzcl5qa7stU0dq.png

Le botnet s’est complété ce WE de quelques 300K IP supplémentaires.

Ça a commencé vendredi à 18h. Et ça continue à plein régime encore maintenant. La règle de filtrage est toujours efficace, mais le firewall avec les 300K entrées individuelles a du mal à supporter la charge, aussi, les 300K entrées vont être transférées dans le botnet, et tout va rentrer dans l’ordre, au sens où la machine devrait travailler légèrement moins.

Du coup, ça a ramené la charge de la machine au dessus de 2, ce qui est le moment où les bots (user agents reconnus comme tels) reçoivent des erreurs 429, et s’ils insistent, ils sont bloqués par fail2ban. Ces bots représentent au bout de 48 heures entre 950 et 1000 adresses IP seulement.

A présent, donc :

+110K depuis hier soir, on s’approche du million.

Je fais l’hypothèse que les terminaux compromis sont sur des connexions sans IP fixe, et que les baux sont en cours de renouvellement.

Je fais aussi l’hypothèse que le botnet se répand, mais il ne semble pas être plus intelligent, il se répand donc à version identique, du fait qu’il continue à réclamer des ressources invalides.

On s’approche du million :-)

Tjs pas le million :-))

984 462

La moisson du WE a été bonne. 20846 nouvelles IP attrapées par fail2ban. Nous devrions donc dépasser le million lors de la prochaine mise à jour de l’ipset :-)

Ça fait quand même un million de machines qui s’intéressent à ce qu’on publie sur Seenthis depuis un mois. C’est la gloire…

Le million !

1 005 342

Autre piste, merdification^x...

What these companies then sell to their customers is network access through the devices/PCs that have an app with this SDK installed. They are proud to tell you how you can funnel your (AI) web scraping etc through millions of rotating, residential and mobile IP addresses. Exactly the pattern we see hitting our servers.

►https://jan.wildeboer.net/2025/04/Web-is-Broken-Botnet-Part-2

@biggrizzly 1 million c’est pas grand chose au final...

https://jan.wildeboer.net/images/2025/04/botnet02.png

#trombones_IA