#seenthis

merci @b_b !

https://pixelfed.zoo-logique.org/storage/m/_v2/493806419159965724/4c90d8e69-c5a1c2/BKCxuyDIug2y/eznyjKWgSEohgTCIG25RCpW3tGxRAMcp17pDm7v3.png

épiçétou !
pourquoi celui-là ?

ca veut dire qu’on est tous perdu dans le dark ouèb maintenant ?

là, y a un truc !

https://pixelfed.zoo-logique.org/storage/m/_v2/493806419159965724/4c90d8e69-c5a1c2/iuR8wacdlJWu/5fNXuZCXpkIxfUulmCI2D2olDNVvpSEtYcYBIBbS.png

MAIS…

https://pixelfed.zoo-logique.org/storage/m/_v2/493806419159965724/4c90d8e69-c5a1c2/83M1kxnDmrRQ/RQkFq0mX6VY34B8vAeMJ2amMsSfrGOaKrUJpNVq1.png

ça fait peur !
#pillage #extractivisme_culturel

tiens, il en dit quoi, le loulou ?

https://pixelfed.zoo-logique.org/storage/m/_v2/493806419159965724/4c90d8e69-c5a1c2/drFdzmYJV4Yt/YAi6ImQukgqIVjPcYaxX8TslTbUcfyDOeBfb3reI.png

Pour apporter de l’eau au moulin :
– cela fait des mois que les moteurs de recherche se prennent des erreurs sur seenthis
– j’ai maintenu les erreurs systématiques pour les bots depuis la mise en place d’anubis
– j’ai mis sous anubis les feed (rss) aussi, parce qu’ils étaient allègrement pillés en continu, au point de tripler la charge de la machine

Depuis toutes ces actions, la machine ne consomme quasiment plus de ressources. La consommation par les humains ne réclame quasiment pas de ressources. Alors soit nous sommes désormais quasiment plus que quelques uns à consulter. Soit il y a trop de robots.

Personnellement, j’oscille entre l’embargo complet, parce qu’il n’y a pas de raison qu’on se fasse piller et l’ouverture à des moteurs bienveillants, mais avec la certitude que ces derniers se feront à leur tour piller.

D’où l’oscillation, qui m’amène même à une position encore plus radicale. Les moteurs de recherche ne servent plus à rien, ignorons et bloquons les une bonne fois. Par quoi les remplacer ? C’est une vraie question...

j’hallucine ;-)

Dr Seenthis | Spy vs Spy
▻https://www.youtube.com/watch?v=mKgGQzMUSkE

Comme je n’ai pas tout compris je demande. Des nouvelles personnes pourront encore s’inscrire à seenthis ?

L’inscription est toujours ouverte, oui, bien sûr.

Par exemple, un agent IA pourrait s’inscrire à seenthis et tout lire, s’il le souhaitait, s’il était capable de passer le barrage d’anubis et s’il était en mesure d’avoir un user-agent d’un navigateur standard.

Si seenthis n’existe plus comment s’inscrire ? J’ai tapé seenthis et j’arrive à des trucs improbables comme
▻https://seenthis.co
Je ne trouve plus LE seenthis

Tu publies sur SeenThis, c’est que tu le trouves encore ? :-))

Et si les humains en parlent entre eux, n’est-ce pas préférable à être trouvé par un moteur de recherche cybernétique possédé par une méta-corporation malfaisante ? C’est une question ouverte, qui mérite débat. Alors débattez ! ;-)

Entendu ce matin dans cet épisode sur france-cul’
▻https://www.radiofrance.fr/franceculture/podcasts/ils-ont-change-le-monde/1991-quand-le-web-devient-accessible-9206848
au début de l’internet, les gougnafiers du web étaient surnommés « les vendeurs de canigou ». y’en a eus ici mais comme personne n’était intéressé par leurs croquettes, ils sont allés les vendre ailleurs.

@biggrizzly je retrouve seenthis qui est dans ma barre des taches certes mais plus à partir de mon téléphone.

Y-a qu’à cliquer sur ►https://seenthis.net sur le téléphone pourtant ?

Va falloir malgré tout faire le nécessaire pour laisser les moteurs indexer quelques pages du site ? C’est une idée ça...

@biggrizzly oui j’arrive avec le téléphone.Merci désolée pour les interruptions.

Oui voila, bonne idée, on laisse des pages de présentation dont lq page de login et cette conversation ? Info complètemet fausse d’ailleurs, si @arno ne doit pas googler un acteur c’est parce que les batiments de google risquent d’être immédiatement recouverts d’un épais nuage de fientes de goëlands.

Pages index.html pages de présentation du projet et sitemap statiques ouverts à tous et fermeture complète du contenu dynamique pour les robots/scraper etc.
J’aimerais apprendre comment configurer le machin. Grand merci !

#vie_privée

Une proposition...

Pages autorisées à tous :

– ►https://seenthis.net > cette page contient les derniers messages publiés
– ►https://seenthis.net/francais/article/c-est-quoi-seenthis
– ►https://seenthis.net/francais/article/le-minimum-%C3%A0-savoir
– ►https://seenthis.net/francais/article/automatismes-et-aspects-semantiques
– ►https://seenthis.net/francais/article/moteur-de-recherche

Pages interdites à toute navigation non-identifiée et à tous les bots (robots.txt + analyse du user-agent)

– ►https://seenthis.net/all
– ►https://seenthis.net/people
– ►https://seenthis.net/messages
– ▻https://seenthis.net/tag
– ►https://seenthis.net/recherche

Voyez-vous d’autres pages dont il faudrait discuter le traitement ?

A propos du fichier sitemap.xml, faut-il le laisser en l’état ?

A propos des flux RSS (urls */feed), elles sont toutes passées sous Anubis, bloquant l’essentiel des bots les consommant à longueur de temps.

Pour rappel, les trois niveaux de protection :

– protection Anubis, qui impose au navigateur une preuve de travail calculatoire, peu importe qui se présente

– protection sur le user-agent (l’identité du navigateur), où on renvoie une erreur 429 dès que le user-agent contient certains mots clefs (comme les 3 lettres « bot »). J’ai inclus un « friendly bot » récemment, pour permettre aux instances Mastodon de venir lire les pages quand un lien vers SeenThis est posté sur Mastodon.

– protection de la recherche, qui n’est autorisée qu’aux comptes identifiés.

Tout cela n’est pas trivial à implémenter, mais c’est déjà une sorte de petit cahier des charges. N’hésitez pas à le compléter.

Pages index.html pages de présentation du projet et sitemap statiques ouverts à tous et fermeture complète du contenu dynamique pour les robots/scraper etc

+1 @klaus
+1000 @touti pour la trombe de fiente de goéland :))

edit : +1 et merci @biggrizzly pour la proposition de solution

Une petite annonce de @biggrizzly il y a quatre mois suite à l’attaque des robots de l’enfer. ▻https://seenthis.net/messages/1166740
et le tag #seenthis_outils établis par « l’intempestive » avant son départ et la suppression de tous ses seens et commentaires. Aude Vidal a aussi supprimé son compte et a fait effacer toutes ses traces. @odilon a disparue mais ses posts son toujours là. Inch’Allah.
►https://seenthis.net/tag/seenthis_outils

Dommage.
Pas grave.
À chacun/e sa paranoïa ;-)

#intérêt_publique #journalisme #communication #histoire

Impeccable ta liste @biggrizzly ++
uhu @mammut marre des fakes des IA, rétablissons la vérité !

Par contre, comme on est déjà dans un entre-soi certain, peut-être avoir un encart qui renvoie sur un texte pour expliquer et donner envie de nous rejoindre sur cette nouvelle politique seenthis ?

La difficulté de virer totalement les moteurs de recherche, c’est que ça revient à considérer Seenthis uniquement comme un réseau social. Or c’est aussi un outil de blog.

Billets de blog qui du coup disparaissent des interwebz dès qu’on sort de Seenthis.

Il m’est arrivé en début d’année de retomber sur un billet de @nidal suivi d’une discussion très constructive, via un moteur de recherche. Si on disparaît de Google, on perd ça qui me semble pourtant fondamental.

Si c’était possible, il faudrait permettre de référencer toutes les pages /messages/1234, et donc un moyen d’y accéder.

=> Sinon pour être plus explicite : personnellement je conçois la protection du serveur uniquement dans l’optique de résister aux attaques de bots, qui rendent le site inutilisable. Par contre, le blocage contre la récupération des contenus par les IA, ça ne serait qu’un effet induit, mais pas un but au motif qu’on n’aime pas les LLM.

Bah, j’ai mis ce post en « épingle » sur mon compte BS :
▻https://bsky.app/profile/sombre-hermano.bsky.social/post/3ljmisjn7qc2c
(avec le bouton <ALT> qui va bien avec l’image.

Sinon le « Chat Mistral » m’a renvoyé quelques réponses sur une requête genre « que peux-tu me dire à propos de la plateforme Seenthis ? »
Même qu’il a réussi à me loger en tant que « compte actif » mais il reconnaît que les utilisateurs·rices bénéficient de « l’anonymat » le plus total ! ... Quel boulet ce chat !

https://rigolotes.fr/img/normal/20200106/1M6/20200106.jpg

J’allais dire un peu comme @arno en découvrant ce fil : on n’est pas sur whatsapp là, c’est quand même un site avec du vrai contenu public utile, et le fait qu’il ne soit plus trouvable dans les vrais moteurs utilisés par les vrais gens mais que dans notre entre-soi, c’est quand même problématique.

@biggrizzly je suis dispo pour en causer demain si tu veux, pour dégrossir... Puis, il faudrait caler une session vocale/visio avec toutes les personnes intéressées par la question.

@vanderling coucou :) Pas totalement disparue, je garde un œil sur seenthis (seenthis c’est bien) mais je n’alimente plus depuis que je passe beaucoup beaucoup beaucoup moins de temps sur écran. Plus généralement je ne contribue plus aux réseaux sociaux, à part insta sur lequel je me mets quelques créa mais ici tout le monde s’en fout :) Je n’ai donc pas fermé mon compte ici et je laisse ce que j’y ai publié (sauf si ça dérange). Vas savoir, peut-être qu’un jour je reprendrai du service ! Bel été à toustes (et merci pour cette petite pensée pour moi).

Hello @odilon ! Content d’avoir de tes nouvelles. Je suis toujours ici et un peu moins ailleurs car c’est somme toute très chronophage tous ces réseaux. De plus, de nombreux soucis à gérer du côté de mes proches, problèmes de santé principalement. Donc je poste moins souvent ici. Bonne « route » à toi et protège-toi des « cramicules ». Personnellement, je fais régulièrement des crises de solastalgie mais je compte bien sur nos « bons maîtres » pour gérer mon « éco-anxiété ».

https://pixelfed.fr/storage/m/_v2/791632196803044117/4c90d8e69-c5a1c2/7aSMxAFAEA4p/wpmkE3hzmmhnjwavSvpSTWaBvfkSGg3XaZxVRXK1.webp

Source : ▻https://bsky.app/profile/zgur.eurosky.social/post/3mrhoexu4bs2c

puisque, apparemment, ce serait un problème de « santé mentale »

https://pixelfed.fr/storage/m/_v2/791632196803044117/4c90d8e69-c5a1c2/IJaSTVwbWdgT/pibmynF5OK9dAoZCsGQivT2XnTogtxWeI1sqS6EY.webp

Déso pour le trollage @klaus et les autres participant·es ...

Ma réflexion sur l’ouverture ou pas du site aux bots est contradictoire.

1. J’estime que nous sommes à un point où nous ne devrions pas donner quoi que ce soit à ces bots, du fait que leurs propriétaires ne nous veulent pas du bien. C’est une position politique d’autodéfense.

2. Techniquement, je sais que s’ils souhaitent venir consommer nos contenus, ils le peuvent, c’est moins facile, mais c’est sans espoir, nous ne pouvons pas totalement protéger nos contenus si nous ne voulons pas rendre le site inutilisable.

3. Nous n’avons rien à cacher, certes. Mais tout de même, si on pouvait éviter d’alimenter le Léviathan, ça serait mieux.

4. Pourquoi devrait-on utiliser un moteur de recherche extérieur pour accéder aux contenus de SeenThis ? Le souci est-il que le moteur de recherche actuel est imparfait ?

5. Question plus générale. Pourquoi considère-t-on naturel de faire appel à des moteurs de recherche extérieurs, qui sont en quelque sorte un service public d’accès à l’information ? Ne devrait-on pas disposer chacun de son araignée personnelle qui parcourt le web afin d’alimenter notre index personnel de l’Internet ?... Il y a un souci dans la délégation actuelle à des moteurs de recherche qui peuvent décider d’invisibiliser certains contenus, ou au contraire d’en pousser d’autres. Et il n’y a aucun projet politique visant à assurer une neutralité minimaliste à ces outils (rien que définir cette neutralité est casse gueule, mais je pose la question, c’est déjà un premier pas).

Conclusion d’étape :

Il y a deux camps :

– celui de l’ouverture pour exister sur les Internet ;
– celui de la fermeture complète, parce que marre.

Comment on départage ? Comment on trouve un équilibre ?

Pour la technique, merci @b_b pour ta disponibilité. Dès qu’on aura déterminé une direction, on tâchera de faire les choses dans l’ordre, avec un ou plusieurs tickets et tout et tout.

J’ajoute que coucou @odilon, content de te lire :-)

Pareil @odilon content de te lire et peut être à bientôt par ici. Pas sur Insta ou Meta, je boycott. je retombe parfois sur tes anciens seens, comme celui-ci ►https://seenthis.net/messages/448947 et bien d’autres qui donne matière à réflexion. Tout comme ce seen de référence de @klaus avec ses commentaires. Vous je ne sais pas mais moi je suis toujours aussi con. Un peu moins quand je regarde seenthis.

@sombre excellent ! #couic

@biggrizzly - Note que tu es passé de la mise en place d’une protection contre les DOS causés par le passage de bots sauvage (et c’était devenu totalement indispensable) à une fermeture parce que tu n’aimes pas qu’on nous prenne le contenu. Ça n’est pas du tout pareil, et je ne crois pas que ça ait été discuté en ces termes.

– L’internet a très rapidement été dépendant des moteurs de recherche pour permettre aux gens de découvrir les contenus. Yahoo, Google. Et ça n’a jamais été des bienfaiteurs de l’humanité, mais des acteurs ultra-capitalistes, avec un rapport très paradoxal à l’accès et à la promotion de l’expression publique pour le plus grand nombre. De la même façon, les gros réseaux sociaux (tous horribles) ont servi, et servent encore parfois, à faire connaître des contenus hors de l’industrie des médias et de la pub.

– J’ai cru comprendre que notre moteur de recherche exige – justement dans le cadre de la protection antibots – d’être un membre connecté de Seenthis. Donc pour le coup, notre moteur ne remplace pas, et de loin, un moteur externe.

– Encore une fois : Seenthis a été conçu dans une optique de micro-blogging, pas un simple réseau social. Pour moi le fait de s’insérer le plus largement possible dans les différents outils du Web, c’est vital. Notamment le référencement, les agrégateurs de contenu, les réseaux sociaux…

– Et par ailleurs je ne sais pas à quel point on doit se lancer dans des considérations sur « donner nos contenus ». Une large partie de notre vision du Web (et de nos usages pratiques) dépend de l’accès à des contenus fermés/protégés, en utilisant des outils de scrapping de contenus tels qu’archive.ph. Et les sites qui, justement, bloquent les accès à de tels outils d’aspiration de leurs contenus, hé ben c’est pas trop notre truc.

Je ne me sens guère légitime pour critiquer le fonctionnement du moteur de recherche de seenthis, ne serait-ce que parce que je crois mal l’utiliser, mais, simplement, je signale qu’il m’arrive d’en employer un autre pour retrouver un contenu présent ici.

édit suis plutôt de l’avis exprimé par @arno.
d’autant qu’il est décisif de garder une ouverture (de la visibilité) alors que la tendance parait être aux seenthissien.nes qui s’absentent davantage qu’aux arrivant.es qui postent.

oui, plutôt d’accord avec la position d’@arno …

le pb, c’est que ledit moteur de recherche a pour stratégie déclarée d’invibiliser ses sources ou, au minimum, de ne pas faciliter (euphémisme…) l’accès auxdites sources. Cf. ci-dessus, la recherche sur la Mongolie, tout est fait pour rester dans l’environnement de l’IA et continuer ou affiner sa recherche par une nouvelle requête (prompt)

Je fais plein de pubs pour seenthis et rezo (mais tout le monde s’en fout, je crois que je ne vous ai jamais ramené personne, snif).

Sur les moteurs on vous trouve à peine (je sais plus comment j’étais tombé sur rezo.net mais j’étais à la limite du désespoir avant de tomber dessus).

Si on revient aux sources :

Mars 2009, nous sommes toujours là. Avec la même envie de vous faire partager nos lectures

►https://rezo.net/pourquoi

J’ai toujours bénéficié de « vos lectures » et ça m’a énormément apporté.
Ce serait dommage que d’autres acharnés et avides de comprendre le monde puissent pas vous trouver à cause des IA.
(pour répondre à la question 4)

Ca fait longtemps que je surveille les alternatives aux moteurs de recherche existant.
Il est dit ici qu’il faut des moyens considérables pour avoir quelque chose d’efficace. Ca explique pourquoi il n’y en a que 4 (▻https://mamot.fr/@bendineliot/102507200895682574 ) et que les alternatives ne décollent pas.
(question 5)

Tout cela étant dit, politiquement c’est dur de ne pas être d’accord avec les points 1 2 et 3.

Mais j’ai l’impression que l’IA nous dépasse tellement que c’est comme tenter de vivre sans électrons provenant du nucléaire (mon obsession, argh) en France.

Pour répondre à 4 (mais ça répond à 1 2 3 du coup) :
– le moteur interne ne sert que pour les déjà-utilisateurices
– le but de seenthis est bien de publier des contenus utiles à toutes, pas que aux gens qui ont déjà un compte seenthis
– même si le moteur interne était ouvert à toutes : ça n’aurait quasiment aucun intérêt puisque pour ça il faut déjà connaitre le site… or c’est justement le fait que les contenus utiles soient indexables et indexés ailleurs qui fait que des inconnus peuvent les trouver

A propos du fait de trouver SeenThis au moyen d’un moteur de recherche, je n’ai sans doute pas été assez complet dans mes prémisses.

Le chemin que prend la fonctionnalité « moteur de recherche » chez les fournisseurs de cet oligopole est que tu ne trouveras plus de références aux ressources qui répondent à tes questions, mais uniquement des réponses à tes questions rédigées depuis les ressources que tu recherches.

Si on est pessimiste, on conclue que même si SeenThis est indexé, jamais les portails de recherche ne te diront qu’ils ont utilisé son contenu pour répondre à la question posée. De mon côté, j’estime que c’est le chemin qui est en train d’être pris. Mais je sais que je suis exagérément pessimiste, et qu’il va rester possible d’accéder à des moteurs de recherche traditionnels.

Ceci dit. Je n’ai pas découvert SeenThis par un moteur de recherche. On m’a dit qu’il existait, et je m’y suis inscrit et j’y suis resté. Je continue d’y alimenter mon compte. Alors même que j’apprécie aussi Mastodon et que je continue régulièrement de me demander pourquoi je n’ouvre pas une instance autonome de Mastodon... (je le sais, il faudrait la maintenir, et j’ai déjà bien assez de choses à maintenir... et il faudrait la modérer, et je déteste modérer et fréquenter les gens qui s’amusent avec les modérateurs... et surtout, il faudrait éviter de se faire bloquer par les autres instances, et quoi que très diplomate, j’ai quelques doutes quant à ce que l’instance reste connectée avec le reste du monde bien longtemps, à cause de la modération en particulier).

J’ai essayé régulièrement, de retrouver certains de mes billets techniques au moyen des moteurs de recherche internes et externes, et je dois dire que j’ai toujours eu du mal pour les retrouver !

Ce que je veux dire, c’est que je ne crois pas qu’on découvre SeenThis par les moteurs de recherche. Par contre, comme pour un site vitrine, on en vérifie l’existence et la notoriété, assurément.

Je n’ai pas non plus découvert seenthis par un moteur mais il m’est arrivé de chercher des seen en utilisant un moteur externe (faute de trouver).
Là, comme le dit @simplicissimus, il semble que cela ne fonctionne plus (si par exemple je tape « chômeurs seenthis » y a R a part l’accès à un résumé de ce que seenthis relaie, qui est catastrophique).

HS : pour les personnes qui galèrent pour retrouver un de leurs post ou un de ceux qu’elles ont étoilés, je rappelle l’existence de ce plugin firefox dont je suis le seul utilisateur à ce jour ^^

►https://addons.mozilla.org/fr/firefox/addon/seenthis-search

@b_b : c’est amusant car cet après midi, je suis tombé sur cette page en suivant justement un moteur de recherche, en l’occurence Zotop de chez Zaclys.

▻https://zotop.fr

Et il y avait quelques résultats qui matchaient avec seenthis.net dont celui-ci :

https://pixelfed.fr/storage/m/_v2/791632196803044117/4c90d8e69-c5a1c2/wPC8KUrsY789/0pkxyXraz8YBUWjXsepmz8vSKmCSeP7TgbCRBhVD.png

Je ne me sens pas très légitime pour intervenir ici parce que je ne suis pas développeur informatique, à peine bidouilleur, et pas celui qui a le plus d’ancienneté. D’ailleurs je ne vais pas prendre position faute d’avoir une opinion et encore moins une solution sur ce serpent diabolique qui se mord la queue.

Mais je veux quand même en profiter pour dire deux trois choses :

Premièrement une grande gratitude pour toutes celles et ceux qui ont bâti ce truc seenthis improbable et le maintiennent.

Depuis quelques semaines je prends un peu plus conscience de l’ampleur de l’impasse dans laquelle se trouvent plein d’organisations avec le pillage par l’IA et le tournant historique des moteurs de recherche. Le fait que des créateurs de contenu (et souvent ce sont les meilleurs) se retirent de la toile me terrifie. C’est une bibliothèque qui brûle (et nous regardons ailleurs ;-)

Et il y a tous ceux qui ont un modèle économique qui s’effondre. Dans le tas, il y a des gentils : petits e-commerçants, petits producteurs de contenus indépendants, médias alternatifs, artistes... Que restera-t-il dans seulement un an ?
Je comprends mieux maintenant l’atrophie totale vers laquelle le nouveau paradigme mène internet.

Finalement cela produit une sensation de fin d’un monde très perturbant. Un monde dans lequel je savais bien nager. D’une certaine manière, je faisais partie des winers de ce monde. Rien que cette prise de conscience me donne à réfléchir.
Internet était riche, il s’appauvrit. Dans seulement un an, je pense qu’on pourra parler de méga enshittification, ou d’enshittification totale ou finale.

Quand le supermarché ne vend plus que de la merde, on se demande si ce n’était pas lui qui était de la merde depuis tout ce temps malgré son sympathique rayon de bières artisanales locales... et il est temps d’aller au marché de producteurs et à l’épicerie autogérée.

On arrête tout, on réfléchit, et c’est pas triste. Réduire beaucoup beaucoup beaucoup les écrans comme Odilon, c’est l’avenir, surtout si ça se remplace par des trucs bien.

Désolé, tout ça n’aidera même pas à prendre une décision. C’est juste un partage d’état d’âme.

La discussion n’est pas technique, à mon sens. Elle est sur les principes : dans quelle mesure où ouvre le contenu aux robots et aux milliardaires, c’est à dire dans quelle mesure où on offre des ressources matérielles et intellectuelles, gratuitement, et avec un espoir de retour proche de zéro, voire négatif.

Jusqu’alors, la promesse de Google, c’était que Google allait dire qu’on existe, et nous on allait dire que c’est génial, Google ils aident à ce qu’on existe. Mais comme chez Google et chez les autres, ils sont en situation d’oligopole, ils ont décidé que le service rendu, dire qu’on existe, ce n’était pas assez rémunéré.

Alors. Donc. Voilà. Tout le monde peut participer à la discussion. :-)

Il y a aussi le sujet des flux RSS. Je ne pensais pas qu’un jour j’en arriverais à dire qu’ils sont nocifs. Mais sur SeenThis, leur nombre, et leur consommation par des bots avides, est à mon avis une des explications au fait qu’on ait des difficultés sur certains traitements, lorsqu’il y a de la montée en charge. Et ça pose donc la question de la pertinence d’avoir de laisser ces flux en accès libre (sans Anubis). Mais c’est un autre débat. Mais c’est un débat aussi.

@biggrizzly une piste alternative à anubis qui remonte souvent ces temps-ci est iocaine ▻https://iocaine.madhouse-project.org

- Serve identifiable bots garbage, with poisoned urls
– Anything that hits a poisoned url gets 12 hours on the firewall.

source ▻https://mastodon.roflcopter.fr/@algernon@come-from.mad-scientist.club/117036039914052825

À étudier...

C’est drôle, la dernière mise à jour de SPIP sur SeenThis a désactivé un élément de protection que j’avais placé à la sauvage dans le code de SPIP. Ce qui fait que plus aucun bot ne se fait bloquer du tout.

Le résultat est en quelque sorte édifiant.

Tu veux avoir le droit d’exister sur Internet ? Y compris en activant Anubis. Alors accepte de devoir assumer un trafic multiplié par 10.

C’est en quelque sorte le tribut au dieu de l’Internet que tout un chacun se doit de verser.

https://pixelfed.zoo-logique.org/storage/m/_v2/493151427756716033/9a26d276d-23d3a8/QtKhhPDYVUnP/YdqPrr1OdJ3B3zMBSc0L7g4HFTYjYFe0vsxVGkSo.png

Vous aurez noté que certains posts créés par RSS ne se créent plus convenablement (par exemple XKCD du jour). Ceci expliquant donc cela.

Et donc ça c’est même avec Anubis… et c’était quoi le blocage ajouté en plus ?

SPIP a une protection sur le load du serveur. De plus, cette protection ajoute un aléa. Quand le load est trop élevé, les bots reçoivent une erreur 429. Sur la machine SeenThis, il y a un paramètre (une jail) fail2ban qui bloque les IP qui génèrent des erreurs 429. Dans la version personnalisée à la sauvage de SPIP, il n’y a pas d’aléas à l’envoi de l’erreur 429, et le load est toujours trop élevé. Et donc, les IP des bots sont systématiquement bannies au bout de 2 tentatives.

Le graph des requêtes avant Anubis a environ le même aspect en moins pire. C’est à dire qu’il y a une croissance du trafic. Je tâcherais de sortir les deux graphs la prochaine fois que j’allume le PC :-)

Arf, désolé @biggrizzly je ne savais pas et ne pouvais pas le savoir puisque l’installation n’était pas en git. Maintenant que c’est le cas, je pourrai faire les prochaines mises à jour sans perdre tes modifs.

PS : il serait peut-être intéressant d’ajouter un point d’entrée dans SPIP pour permettre ta modif de manière plus pérenne. On en cause la semaine prochaine si tu veux.

C’est amusant de voir la différence de volume avant/après Anubis.

L’analyse sur les IP est intéressante aussi. On voit que les chinois ne passent pas (encore) Anubis.

Et on constate que Apple est très ouvert dans son comportement. Il n’a qu’un seul user-agent, mais qu’est-ce qu’il est gourmand !

Avant Anubis :

https://pixelfed.zoo-logique.org/storage/m/_v2/493151427756716033/9a26d276d-23d3a8/C7fcOGZx2vGR/rRGxLUUoe1T4YmDyOPiONJpZpd7KHRLjF0tblsvc.png https://pixelfed.zoo-logique.org/storage/m/_v2/493151427756716033/9a26d276d-23d3a8/u1yyNDnFDFJd/EjUfjMDxSfIZmgc3wZb6MeBFhFK5RRXhPnYMwFKn.png https://pixelfed.zoo-logique.org/storage/m/_v2/493151427756716033/9a26d276d-23d3a8/S7g4gymER2Qb/hk0saYaSYWGBlsKU1ZChdgzQbQwzzMdxFLIfdRCe.png

Après Anubis :

https://pixelfed.zoo-logique.org/storage/m/_v2/493151427756716033/9a26d276d-23d3a8/fotisJifJXLh/6iwRN1C3UXxNs9hnMBJQtmRJPUaaQsnItCWAnh3l.png https://pixelfed.zoo-logique.org/storage/m/_v2/493151427756716033/9a26d276d-23d3a8/ICGJOJN5nHS2/ohYOciDZsadvr7eg9FEdVKxADnrw3xRuD7M9KGOj.png https://pixelfed.zoo-logique.org/storage/m/_v2/493151427756716033/9a26d276d-23d3a8/3wAfLmSfPgXs/YRD9M9Q3UrXPxTtyWhI1QJjILJTcJwt7oU35risj.png

Si, comme vous semblez le vouloir, il faut s’ouvrir à fond les ballons à tous les techbros-sauveurs-du-capitalisme de la planète, je dirais qu’il faut améliorer SeenThis dans les directions déjà mentionnées dix fois je crois :

1. Améliorer le fonctionnement du CRON interne, pour qu’il ne s’exécute pour de vrai qu’une seule fois par minute.

2. Améliorer le fonctionnement de la création des posts par RSS, pour qu’ils ne se retrouvent pas bloqués par la surcharge du serveur, liée aux bots.

3. Améliorer certaines requêtes très lentes (calcul des fils avec blocages).

On pourra aussi sans doute, aussi, un de ces jours, réfléchir à la façon de construire les flux RSS sans qu’ils n’engendrent eux même des soucis de concurrence sur la base de données. Parce que si on ne les protège pas par Anubis, ils sont consommés à un rythme infernal.

1. Améliorer le fonctionnement du CRON interne, pour qu’il ne s’exécute pour de vrai qu’une seule fois par minute.

Est-ce souhaitable, car ça veut dire seulement pile 1440 fois par jour, alors que s’il y a beaucoup de tâches de fond à faire, les jobs de SPIP se lancent « quand il y a un truc à faire » dès lors qu’il y a un hit PHP par quelqu’un (humain ou robot qui passe les portes).

Quand il n’y a aucune tâche à faire à un instant T… ce cron n’est censé rien faire non ? Donc ça fait quoi comme surcharge, ça lance quoi de trop que ça ne devrait pas lancer ? Juste la « recherche de tâches à faire » (qui est vide si plus rien en stock) est déjà trop gourmande ?

2. Améliorer le fonctionnement de la création des posts par RSS, pour qu’ils ne se retrouvent pas bloqués par la surcharge du serveur, liée aux bots.

Ça se fait justement… dans les jobs/cron, donc si ça se lance plein de fois : ça fait avancer plus souvent l’importation. Là encore le diagnostique n’est super clair : c’est quoi qui bloque quoi ? Et de quelle manière ça bloque plus l’import de seen que les créations manuels par un humain dans l’interface ?

3. Améliorer certaines requêtes très lentes (calcul des fils avec blocages).

C’est le seul point pour lequel sans plus d’infos je pourrai avoir une intuition dont on avait parlé ya 5 ans ou plus déjà : si on s’assure d’indexer assez des bonnes informations nécessaires dans Manticore, alors l’ensemble des fils du site pourraient être générés avec, et non pas juste la page de recherche. Au moins les boucles principales de sélection. Càd : toutes les listes de chaque auteurices, tous les RSS, et les accueils de chaque personne et des anonymes. Les boucles/requêtes de Manticore sont beaucoup, beaucoup, plus rapides que les requêtes MySQL à priori.

Autre graphique : nombre de requêtes qui durent plus de 5 secondes sur les 14 derniers jours.

Plus il y a de monde qui consulte le site, plus il y a de pages qui se retrouvent bloquées.

Il y a un souci de concurrence dans le code de seenthis, souci à corriger d’une façon ou d’une autre ; j’ignore où il se situe, et je ne fais en l’état que des propositions de pistes de recherche.

https://pixelfed.zoo-logique.org/storage/m/_v2/493151427756716033/9a26d276d-23d3a8/Uh3HGVWEdqq0/RoVVzfWwGCCGNYEqLez92V9gjosVejunYaWlyWUb.png

J’évoque le CRON car parfois, dans le passé, avant Anubis, j’ai constaté qu’il s’appelait de très nombreuses fois dans des intervalles de temps très courts, sans aucune raison valable. Du fait d’Anubis, je ne vois pas de cas comparable en ce moment. Je note des pics, avec des appels concentrés sur une même seconde.

Ici, on voit qu’à 09h09 le 7 août, on a une vingtaine d’appels. Je soupçonne des soucis de ce point de vue là, s’il manque une vraie section critique. Ceci dit, ces appels, présentement, ont tous duré moins de 100ms.

https://pixelfed.zoo-logique.org/storage/m/_v2/493151427756716033/9a26d276d-23d3a8/aOyaX8K5a5mw/jj4ghbjzSR60gRvZo1MYJDLQvXAjXPBZ1zURn5GF.png

Par principe, je désapprouve les webcrons. Quand on a besoin de faire exécuter qq chose régulièrement, si on en a la possibilité, je trouve un vrai gestionnaire de tâches planifiées préférable. Mais si le CRON de SPIP est conforme tant mieux. Il n’empêche qu’il lui arrive de s’emballer, à mon sens, de ce que je vois dans les journaux apache.

Concernant les posts créés par RSS, dès qu’il y a de la concurrence, ils apparaissent sans contenu dans les fils. Pendant toute la durée de bannissement des bots, les posts RSS se sont créés sans difficultés. Depuis que c’est rouvert, on a à nouveau de tels soucis. Ceci dit ces soucis se résolvent d’eux même quand les posts passent en page 2. C’est apparemment un souci de mise en cache du post, quand le post est créé, et qu’en même temps la page d’accueil est réclamée.

L’envoi de mon commentaire a pris plus de 8 secondes. Ce n’est pas normal. Et ça n’a lieu qu’en situation de forte charge.

(bis, ce second commentaire aussi, plus de 8 secondes)

(ter, la validation de la modification du commentaire, plus de 20 secondes)

Confirmation par les journaux : mes 4 validations successives.

Pas un souci de concurrence pour le coup, y-a pas de surcharge présentement. Ça doit être lié à la structure de ce post plein de commentaires ?

https://pixelfed.zoo-logique.org/storage/m/_v2/493151427756716033/9a26d276d-23d3a8/N4eXlpTY75JX/DsfilkSOpKdUZSvPhfytxoSrP1JnkZ7liNHOEDKO.png

Je ne suis pas forcément d’accord. Ce site s’apparente plus à un blog ou à un journal en ligne avec un flux d’information commun à tous que l’on peut filtrer et commenter, plutôt qu’au réseaux sociaux habituels où chacun est dans son coin et échange des messages avec sa communauté.

Sinon n’importe quel site ouvert aux commentaires tomberait sous le coup de cette loi, par exemple un site de vente avec les avis des acheteurs.

mmh, en dehors du chat, ST coche effectivement toutes les cases de la définition de l’UE :- (

On en parle longuement ici aussi :
▻https://seenthis.net/messages/1183030

Mais #seenthis n’est qu’un blog collectif qui n’a aucune des fonctions dangereuses des réseaux asociaux. Il est libre d’accès et n’a pas d’algorithme de manipulation de sélection de contenus personnalisés.

D’ailleurs si je me ne trompe pas l’article deux considère tout l’intenet comme un réseau social. C’est une définition tellement imprécise qu’elle serait anticonstitutionelle en Allemagne. C’est ubuesque ce gouvernement et ses projets de loi.

▻https://seenthis.net/messages/1183030#message1183131

Article 2
Définitions
Aux fins du présent règlement, on entend par :
(...)
7) « service de réseaux sociaux en ligne » : une plateforme permettant aux utilisateurs finaux de se connecter ainsi que de communiquer entre eux, de partager des contenus et de découvrir d’autres utilisateurs et d’autres contenus, sur plusieurs appareils et, en particulier, au moyen de conversations en ligne (chats), de publications (posts), de vidéos et de recommandations ;

C’est une collection incomplète des capacités de l’internet, ce n’est même pas une défintion, alors si c’est ca le point de départ on peut clore la discussion et attendre tranquillement que la construction juridique soit démantelée par des intéressés plus puissants que seenthis ;-)

#internet #censure #anonymous #blog_collectif

Ah mais zut alors ! Je regarde ce qui cloche ! 👍🏻

@b_b a répondu aussi sur un autre fil à ce sujet :-)

▻https://seenthis.net/messages/1178489#message1178584

Ceci dit, l’article qu’il cite à 59 reprises mérite d’être mis en avant ;-)

alors la différence entre la somme des colonnes RSS + « Autres requêtes » et la colonnes « Trafic total » correspond au trafic des bots ?

J’ai ajouté un message pour faire le forceur 2 mois après le précédent, mais toujours sur le même ticket fermé : ▻https://github.com/TecharoHQ/anubis/issues/721#issuecomment-4767236192

Ça recommence depuis 24 heures. Des dizaines de milliers de requêtes sur les URL /feed. Ils ont bien vu qu’elles n’étaient pas protégées. Et ça ralentit en conséquence tous les traitements. J’ai réinclus les URL /feed sous protection d’Anubis.

Ça tournait à 4 requêtes /feed par seconde.

Snif bon bah plus d’actus à part 7h36 tant qu’on trouve pas une solution (ou que je déplace la gestion de mes flux RSS/Atom autre part que dans Thunderbird mais j’en ai aucune envie vu qu’une fois récupéré je peux tout lire en local).

Il faut se rendre compte de l’absurdité de la situation. Ci-dessous, les connexions qui passent au travers d’Anubis, y compris, donc /feed, sur les 14 derniers jours. La partie toute réduite à droite, c’est depuis que j’ai coupé /feed...

https://pixelfed.zoo-logique.org/storage/m/_v2/493151427756716033/b5862bd14-4506fa/XCuOkdANtPfZ/i26YCor7HU90MCAOPPKBE22Rz1NNb7VpFemKcFu8.png

Sur les 14 derniers jours, ce sont près de 500K IP distinctes. Le flux /feed, c’est en continu plus de 8Go/jour de trafic envoyé. Quand on supprime /feed, ça descend à 0,5Go/jour.

@seenthis #botnet #rss #feed #seenthis

Y-a quand même un bon nombre de lecteurs RSS qui passent Anubis, apparemment...

https://pixelfed.zoo-logique.org/storage/m/_v2/493151427756716033/b5862bd14-4506fa/7oQqTe6yUAJL/FBwTzF0477ZOLncpDlvyI00VJIEftfvtfG4jB9SN.png

en revanche, le droplet ne passe pas Anubis.
pas grave cependant car il suffit d’ouvrir normalement ST et de franchir la détection avant de réitérer la publication.

Je suis tombé sur la difficulté pour l’anomalie sur le droplet. Comme tu l’indiques, il faut et il suffit d’avoir une page ouverte SeenThis, pour que le droplet fonctionne.

Depuis 06h00 ce matin, les URL /feed sont à nouveau réclamées par des dizaines de milliers d’URL. Anubis stoppe tout, évidemment. Mais tout cela ne milite pas pour un Internet ouvert malheureusement...

https://pixelfed.zoo-logique.org/storage/m/_v2/493151427756716033/4c90d8e69-c5a1c2/MsoMNpBgmuGg/av2reHTlK9W7KYWTSzLKu5DgQUauAsFv38K51Pb3.png

Hier, on a eu une hausse forte des visites légitimes. 800 IP uniques et 5000 hits par heure. Les botnets commencent à savoir passer Anubis, apparemment. On a pourtant passé la difficulté à 4, ce qui est assez élevé. On va peut-être tenter de passer au-dessus ?

On va peut-être tenté de passer au-dessus ?

si ça peut ralentir ces s***eries de bots je serais pour : la gène pour les « vrais » visiteurs sera toujours très inférieure à celle d’un site devant gérer un trafic illégitime monstrueux...

Apparemment, passer la difficulté à 5, cela empêcherait les terminaux anciens (android de plus de 6-7 ans) de pouvoir passer le barrage calculatoire.

Avec Anubis, on oblige les botnets à encore plus cramer la planète. C’est consternant.

Avec 0 kH/s sur mon vieux smartphone, j’arrive pourtant à passer Anubis.
Je m’interrogeais sur cette nouvelle mécanique ici : ►https://seenthis.net/messages/1177099

Tu as mis le tag dans ton post. En le suivant, tu trouves l’origine de l’inclusion d’#Anubis.

kH comme ~~kilohertz~~ kiloHash.

Mon smartphone est un samsung S de 2019, et il n’est jamais vraiment bloqué par Anubis, même avec la difficulté de 4.

Si du monde nous lit, je serais intéressé de savoir si Anubis vous bloque longtemps ?

H, c’est hashes, pas hertz. C’est un calcul de checksum, une preuve de travail.
▻https://yumechi.jp/en/blog/2025/proof-of-mutex-outspeeding-anubis-with-valid-pow

Ah, OK. C’est sans doute du fait de ne pas m’être assez intéressé au minage...

À l’instant, environ 6 secondes sur un iPhone 11.

Sinon, y’a pas une version d’Anubis qui permet de miner du bitcoin en mode décentralisé ?

Ce volume de scrapping, ça fait penser aux entraînements d’algorithmes de detection de tendances de très court terme (- 24h) comme chez Temu ou Shein. Mais là, ca serait pour les idées politiques. On va devenir des stars ?

SeenThis est déjà inutilisable sans Javascript, me semble-t-il, non ?

Ceci dit, Anubis a un mode de validation sans JS. Mais c’est moins protecteur à priori.

Pour la suite, on va faire le test d’une sorte de « Anubis as a service ». C’est à dire de le mettre sur une machine dédiée, pour protéger un site hébergé sur une autre machine.

Pour SeenThis, on a intégré Anubis dans la configuration du serveur web nginx, sur la même machine, ce qui est le cas d’usage par défaut.

Je ne dis rien contre le JS comme composant actif. Pour les sites web que j’utilise régulièrement je désactive la majorité des filtres. Pareil pour les sites mobiles qui ont besoin du JS pour bien fonctionner.
Le problème est le nombre de sites dépourvus de « graceful degrading » qui fonctionnent mal ou pas du tout sans JS.
C’est aussi un problème pour les aveugles qui lisent en braille.
J’ai appris il y a longtemps que le javascript sert à installer à ton insu des parasites et espions dans ton ordinateur. Puis il y a les cas où l’accessibilité du site n’est pas amélioré et le JS sert au designer à cacher son manque en connaissance du html.
Enfin, on connaît la chanson, mais les bots IA y ajoutent du forte ad libitum ;-)

Anubis, crypto monnaies ?
►https://seenthis.net/messages/1177099

5000 adresses de bloquées en plus. Comme on le sait, il y a des millions de terminaux mobiles compromis par des applications malveillantes utilisées pour générer des DDOS.

Et ce soir, on est bien face à un DDOS sur SeenThis.

On a des idées pour automatiser la protection, mais là, de suite, c’est manuel. Et donc, on va croiser les doigts pour que ça s’arrête, que vous puissiez profiter tranquillement du réseau. :-)

Merci, je comprends mieux maintenant pourquoi l’accès n’était pas possible

#botnet #seenthis

Hou la la j’aime pas du tout du tout quand je suis privée de @seenthis ! Et ça a bcp merdé aujourd’hui. Merci @biggrizzly

C’est la route /tag/* qui s’est faite attaquer hier soir, vers 18h. 10000 IP distinctes qui réclament 15000 tags distincts par heure et ça a duré de 18 à 23h.

Voici les effets sur le serveur pour les dernières 24 heures. La route /tag/ doit consommer du processeur et nécessiter du temps de génération, ce qui provoque la saturation de connexions disponibles (les barres rouges).

https://pixelfed.zoo-logique.org/storage/m/_v2/493151427756716033/a1431798c-70628a/tVswrH4NQR9M/nuNXyhpMjCmh3iBVA8a3jaS7UXPVhBYgLj03qoOR.png

En fait, SeenThis, ce sont en moyenne 10 à 15 000 adresses IP distinctes par heure. On est nombreux à lire nos messages ! ! !

On a activé la géoclassification des IP depuis quelques heures. Sachez que nous avons beaucoup de lecteurs au Vietnam.

https://pixelfed.zoo-logique.org/storage/m/_v2/493151427756716033/31410d826-759a86/hLzFSDU8nhML/1Bkp6vxIhqdyNFXK438tH5yH8okLByYNMwmh82KT.png

Les États-Unis sont également bien pourris. Ça m’avait un peu surpris quand j’avais passé des sites derrière CloudFlare : une fois bloqués la Chine et Singapour, j’ai vu arriver des dizaines de milliers de connexions depuis les États-Unis.

35000 ip du Vietnam, dans les 10 dernières minutes, d’où le blocage. Ce qui fait 50000 depuis le début de la journée (00h00).

@BigGrizzly T’aurais pas bloqué 82.64.x.x par hasard  ? Mon PC perso ne capte plus seenthis depuis qq jours, mais ce qui est bizarre, c’est que par mon PC du boulot (et de chez ouam) ça marche. Il y a surcouche ("zscaler" ?) mais pourtant c’est pas un VPN.

Il y avait des IP de ce genre. J’ai supprimé ces mentions. J’ignore par quel moyen j’ai récupéré ces IP particulières.

J’envisage d’intégrer Anubis. Ça semble être le seul algorithme pertinent et viable face aux botnets répartis sur plusieurs millions d’IP ne se connectant qu’une fois par jour par IP...

cf. : ▻https://seenthis.net/messages/1163841

–---------------------

À titre personel :

Si le lien d’un billet intégré via RSS correspond à celui d’un autre sur Snth, Snth remplace le billet RSS par celui qui existe déjà sur Snth – du moins, d’après mon expérience, c’est ainsi que cela devrait fonctionner.

Je n’ai toutefois trouvé jusqu’à présent (plus exactement, depuis 2012) aucune indication concernant cette fonctionnalité sur la plateforme ; elle doit être bien cachée quelque part dans le logiciel - introuvable.

#Seenthis

Merci du rappel, je vais m’y atteler...

Les emails doivent être de retour.

Oh que oui !

Les changements de version notables :

– Debian 8 > Debian 13
– PHP7.1 > PHP8.4
– SPIP 3.2 > SPIP 4.4.13
– Sphinx 2.3 > Manticore 17.5

La nouvelle VM a les mêmes ressources que l’ancienne :

– Hyperviseur Proxmox
– RAM 24Go
– Processeur 6 cœurs
– Disque 650Go (NVMe)

Elle est hébergée sur Roubaix quand l’ancienne est à Gravelines. Nous allons ramener la nouvelle VM sur Gravelines d’ici quelques jours.

Un succès total, merci @biggrizzly !

Maintenant les gens vont pouvoir poster des webp... (même s’il y a certainement d’autres nouveautés que je n’ai plus en tête).

Merci à vous tous ! @biggrizzly @seenthis @arno

Merci !

Merci à vous tous.

Au top ! Merci à vous qui vous y collez...
On voit sur ▻https://git.spip.net/groups/seenthis/-/activity que vous êtes bien peu à vous démener pour que ça tourne

谢谢

(car pour moi, c’est du chinois)

Je poste un svg sans faire râler le serveur !

https://www.spip.net/spip.svg

cf ▻https://git.spip.net/seenthis/squelettes/-/issues/301

Ce matin, j’ai navigué comme à l’accoutumée. Je viens de reprendre l’activité : j’ai réussi à m’identifier sans problème. Merci à la @seenthis team pour le taf ! Par contre sur ST, tout le monde sait que je suis un #noob
 :-D

je ne sais si cela est en rapport avec le bond technologique effectué mais un seen qui ne se présentait pas ainsi auparavant (?) est en ligne ▻https://seenthis.net/messages/1161496

J’aime vraiment @seenthis comme Cosmic Psychos Really Really Really Like Beer
▻https://cosmicpsychos.bandcamp.com/track/i-like-beer

Trug’ dit, @vanderling !

https://f4.bcbits.com/img/0041006833_10.jpg

Sinon, la prochaine étape, c’est le datacenter ? Non, parce que vu l’orientation que prennent certains ici, il va falloir s’y atteler ...
▻https://seenthis.net/messages/1162307

C’est exactement ce qu’on a vécu avec le Minilecte hier :

https://seenthis.net/local/cache-vignettes/L600xH404/xOaJNxdmfWn4hxqZ-d3bdfcb7-3f1d2.jpg

@colporteur comme je le disais plus haut, suite au passage en #SPIP 4 @seenthis prend enfin en charge les images webp.

grand grand #merci !

Merci !

oui, bravo et merci à tou·te·s !
pour la rénovation, bien sûr, mais aussi, pour le quotidien

sans parler, des concepteurs/ conceptrices aux petites mains, qui ont pondu les mécaniques et les algos qui font tourner tout ça

Les emails doivent être de retour.

J’ai réalisé deux sélections d’IP louches. Cela a représenté une moisson de 22000 IP.

Potentiellement, une des sélections peut avoir inclus les adresses IP de personnes fréquentant SeenThis en mode non-connecté. J’espère que vous n’en faites pas partie. N’hésitez pas à le signaler par un canal ou un autre...

La charge du serveur est divisée par 2. Et j’espère que les gros pics d’indisponibilité vont avoir été bloqués, eux aussi.

Par contre ce matin, impossible d’accéder à la page d’accueil ni aux liens diffusés par le mail de @7h36.

Super bravo et mille mercis pour ce travail inestimable ! Apprécié vraiment à sa juste valeur qui est immense.

❤️

Et c’est quoi les canaux parallèles @biggrizzly ? À qui on s’adresse en cas be black-out de @seenthis comme le week-end dernier. J’ai pas trop insisté, enfin je me suis connecté avec un autre appareil pour conclure que ça venait de #Seenthis et de son déménagement. à Roubaix (encore LFI qui fout la merde Guiraud grand favori pour le second tour avec 46,64% (8560 voix pour 62,38% d’abstention).Hier tout semblait être revenu à la normale, comme avant que vous changiez de machine. Mais ce mardi, voilà que ça recommence
502Gateway (connexion impossible) ça commençait à branler du manche début mars déjà. Je crois que je vais faire une pause quelques temps. Le beau temps revient, je vais aller faire un tour plutôt que de me prendre la tête avec vos problèmes techniques

Désolé pour le #blacklistage @vanderling c’est parfois compliqué de ne pas moissonner trop large. J’ignore quels pourraient être les canaux parallèles. Mastodon ? J’y suis, et d’autres ici y sont. Tu aurais pu insister, j’aurais tâché de corriger plus vite mon empressement à bloquer les #botnets.

Si j’ai bien compris @biggrizzly tu as mon adresse IP, donc je ne suis pas un botnet. J’ai bien repéré @monolecte @davduf @7h36 S. Bortzmeyer… sur Mastodon/Piaille mais je ne suis que sur seenthis aucun autre compte ailleurs et surtout pas sur X ou autre Meta-bollocks. Enfin pour l’instant la connexion à l’air de tenir.

vos problèmes techniques

=> nos problèmes techniques à tout⋅es

Rappel : il n’y a pas de magie derrière seenthis, juste du code qui tourne sur une machine , et tout ça est géré par des humains pour d’autres humains qui aiment utiliser le bouzin :)

@vanderling, je n’ai pas compris que tu aies été spécifiquement bloqué. Cet après-midi, c’est tout le site qui a affiché l’erreur 502 pendant de longues minutes pour tout le monde, pas juste pour toi.

Parce qu’on a subi une attaque assez massive, avec 1000 machines avec chacune une dizaine de user-agent différents qui ont bloqué Seenthis. Ce que @biggrizzly a finalement réussi à bloquer.
▻https://seenthis.net/messages/1163113

Ce qui se passe, encore une fois, c’est qu’on se prend des passages absolument massifs de bots, avec des milliers de machines qui se branchent sur Seenthis et qui rendent son utilisation très lente voire totalement bloquée.

Et c’est justement l’une des principales raisons du déménagement de la semaine dernière : passer sur une machine plus moderne, ce qui permet à @biggrizzly d’accéder à des outils plus précis et performants pour identifier ces attaques et les bloquer. Ce qu’il fait au fur et à mesure, c’est évidemment ça ne va pas se faire du jour au lendemain, encore aujourd’hui lui et @b_b ont discuté de configurations (auxquelles je ne comprends pas grand chose) pour améliorer la détection de ces bots.

Il faut donc comprendre que le déménagement n’était que la première étape pour qu’ils disposent d’outils (impossibles à installer sur l’ancienne machine) pour pouvoir mieux contrer ces passages massifs de bots, et au fur et à mesure mettre en place les contre-mesures techniques. Mais forcément, ça va se faire au fur et à mesure.

–---

Signalons aussi que Seenthis est sur une seule machine, et qu’avec un seul serveur on tente de bloquer les bots qui, eux, viennent de centaines de machines en même temps. Le souci écologique est clairement de notre côté…

Vous faites un sacré boulot en tout cas, vu de mon passif dev puis admin puis enseignant-chercheur (et bientôt retraité, youpiiiii !), je loue votre constance. Osana et toutes ces sortes de choses. Longue vie à seenthis.

En fin de semaine dernière, j’ai étudié les IP qui se connectaient, et tenté de détecter un schéma de consultation qui permettrait de décider qu’une IP est un bot. J’ai décidé un petit peu rapidement que les IP qui consultent certaines pages sans être connecté étaient des bots. Ça m’a permis de bloquer 10000 IP distinctes, et je ne me suis rendu compte que je m’étais auto-bloqué à mon domicile qu’au moment de couper le VPN pro... Il m’a fallu le WE pour m’en rendre compte, et encore 24 heures de plus pour décider de supprimer ces 10000 IP du firewall ; parfois, je suis lent à la détente. Je ne connais donc pas ton IP en particulier @vanderling, mais par contre, ton IP peut se retrouver au milieu de milliers d’autres sans autre raison qu’une erreur de jugement de l’un d’entre nous, et comme c’est moi en ce moment en particulier qui m’y colle, et bien voilà.

Aujourd’hui, dans l’après-midi, nous avons, comme le relate @arno, eu à gérer un millier d’IP particulièrement sauvages, qu’il a heureusement été relativement facile d’identifier, au moyen des nouveaux outils d’analyse des logs, que nous avons enfin pu mettre en place, du fait de la nouvelle machine.

Tout ce que nous avons fait ces dernières semaines nous permet de relancer des projets d’évolution, qui avaient été à tort laissés de côté. Travailler sur un environnement obsolète, ça ne motive pas forcément pour réaliser des évolutions, et quand je constate que nous avons entamé l’installation de ce nouvel environnement il y a déjà 2 ans, je me dis que mieux vaut tard que jamais... mais on pourrait sans doute être un petit peu plus efficace ! :-))

Entre autres travaux de fond, que nous avons pu commencer, merci @b_b pour ta disponibilité et ton accompagnement, nous tâchons d’optimiser et d’isoler certains traitements présents dans le code de SeenThis et de SPIP qui normalement ne posent pas de difficultés, mais qui lorsque les bots agressifs deviennent la normalité sont de vraies failles de sécurité pour la stabilité de l’environnement. Je pense par exemple à la façon dont SeenThis calcule les blocages de comptes. Quand il est nécessaire de calculer la page d’accueil d’une page /people/, les requêtes effectuées sur la base de données sont peu performantes, en particulier quand le people en question bloque beaucoup de monde. Ces requêtes sont probablement améliorables. Et toute amélioration assure que la prochaine attaque fera moins de dégâts, et ce sans nécessité de rajouter des ressources (processeur, mémoire...).

Ci-dessous, le nombre de processus simultané qui servent des pages pour SeenThis. En général, on sert moins de 20 pages en même temps. Quand la barre est toute rouge, cela signifie qu’on a 100 processus qui tournent en même temps. Et ce sont ces moments où on se retrouve bloqué, à ne rien pouvoir lire ni publier, avec des erreurs 502, des gateway time-out, etc.

Le botnet était passé, visiblement, déjà une fois dans la nuit. Puis à nouveau dans l’après-midi. On constate qu’une fois le blocage en place, le serveur est revenu dans le vert, sans dépasser les 40 processus actifs. Pourvu que ça dure !

https://pixelfed.zoo-logique.org/storage/m/_v2/493151427756716033/a1431798c-70628a/Clg0Ne7XIXht/q8JZ4RWnBvlQct3CdQrWtixNebMK84MVOAUTh1Pn.png

Je ne mesure pas la tache du problème mais je plussoie à vos efforts et à votre perspicacité pour faire tourner la boutique ainsi que la maintenance de ce formidable rézo. J’y passe bcp de temps, trop peut-être mais bon je ne vais quand même pas aller travailler. V’là le printemps qui pointe, je préfère laisser mon temps de cerveau aux petits oiseaux ou sur seenthis. @biggrizzly @arno @b_b

des nouveaux outils d’analyse des logs

@biggrizzly, quels sont ces nouveaux outils, j’ai des problèmes similaires.

Les gens qui vous occupez du « bouzin », vous menez un combat d’arrière-garde et vous faites partie de l’obsolescence programmée par les instances IA/LLM et c’est pour ça qu’on vous aime :-)) Maintenant, quand ça rame, je me dis qu’il faut savoir patienter et revenir plus tard car je sais que vous êtes au charbon pour décoincer tout ça. Force à vous et grand merci pour votre investissement personnel ! 🖤🖤🖤

▻https://www.youtube.com/watch?v=lOf-0Mur7t4

@george : nous utilisons des outils à la fois artisanaux, et industriels.

Industriels : nous transférons les journaux du serveur web dans un entrepôt de donnée de type ElasticSearch (ELS). Ce transfert n’est pas naturel, il faut disposer d’un format de log plus ou moins normalisé, et créer un index dans ELS pour recevoir ces données, puis générer des visualisations et des tableaux de bord, pour analyser ces données.

Artisanaux : L’analyse dans ELS est réalisée à la main. Pas d’automatisme actuellement. Il faudrait ajouter de l’intelligence à tout cela, des automatismes, pour détecter les comportements manifestement malveillants, et les bloquer dans le pare-feu sans intervention humaine. Mais là, il faudrait faire le travail que fait CloudFlare par exemple.

Et puis il y a le fait que ce n’est pas logique de décider de bloquer le monde entier, parce que le monde entier est utilisé comme un botnet.

Si tu as des soucis sur un petit site, je conseille d’installer Anubis. C’est une solution à moindre coût et qui rend le service attendu dans la plupart des cas.

▻https://github.com/TecharoHQ/anubis

Peut-être qu’ici aussi on y arrivera... :-/

J’ai installé Anubis sur un serveur avec un site moyennement fréquente mais a part le ralentissement j’ai l’impression que les bots réussissent à le traverser.

J’ai du m’y reprendre à 3 fois, du fait que LibreOffice, pour manipuler 10000 lignes, c’est décidément beaucoup moins performant que de le faire avec Excel. C’est même carrément source d’erreurs de calculs. Pénible et décevant.

Bref, j’avais 10000 adresses IP candidates. Il fallait tout de même que je retire les adresses susceptibles d’être de vrais utilisateurs. Par exemple cette adresse IP Orange, avec 3 ou 4 user-agent différents, et 10 ou 20 pages consultées seulement... par exemple.

J’ai bloqué, finalement, seulement 8700 adresses IP de plus. De longues séries de blocs d’IP avec quelques requêtes, et un nombre équivalents de user-agent distincts. Il se peut qu’on soit tranquille pour quelques jours avec ce dernier filtrage. On verra.

Comme je le disais hier soir : « jusqu’à la prochaine fois ». 

A priori, on a gagné, donc, un répit de quelques jours/semaines. Les processeurs vont moins travailler, et on va moins avoir envie de réécrire certaines fonctionnalités.

https://pixelfed.zoo-logique.org/storage/m/_v2/493151427756716033/a1431798c-70628a/bkMVWkKJf5Qi/5PakOSH1bRDEPlCW0uoW5ZQgU9bSRO06FGVLDGym.png

La formule « nombre de user-agent distincts » vs « nombre de requêtes » vs « nombre d’ip sur la même classe B » semble fonctionner.

Je viens de collecter à nouveau des IP sur la base de ces critères sur les dernières 24 heures. 8200 adresses IP bloquées.

– critère 1 : « nombre de requêtes » / « nombre de user-agent distincts » < 5
– critère 2 : « nombre d’ip sur la même classe B » > 5

Notre second ipset contient désormais 61K adresses IP distinctes.

Pour rappel, le premier ipset a été construit l’an dernier, il contient 1,5M d’adresses IP distinctes, et les IP ont été découvertes du fait qu’elles réclamaient des URLs invalides.

Le serveur vit bien mieux sans ces 61K adresses, vous l’aurez constaté, du fait qu’il n’y a pour ainsi dire quasiment plus de lenteurs. Nous allons probablement pouvoir rouvrir la porte aux vrais bots.

Pool FPM sur les 5 derniers jours :

https://pixelfed.zoo-logique.org/storage/m/_v2/493151427756716033/a1431798c-70628a/XpF3cXnpwkc2/tDuodtugL0rt7euwfDGqce4l28YZu6xlxVzf9EXK.png

►https://seenthis2.zoo-logique.org :-)

ça roule (Linux avec Brave)

Debian KDE + FFesr : ça a l’air d’aller.

Super rapide !
#merci !
(FF Android ds. le métro)
Est-ce qu’on aura les bibliothèques nécessaires pour les images #webp et #avif ?

Tout à l’air fonctionnel. Firefox, Mac OS Tahoé 26.3

mac ff 148.0 (64 bits) Tahoé 26.3
nickel rapide sauf page des tags lente
merci !

«Jusque là tout va bien» ...

Toujours Debian, mais sous Vivaldi à jour : ça va.

Ça me rappelle qu’ici, je trouve la police de caractères trop petite par défaut.
J’ai bricolé ça :

#tous_messages {
background-color: #fafafa;
font-size:1.2em;
}

Marche avec Mullvad.

FF + linux mint pas de pb

huhu @monolecte moi je bricole pas css mais je visionne le site en 150% dans le navigateur depuis des années :p

tout mériterait d’être largement agrandi par défaut car en 100% sur un 24 pouces la colonne de contenu ne prend même pas la moitié de la largeur d’écran avec que du vide inutile autour… mais c’est un autre sujet que l’hébergement :)

Marche avec Opera Chrome et Safari

Tout va bien sous Ubuntu et FF. C’est grâce au serveur que mon authentification ait réussi des la première fois ?
Dans le site actuel, j’ai besoin de répéter l’authentification une vingtaine de fois avant que ça ne marche.

Un morceau de KNEECAP via Bandcamp
▻https://kneecap.bandcamp.com/track/liars-tale

À ma connaissance non, tu peux utiliser le moteur de ta préférence.

PS : hésite pas à me pinger dans ce type de post si tu veux que je les vois ;)

Il y a volontairement une optimisation/compression du HTML qui vire les commentaires (vu que ça sert à rien en prod pour l’affichage). On peut le désactiver à priori mais du coup ça sera un peu moins optimisé… Après si on sert ça en http2 + gzippé, je sais pas si ça fait une grosse différence…

Je comprends aussi la suppression des commentaires comme une suppression d’informations qui n’ont potentiellement aucun intérêt à être rendues publiques. Ce qui fait que je ne suis pas chaud pour une désactivation totale de la fonctionnalité. Mais si c’est la seule solution pour faire mon test, pourquoi pas.

Il y a volontairement une optimisation/compression du HTML qui vire les commentaires

Non, il n’y a plus de compression du HTML dans SPIP depuis belle lurette cf ▻https://git.spip.net/spip/compresseur/-/issues/3076

Par contre il y a bien retrait des commentaires dans les CSS & JS quand leur compression est active (ce qui est le cas sur les sites en prod comme seenthis).

@biggrizzly tu veux l’insérer à quel endroit dans la page ton commentaire ? Dans le head ou dans le body ?

Et #seenthis utilise encore un truc « maison » un peu désuet pour ça cf ▻https://git.spip.net/seenthis/squelettes/-/blob/master/seenthissq_fonctions.php?ref_type=heads#L166 <= amha on pourrait s’en passer

Chez moi, ton commentaire posé dans ▻https://git.spip.net/seenthis/squelettes/-/blob/master/inc/entete.html?ref_type=heads#L3 est bien présent dans le source des pages.

Sa référence ;
Reloading a Document (and Preserving Query String Parameters) Using Only HTML
▻https://blog.jim-nielsen.com/2023/reloading-document-in-html-and-preserve-query-params
C’est une jolie explication du fait qu’on était souven mieux servi à l’age des #FAQ dans les #newsgroups du #usenet ;-)
Heureusement il.y ce merveilleux monde de #seenthis et des autres communautés autogérées.

“I started searching:

“how do you reload an html document using the <a> tag and preserve query parameters?”

That gave me a bunch of answers on how to do it with JavaScript, so I had to add “without JavaScript” to my query.

But I could not find an answer.

So I turned to ChatGPT, who told me it was not possible (and then recommended I use JavaScript)

Screenshot of a conversation with ChatGPT which states, “Reloading the document wihout losing query string parameters using only HTML…is not directly achievable”.

(Funny aside: this is a familiar feeling when searching for answers about how to do stuff on the web. You ask, “How do I do x without using JavaScript?” And all the answers are: “Here’s how to do it with JavaScript”. Or, for anybody who grew up in the jQuery age, “How do I do x without jQuery?” And all the answers were, “Here’s how to do it with jQuery.”)”

#HTML

SeenThis est resté en ligne tout le temps de la panne d’Internet.

#seenthis_c_est_bon_mangez_en