Connexion · GitLab

Merci :-)

aaaah, c’est pour ça !

merci !

Quoi, tu n’es pas en 4.4.23 ? ^^ (et si déjà !)

https://pixelfed.zoo-logique.org/storage/m/_v2/493806419159965724/4c90d8e69-c5a1c2/BKCxuyDIug2y/eznyjKWgSEohgTCIG25RCpW3tGxRAMcp17pDm7v3.png

épiçétou !
pourquoi celui-là ?

ca veut dire qu’on est tous perdu dans le dark ouèb maintenant ?

là, y a un truc !

https://pixelfed.zoo-logique.org/storage/m/_v2/493806419159965724/4c90d8e69-c5a1c2/iuR8wacdlJWu/5fNXuZCXpkIxfUulmCI2D2olDNVvpSEtYcYBIBbS.png

MAIS…

https://pixelfed.zoo-logique.org/storage/m/_v2/493806419159965724/4c90d8e69-c5a1c2/83M1kxnDmrRQ/RQkFq0mX6VY34B8vAeMJ2amMsSfrGOaKrUJpNVq1.png

ça fait peur !
#pillage #extractivisme_culturel

tiens, il en dit quoi, le loulou ?

https://pixelfed.zoo-logique.org/storage/m/_v2/493806419159965724/4c90d8e69-c5a1c2/drFdzmYJV4Yt/YAi6ImQukgqIVjPcYaxX8TslTbUcfyDOeBfb3reI.png

Pour apporter de l’eau au moulin :
– cela fait des mois que les moteurs de recherche se prennent des erreurs sur seenthis
– j’ai maintenu les erreurs systématiques pour les bots depuis la mise en place d’anubis
– j’ai mis sous anubis les feed (rss) aussi, parce qu’ils étaient allègrement pillés en continu, au point de tripler la charge de la machine

Depuis toutes ces actions, la machine ne consomme quasiment plus de ressources. La consommation par les humains ne réclame quasiment pas de ressources. Alors soit nous sommes désormais quasiment plus que quelques uns à consulter. Soit il y a trop de robots.

Personnellement, j’oscille entre l’embargo complet, parce qu’il n’y a pas de raison qu’on se fasse piller et l’ouverture à des moteurs bienveillants, mais avec la certitude que ces derniers se feront à leur tour piller.

D’où l’oscillation, qui m’amène même à une position encore plus radicale. Les moteurs de recherche ne servent plus à rien, ignorons et bloquons les une bonne fois. Par quoi les remplacer ? C’est une vraie question...

j’hallucine ;-)

Dr Seenthis | Spy vs Spy
▻https://www.youtube.com/watch?v=mKgGQzMUSkE

Comme je n’ai pas tout compris je demande. Des nouvelles personnes pourront encore s’inscrire à seenthis ?

L’inscription est toujours ouverte, oui, bien sûr.

Par exemple, un agent IA pourrait s’inscrire à seenthis et tout lire, s’il le souhaitait, s’il était capable de passer le barrage d’anubis et s’il était en mesure d’avoir un user-agent d’un navigateur standard.

Si seenthis n’existe plus comment s’inscrire ? J’ai tapé seenthis et j’arrive à des trucs improbables comme
▻https://seenthis.co
Je ne trouve plus LE seenthis

Tu publies sur SeenThis, c’est que tu le trouves encore ? :-))

Et si les humains en parlent entre eux, n’est-ce pas préférable à être trouvé par un moteur de recherche cybernétique possédé par une méta-corporation malfaisante ? C’est une question ouverte, qui mérite débat. Alors débattez ! ;-)

Entendu ce matin dans cet épisode sur france-cul’
▻https://www.radiofrance.fr/franceculture/podcasts/ils-ont-change-le-monde/1991-quand-le-web-devient-accessible-9206848
au début de l’internet, les gougnafiers du web étaient surnommés « les vendeurs de canigou ». y’en a eus ici mais comme personne n’était intéressé par leurs croquettes, ils sont allés les vendre ailleurs.

@biggrizzly je retrouve seenthis qui est dans ma barre des taches certes mais plus à partir de mon téléphone.

Y-a qu’à cliquer sur ►https://seenthis.net sur le téléphone pourtant ?

Va falloir malgré tout faire le nécessaire pour laisser les moteurs indexer quelques pages du site ? C’est une idée ça...

@biggrizzly oui j’arrive avec le téléphone.Merci désolée pour les interruptions.

Oui voila, bonne idée, on laisse des pages de présentation dont lq page de login et cette conversation ? Info complètemet fausse d’ailleurs, si @arno ne doit pas googler un acteur c’est parce que les batiments de google risquent d’être immédiatement recouverts d’un épais nuage de fientes de goëlands.

Pages index.html pages de présentation du projet et sitemap statiques ouverts à tous et fermeture complète du contenu dynamique pour les robots/scraper etc.
J’aimerais apprendre comment configurer le machin. Grand merci !

#vie_privée

Une proposition...

Pages autorisées à tous :

– ►https://seenthis.net > cette page contient les derniers messages publiés
– ►https://seenthis.net/francais/article/c-est-quoi-seenthis
– ►https://seenthis.net/francais/article/le-minimum-%C3%A0-savoir
– ►https://seenthis.net/francais/article/automatismes-et-aspects-semantiques
– ►https://seenthis.net/francais/article/moteur-de-recherche

Pages interdites à toute navigation non-identifiée et à tous les bots (robots.txt + analyse du user-agent)

– ►https://seenthis.net/all
– ►https://seenthis.net/people
– ►https://seenthis.net/messages
– ▻https://seenthis.net/tag
– ►https://seenthis.net/recherche

Voyez-vous d’autres pages dont il faudrait discuter le traitement ?

A propos du fichier sitemap.xml, faut-il le laisser en l’état ?

A propos des flux RSS (urls */feed), elles sont toutes passées sous Anubis, bloquant l’essentiel des bots les consommant à longueur de temps.

Pour rappel, les trois niveaux de protection :

– protection Anubis, qui impose au navigateur une preuve de travail calculatoire, peu importe qui se présente

– protection sur le user-agent (l’identité du navigateur), où on renvoie une erreur 429 dès que le user-agent contient certains mots clefs (comme les 3 lettres « bot »). J’ai inclus un « friendly bot » récemment, pour permettre aux instances Mastodon de venir lire les pages quand un lien vers SeenThis est posté sur Mastodon.

– protection de la recherche, qui n’est autorisée qu’aux comptes identifiés.

Tout cela n’est pas trivial à implémenter, mais c’est déjà une sorte de petit cahier des charges. N’hésitez pas à le compléter.

Pages index.html pages de présentation du projet et sitemap statiques ouverts à tous et fermeture complète du contenu dynamique pour les robots/scraper etc

+1 @klaus
+1000 @touti pour la trombe de fiente de goéland :))

edit : +1 et merci @biggrizzly pour la proposition de solution

Une petite annonce de @biggrizzly il y a quatre mois suite à l’attaque des robots de l’enfer. ▻https://seenthis.net/messages/1166740
et le tag #seenthis_outils établis par « l’intempestive » avant son départ et la suppression de tous ses seens et commentaires. Aude Vidal a aussi supprimé son compte et a fait effacer toutes ses traces. @odilon a disparue mais ses posts son toujours là. Inch’Allah.
►https://seenthis.net/tag/seenthis_outils

Dommage.
Pas grave.
À chacun/e sa paranoïa ;-)

#intérêt_publique #journalisme #communication #histoire

Impeccable ta liste @biggrizzly ++
uhu @mammut marre des fakes des IA, rétablissons la vérité !

Par contre, comme on est déjà dans un entre-soi certain, peut-être avoir un encart qui renvoie sur un texte pour expliquer et donner envie de nous rejoindre sur cette nouvelle politique seenthis ?

La difficulté de virer totalement les moteurs de recherche, c’est que ça revient à considérer Seenthis uniquement comme un réseau social. Or c’est aussi un outil de blog.

Billets de blog qui du coup disparaissent des interwebz dès qu’on sort de Seenthis.

Il m’est arrivé en début d’année de retomber sur un billet de @nidal suivi d’une discussion très constructive, via un moteur de recherche. Si on disparaît de Google, on perd ça qui me semble pourtant fondamental.

Si c’était possible, il faudrait permettre de référencer toutes les pages /messages/1234, et donc un moyen d’y accéder.

=> Sinon pour être plus explicite : personnellement je conçois la protection du serveur uniquement dans l’optique de résister aux attaques de bots, qui rendent le site inutilisable. Par contre, le blocage contre la récupération des contenus par les IA, ça ne serait qu’un effet induit, mais pas un but au motif qu’on n’aime pas les LLM.

Bah, j’ai mis ce post en « épingle » sur mon compte BS :
▻https://bsky.app/profile/sombre-hermano.bsky.social/post/3ljmisjn7qc2c
(avec le bouton <ALT> qui va bien avec l’image.

Sinon le « Chat Mistral » m’a renvoyé quelques réponses sur une requête genre « que peux-tu me dire à propos de la plateforme Seenthis ? »
Même qu’il a réussi à me loger en tant que « compte actif » mais il reconnaît que les utilisateurs·rices bénéficient de « l’anonymat » le plus total ! ... Quel boulet ce chat !

https://rigolotes.fr/img/normal/20200106/1M6/20200106.jpg

J’allais dire un peu comme @arno en découvrant ce fil : on n’est pas sur whatsapp là, c’est quand même un site avec du vrai contenu public utile, et le fait qu’il ne soit plus trouvable dans les vrais moteurs utilisés par les vrais gens mais que dans notre entre-soi, c’est quand même problématique.

@biggrizzly je suis dispo pour en causer demain si tu veux, pour dégrossir... Puis, il faudrait caler une session vocale/visio avec toutes les personnes intéressées par la question.

@vanderling coucou :) Pas totalement disparue, je garde un œil sur seenthis (seenthis c’est bien) mais je n’alimente plus depuis que je passe beaucoup beaucoup beaucoup moins de temps sur écran. Plus généralement je ne contribue plus aux réseaux sociaux, à part insta sur lequel je me mets quelques créa mais ici tout le monde s’en fout :) Je n’ai donc pas fermé mon compte ici et je laisse ce que j’y ai publié (sauf si ça dérange). Vas savoir, peut-être qu’un jour je reprendrai du service ! Bel été à toustes (et merci pour cette petite pensée pour moi).

Hello @odilon ! Content d’avoir de tes nouvelles. Je suis toujours ici et un peu moins ailleurs car c’est somme toute très chronophage tous ces réseaux. De plus, de nombreux soucis à gérer du côté de mes proches, problèmes de santé principalement. Donc je poste moins souvent ici. Bonne « route » à toi et protège-toi des « cramicules ». Personnellement, je fais régulièrement des crises de solastalgie mais je compte bien sur nos « bons maîtres » pour gérer mon « éco-anxiété ».

https://pixelfed.fr/storage/m/_v2/791632196803044117/4c90d8e69-c5a1c2/7aSMxAFAEA4p/wpmkE3hzmmhnjwavSvpSTWaBvfkSGg3XaZxVRXK1.webp

Source : ▻https://bsky.app/profile/zgur.eurosky.social/post/3mrhoexu4bs2c

puisque, apparemment, ce serait un problème de « santé mentale »

https://pixelfed.fr/storage/m/_v2/791632196803044117/4c90d8e69-c5a1c2/IJaSTVwbWdgT/pibmynF5OK9dAoZCsGQivT2XnTogtxWeI1sqS6EY.webp

▻https://pixelfed.fr/storage/m/_v2/791632196803044117/4c90d8e69-c5a1c2/BGdY7ndwNheA/jrMbOvhB8T7Zgy9LqsDFLp9wpW8IbE53MFCqM3hf.webp

Déso pour le trollage @klaus et les autres participant·es ...

Ma réflexion sur l’ouverture ou pas du site aux bots est contradictoire.

1. J’estime que nous sommes à un point où nous ne devrions pas donner quoi que ce soit à ces bots, du fait que leurs propriétaires ne nous veulent pas du bien. C’est une position politique d’autodéfense.

2. Techniquement, je sais que s’ils souhaitent venir consommer nos contenus, ils le peuvent, c’est moins facile, mais c’est sans espoir, nous ne pouvons pas totalement protéger nos contenus si nous ne voulons pas rendre le site inutilisable.

3. Nous n’avons rien à cacher, certes. Mais tout de même, si on pouvait éviter d’alimenter le Léviathan, ça serait mieux.

4. Pourquoi devrait-on utiliser un moteur de recherche extérieur pour accéder aux contenus de SeenThis ? Le souci est-il que le moteur de recherche actuel est imparfait ?

5. Question plus générale. Pourquoi considère-t-on naturel de faire appel à des moteurs de recherche extérieurs, qui sont en quelque sorte un service public d’accès à l’information ? Ne devrait-on pas disposer chacun de son araignée personnelle qui parcourt le web afin d’alimenter notre index personnel de l’Internet ?... Il y a un souci dans la délégation actuelle à des moteurs de recherche qui peuvent décider d’invisibiliser certains contenus, ou au contraire d’en pousser d’autres. Et il n’y a aucun projet politique visant à assurer une neutralité minimaliste à ces outils (rien que définir cette neutralité est casse gueule, mais je pose la question, c’est déjà un premier pas).

Conclusion d’étape :

Il y a deux camps :

– celui de l’ouverture pour exister sur les Internet ;
– celui de la fermeture complète, parce que marre.

Comment on départage ? Comment on trouve un équilibre ?

Pour la technique, merci @b_b pour ta disponibilité. Dès qu’on aura déterminé une direction, on tâchera de faire les choses dans l’ordre, avec un ou plusieurs tickets et tout et tout.

J’ajoute que coucou @odilon, content de te lire :-)

Pareil @odilon content de te lire et peut être à bientôt par ici. Pas sur Insta ou Meta, je boycott. je retombe parfois sur tes anciens seens, comme celui-ci ►https://seenthis.net/messages/448947 et bien d’autres qui donne matière à réflexion. Tout comme ce seen de référence de @klaus avec ses commentaires. Vous je ne sais pas mais moi je suis toujours aussi con. Un peu moins quand je regarde seenthis.

@sombre excellent ! #couic

@biggrizzly - Note que tu es passé de la mise en place d’une protection contre les DOS causés par le passage de bots sauvage (et c’était devenu totalement indispensable) à une fermeture parce que tu n’aimes pas qu’on nous prenne le contenu. Ça n’est pas du tout pareil, et je ne crois pas que ça ait été discuté en ces termes.

– L’internet a très rapidement été dépendant des moteurs de recherche pour permettre aux gens de découvrir les contenus. Yahoo, Google. Et ça n’a jamais été des bienfaiteurs de l’humanité, mais des acteurs ultra-capitalistes, avec un rapport très paradoxal à l’accès et à la promotion de l’expression publique pour le plus grand nombre. De la même façon, les gros réseaux sociaux (tous horribles) ont servi, et servent encore parfois, à faire connaître des contenus hors de l’industrie des médias et de la pub.

– J’ai cru comprendre que notre moteur de recherche exige – justement dans le cadre de la protection antibots – d’être un membre connecté de Seenthis. Donc pour le coup, notre moteur ne remplace pas, et de loin, un moteur externe.

– Encore une fois : Seenthis a été conçu dans une optique de micro-blogging, pas un simple réseau social. Pour moi le fait de s’insérer le plus largement possible dans les différents outils du Web, c’est vital. Notamment le référencement, les agrégateurs de contenu, les réseaux sociaux…

– Et par ailleurs je ne sais pas à quel point on doit se lancer dans des considérations sur « donner nos contenus ». Une large partie de notre vision du Web (et de nos usages pratiques) dépend de l’accès à des contenus fermés/protégés, en utilisant des outils de scrapping de contenus tels qu’archive.ph. Et les sites qui, justement, bloquent les accès à de tels outils d’aspiration de leurs contenus, hé ben c’est pas trop notre truc.

Je ne me sens guère légitime pour critiquer le fonctionnement du moteur de recherche de seenthis, ne serait-ce que parce que je crois mal l’utiliser, mais, simplement, je signale qu’il m’arrive d’en employer un autre pour retrouver un contenu présent ici.

édit suis plutôt de l’avis exprimé par @arno.
d’autant qu’il est décisif de garder une ouverture (de la visibilité) alors que la tendance parait être aux seenthissien.nes qui s’absentent davantage qu’aux arrivant.es qui postent.

oui, plutôt d’accord avec la position d’@arno …

le pb, c’est que ledit moteur de recherche a pour stratégie déclarée d’invibiliser ses sources ou, au minimum, de ne pas faciliter (euphémisme…) l’accès auxdites sources. Cf. ci-dessus, la recherche sur la Mongolie, tout est fait pour rester dans l’environnement de l’IA et continuer ou affiner sa recherche par une nouvelle requête (prompt)

Je fais plein de pubs pour seenthis et rezo (mais tout le monde s’en fout, je crois que je ne vous ai jamais ramené personne, snif).

Sur les moteurs on vous trouve à peine (je sais plus comment j’étais tombé sur rezo.net mais j’étais à la limite du désespoir avant de tomber dessus).

Si on revient aux sources :

Mars 2009, nous sommes toujours là. Avec la même envie de vous faire partager nos lectures

►https://rezo.net/pourquoi

J’ai toujours bénéficié de « vos lectures » et ça m’a énormément apporté.
Ce serait dommage que d’autres acharnés et avides de comprendre le monde puissent pas vous trouver à cause des IA.
(pour répondre à la question 4)

Ca fait longtemps que je surveille les alternatives aux moteurs de recherche existant.
Il est dit ici qu’il faut des moyens considérables pour avoir quelque chose d’efficace. Ca explique pourquoi il n’y en a que 4 (▻https://mamot.fr/@bendineliot/102507200895682574 ) et que les alternatives ne décollent pas.
(question 5)

Tout cela étant dit, politiquement c’est dur de ne pas être d’accord avec les points 1 2 et 3.

Mais j’ai l’impression que l’IA nous dépasse tellement que c’est comme tenter de vivre sans électrons provenant du nucléaire (mon obsession, argh) en France.

Pour répondre à 4 (mais ça répond à 1 2 3 du coup) :
– le moteur interne ne sert que pour les déjà-utilisateurices
– le but de seenthis est bien de publier des contenus utiles à toutes, pas que aux gens qui ont déjà un compte seenthis
– même si le moteur interne était ouvert à toutes : ça n’aurait quasiment aucun intérêt puisque pour ça il faut déjà connaitre le site… or c’est justement le fait que les contenus utiles soient indexables et indexés ailleurs qui fait que des inconnus peuvent les trouver

A propos du fait de trouver SeenThis au moyen d’un moteur de recherche, je n’ai sans doute pas été assez complet dans mes prémisses.

Le chemin que prend la fonctionnalité « moteur de recherche » chez les fournisseurs de cet oligopole est que tu ne trouveras plus de références aux ressources qui répondent à tes questions, mais uniquement des réponses à tes questions rédigées depuis les ressources que tu recherches.

Si on est pessimiste, on conclue que même si SeenThis est indexé, jamais les portails de recherche ne te diront qu’ils ont utilisé son contenu pour répondre à la question posée. De mon côté, j’estime que c’est le chemin qui est en train d’être pris. Mais je sais que je suis exagérément pessimiste, et qu’il va rester possible d’accéder à des moteurs de recherche traditionnels.

Ceci dit. Je n’ai pas découvert SeenThis par un moteur de recherche. On m’a dit qu’il existait, et je m’y suis inscrit et j’y suis resté. Je continue d’y alimenter mon compte. Alors même que j’apprécie aussi Mastodon et que je continue régulièrement de me demander pourquoi je n’ouvre pas une instance autonome de Mastodon... (je le sais, il faudrait la maintenir, et j’ai déjà bien assez de choses à maintenir... et il faudrait la modérer, et je déteste modérer et fréquenter les gens qui s’amusent avec les modérateurs... et surtout, il faudrait éviter de se faire bloquer par les autres instances, et quoi que très diplomate, j’ai quelques doutes quant à ce que l’instance reste connectée avec le reste du monde bien longtemps, à cause de la modération en particulier).

J’ai essayé régulièrement, de retrouver certains de mes billets techniques au moyen des moteurs de recherche internes et externes, et je dois dire que j’ai toujours eu du mal pour les retrouver !

Ce que je veux dire, c’est que je ne crois pas qu’on découvre SeenThis par les moteurs de recherche. Par contre, comme pour un site vitrine, on en vérifie l’existence et la notoriété, assurément.

Je n’ai pas non plus découvert seenthis par un moteur mais il m’est arrivé de chercher des seen en utilisant un moteur externe (faute de trouver).
Là, comme le dit @simplicissimus, il semble que cela ne fonctionne plus (si par exemple je tape « chômeurs seenthis » y a R a part l’accès à un résumé de ce que seenthis relaie, qui est catastrophique).

HS : pour les personnes qui galèrent pour retrouver un de leurs post ou un de ceux qu’elles ont étoilés, je rappelle l’existence de ce plugin firefox dont je suis le seul utilisateur à ce jour ^^

►https://addons.mozilla.org/fr/firefox/addon/seenthis-search

@b_b : c’est amusant car cet après midi, je suis tombé sur cette page en suivant justement un moteur de recherche, en l’occurence Zotop de chez Zaclys.

▻https://zotop.fr

Et il y avait quelques résultats qui matchaient avec seenthis.net dont celui-ci :

https://pixelfed.fr/storage/m/_v2/791632196803044117/4c90d8e69-c5a1c2/wPC8KUrsY789/0pkxyXraz8YBUWjXsepmz8vSKmCSeP7TgbCRBhVD.png

Je ne me sens pas très légitime pour intervenir ici parce que je ne suis pas développeur informatique, à peine bidouilleur, et pas celui qui a le plus d’ancienneté. D’ailleurs je ne vais pas prendre position faute d’avoir une opinion et encore moins une solution sur ce serpent diabolique qui se mord la queue.

Mais je veux quand même en profiter pour dire deux trois choses :

Premièrement une grande gratitude pour toutes celles et ceux qui ont bâti ce truc seenthis improbable et le maintiennent.

Depuis quelques semaines je prends un peu plus conscience de l’ampleur de l’impasse dans laquelle se trouvent plein d’organisations avec le pillage par l’IA et le tournant historique des moteurs de recherche. Le fait que des créateurs de contenu (et souvent ce sont les meilleurs) se retirent de la toile me terrifie. C’est une bibliothèque qui brûle (et nous regardons ailleurs ;-)

Et il y a tous ceux qui ont un modèle économique qui s’effondre. Dans le tas, il y a des gentils : petits e-commerçants, petits producteurs de contenus indépendants, médias alternatifs, artistes... Que restera-t-il dans seulement un an ?
Je comprends mieux maintenant l’atrophie totale vers laquelle le nouveau paradigme mène internet.

Finalement cela produit une sensation de fin d’un monde très perturbant. Un monde dans lequel je savais bien nager. D’une certaine manière, je faisais partie des winers de ce monde. Rien que cette prise de conscience me donne à réfléchir.
Internet était riche, il s’appauvrit. Dans seulement un an, je pense qu’on pourra parler de méga enshittification, ou d’enshittification totale ou finale.

Quand le supermarché ne vend plus que de la merde, on se demande si ce n’était pas lui qui était de la merde depuis tout ce temps malgré son sympathique rayon de bières artisanales locales... et il est temps d’aller au marché de producteurs et à l’épicerie autogérée.

On arrête tout, on réfléchit, et c’est pas triste. Réduire beaucoup beaucoup beaucoup les écrans comme Odilon, c’est l’avenir, surtout si ça se remplace par des trucs bien.

Désolé, tout ça n’aidera même pas à prendre une décision. C’est juste un partage d’état d’âme.

La discussion n’est pas technique, à mon sens. Elle est sur les principes : dans quelle mesure où ouvre le contenu aux robots et aux milliardaires, c’est à dire dans quelle mesure où on offre des ressources matérielles et intellectuelles, gratuitement, et avec un espoir de retour proche de zéro, voire négatif.

Jusqu’alors, la promesse de Google, c’était que Google allait dire qu’on existe, et nous on allait dire que c’est génial, Google ils aident à ce qu’on existe. Mais comme chez Google et chez les autres, ils sont en situation d’oligopole, ils ont décidé que le service rendu, dire qu’on existe, ce n’était pas assez rémunéré.

Alors. Donc. Voilà. Tout le monde peut participer à la discussion. :-)

Il y a aussi le sujet des flux RSS. Je ne pensais pas qu’un jour j’en arriverais à dire qu’ils sont nocifs. Mais sur SeenThis, leur nombre, et leur consommation par des bots avides, est à mon avis une des explications au fait qu’on ait des difficultés sur certains traitements, lorsqu’il y a de la montée en charge. Et ça pose donc la question de la pertinence d’avoir de laisser ces flux en accès libre (sans Anubis). Mais c’est un autre débat. Mais c’est un débat aussi.

@biggrizzly une piste alternative à anubis qui remonte souvent ces temps-ci est iocaine ▻https://iocaine.madhouse-project.org

- Serve identifiable bots garbage, with poisoned urls
– Anything that hits a poisoned url gets 12 hours on the firewall.

source ▻https://mastodon.roflcopter.fr/@algernon@come-from.mad-scientist.club/117036039914052825

À étudier...

C’est drôle, la dernière mise à jour de SPIP sur SeenThis a désactivé un élément de protection que j’avais placé à la sauvage dans le code de SPIP. Ce qui fait que plus aucun bot ne se fait bloquer du tout.

Le résultat est en quelque sorte édifiant.

Tu veux avoir le droit d’exister sur Internet ? Y compris en activant Anubis. Alors accepte de devoir assumer un trafic multiplié par 10.

C’est en quelque sorte le tribut au dieu de l’Internet que tout un chacun se doit de verser.

https://pixelfed.zoo-logique.org/storage/m/_v2/493151427756716033/9a26d276d-23d3a8/QtKhhPDYVUnP/YdqPrr1OdJ3B3zMBSc0L7g4HFTYjYFe0vsxVGkSo.png

Vous aurez noté que certains posts créés par RSS ne se créent plus convenablement (par exemple XKCD du jour). Ceci expliquant donc cela.

Et donc ça c’est même avec Anubis… et c’était quoi le blocage ajouté en plus ?

SPIP a une protection sur le load du serveur. De plus, cette protection ajoute un aléa. Quand le load est trop élevé, les bots reçoivent une erreur 429. Sur la machine SeenThis, il y a un paramètre (une jail) fail2ban qui bloque les IP qui génèrent des erreurs 429. Dans la version personnalisée à la sauvage de SPIP, il n’y a pas d’aléas à l’envoi de l’erreur 429, et le load est toujours trop élevé. Et donc, les IP des bots sont systématiquement bannies au bout de 2 tentatives.

Le graph des requêtes avant Anubis a environ le même aspect en moins pire. C’est à dire qu’il y a une croissance du trafic. Je tâcherais de sortir les deux graphs la prochaine fois que j’allume le PC :-)

Arf, désolé @biggrizzly je ne savais pas et ne pouvais pas le savoir puisque l’installation n’était pas en git. Maintenant que c’est le cas, je pourrai faire les prochaines mises à jour sans perdre tes modifs.

PS : il serait peut-être intéressant d’ajouter un point d’entrée dans SPIP pour permettre ta modif de manière plus pérenne. On en cause la semaine prochaine si tu veux.

C’est amusant de voir la différence de volume avant/après Anubis.

L’analyse sur les IP est intéressante aussi. On voit que les chinois ne passent pas (encore) Anubis.

Et on constate que Apple est très ouvert dans son comportement. Il n’a qu’un seul user-agent, mais qu’est-ce qu’il est gourmand !

Avant Anubis :

https://pixelfed.zoo-logique.org/storage/m/_v2/493151427756716033/9a26d276d-23d3a8/C7fcOGZx2vGR/rRGxLUUoe1T4YmDyOPiONJpZpd7KHRLjF0tblsvc.png https://pixelfed.zoo-logique.org/storage/m/_v2/493151427756716033/9a26d276d-23d3a8/u1yyNDnFDFJd/EjUfjMDxSfIZmgc3wZb6MeBFhFK5RRXhPnYMwFKn.png https://pixelfed.zoo-logique.org/storage/m/_v2/493151427756716033/9a26d276d-23d3a8/S7g4gymER2Qb/hk0saYaSYWGBlsKU1ZChdgzQbQwzzMdxFLIfdRCe.png

Après Anubis :

https://pixelfed.zoo-logique.org/storage/m/_v2/493151427756716033/9a26d276d-23d3a8/fotisJifJXLh/6iwRN1C3UXxNs9hnMBJQtmRJPUaaQsnItCWAnh3l.png https://pixelfed.zoo-logique.org/storage/m/_v2/493151427756716033/9a26d276d-23d3a8/ICGJOJN5nHS2/ohYOciDZsadvr7eg9FEdVKxADnrw3xRuD7M9KGOj.png https://pixelfed.zoo-logique.org/storage/m/_v2/493151427756716033/9a26d276d-23d3a8/3wAfLmSfPgXs/YRD9M9Q3UrXPxTtyWhI1QJjILJTcJwt7oU35risj.png

Si, comme vous semblez le vouloir, il faut s’ouvrir à fond les ballons à tous les techbros-sauveurs-du-capitalisme de la planète, je dirais qu’il faut améliorer SeenThis dans les directions déjà mentionnées dix fois je crois :

1. Améliorer le fonctionnement du CRON interne, pour qu’il ne s’exécute pour de vrai qu’une seule fois par minute.

2. Améliorer le fonctionnement de la création des posts par RSS, pour qu’ils ne se retrouvent pas bloqués par la surcharge du serveur, liée aux bots.

3. Améliorer certaines requêtes très lentes (calcul des fils avec blocages).

On pourra aussi sans doute, aussi, un de ces jours, réfléchir à la façon de construire les flux RSS sans qu’ils n’engendrent eux même des soucis de concurrence sur la base de données. Parce que si on ne les protège pas par Anubis, ils sont consommés à un rythme infernal.

1. Améliorer le fonctionnement du CRON interne, pour qu’il ne s’exécute pour de vrai qu’une seule fois par minute.

Est-ce souhaitable, car ça veut dire seulement pile 1440 fois par jour, alors que s’il y a beaucoup de tâches de fond à faire, les jobs de SPIP se lancent « quand il y a un truc à faire » dès lors qu’il y a un hit PHP par quelqu’un (humain ou robot qui passe les portes).

Quand il n’y a aucune tâche à faire à un instant T… ce cron n’est censé rien faire non ? Donc ça fait quoi comme surcharge, ça lance quoi de trop que ça ne devrait pas lancer ? Juste la « recherche de tâches à faire » (qui est vide si plus rien en stock) est déjà trop gourmande ?

2. Améliorer le fonctionnement de la création des posts par RSS, pour qu’ils ne se retrouvent pas bloqués par la surcharge du serveur, liée aux bots.

Ça se fait justement… dans les jobs/cron, donc si ça se lance plein de fois : ça fait avancer plus souvent l’importation. Là encore le diagnostique n’est super clair : c’est quoi qui bloque quoi ? Et de quelle manière ça bloque plus l’import de seen que les créations manuels par un humain dans l’interface ?

3. Améliorer certaines requêtes très lentes (calcul des fils avec blocages).

C’est le seul point pour lequel sans plus d’infos je pourrai avoir une intuition dont on avait parlé ya 5 ans ou plus déjà : si on s’assure d’indexer assez des bonnes informations nécessaires dans Manticore, alors l’ensemble des fils du site pourraient être générés avec, et non pas juste la page de recherche. Au moins les boucles principales de sélection. Càd : toutes les listes de chaque auteurices, tous les RSS, et les accueils de chaque personne et des anonymes. Les boucles/requêtes de Manticore sont beaucoup, beaucoup, plus rapides que les requêtes MySQL à priori.

Autre graphique : nombre de requêtes qui durent plus de 5 secondes sur les 14 derniers jours.

Plus il y a de monde qui consulte le site, plus il y a de pages qui se retrouvent bloquées.

Il y a un souci de concurrence dans le code de seenthis, souci à corriger d’une façon ou d’une autre ; j’ignore où il se situe, et je ne fais en l’état que des propositions de pistes de recherche.

https://pixelfed.zoo-logique.org/storage/m/_v2/493151427756716033/9a26d276d-23d3a8/Uh3HGVWEdqq0/RoVVzfWwGCCGNYEqLez92V9gjosVejunYaWlyWUb.png

J’évoque le CRON car parfois, dans le passé, avant Anubis, j’ai constaté qu’il s’appelait de très nombreuses fois dans des intervalles de temps très courts, sans aucune raison valable. Du fait d’Anubis, je ne vois pas de cas comparable en ce moment. Je note des pics, avec des appels concentrés sur une même seconde.

Ici, on voit qu’à 09h09 le 7 août, on a une vingtaine d’appels. Je soupçonne des soucis de ce point de vue là, s’il manque une vraie section critique. Ceci dit, ces appels, présentement, ont tous duré moins de 100ms.

https://pixelfed.zoo-logique.org/storage/m/_v2/493151427756716033/9a26d276d-23d3a8/aOyaX8K5a5mw/jj4ghbjzSR60gRvZo1MYJDLQvXAjXPBZ1zURn5GF.png

Par principe, je désapprouve les webcrons. Quand on a besoin de faire exécuter qq chose régulièrement, si on en a la possibilité, je trouve un vrai gestionnaire de tâches planifiées préférable. Mais si le CRON de SPIP est conforme tant mieux. Il n’empêche qu’il lui arrive de s’emballer, à mon sens, de ce que je vois dans les journaux apache.

Concernant les posts créés par RSS, dès qu’il y a de la concurrence, ils apparaissent sans contenu dans les fils. Pendant toute la durée de bannissement des bots, les posts RSS se sont créés sans difficultés. Depuis que c’est rouvert, on a à nouveau de tels soucis. Ceci dit ces soucis se résolvent d’eux même quand les posts passent en page 2. C’est apparemment un souci de mise en cache du post, quand le post est créé, et qu’en même temps la page d’accueil est réclamée.

L’envoi de mon commentaire a pris plus de 8 secondes. Ce n’est pas normal. Et ça n’a lieu qu’en situation de forte charge.

(bis, ce second commentaire aussi, plus de 8 secondes)

(ter, la validation de la modification du commentaire, plus de 20 secondes)

Confirmation par les journaux : mes 4 validations successives.

Pas un souci de concurrence pour le coup, y-a pas de surcharge présentement. Ça doit être lié à la structure de ce post plein de commentaires ?

https://pixelfed.zoo-logique.org/storage/m/_v2/493151427756716033/9a26d276d-23d3a8/N4eXlpTY75JX/DsfilkSOpKdUZSvPhfytxoSrP1JnkZ7liNHOEDKO.png

C’est chouette, je tombe juste sur le souci de création de post depuis un RSS. Sur mon fil, ça affiche ça :

https://pixelfed.zoo-logique.org/storage/m/_v2/493151427756716033/9a26d276d-23d3a8/BgTxkmyVW5Cp/qCVLtCbQGPcgra8zmGoJJtOP10zBgXofVjIvOacU.png

99% of My Website Traffic Is Bots

▻https://patronview.com/news/99-percent-of-my-website-traffic-is-bots

Les observations et contre-mesures d’un autre galérien, lui avec Cloudflare.

https://i.ibb.co/35Jm3sQw/image.png

@biggrizzly pour info, je viens de mettre à jour #seenthis en SPIP 4.4.18. J’ai vérifié avant de le faire, et il n’y avait pas de modifications locales. Je reviendrais plus tard dans ce fil pour discuter des points que tu listes plus haut.

Juste pour discuter.

On vient de faire un point sur la journalisation de nos serveurs web, qui permet de visualiser les stats comme dans mes commentaires précédents.

On confirme le avant/après blocage des bots

– Avant Anubis, trafic sans bots = 1, trafic avec bots = 6
– Après Anubis, trafic sans bots = 1, trafic avec bots = 10

On a multiplié le trafic par 10 depuis que les bots sont libres de consommer SeenThis.

On ne stocke que 3 mois de journaux pour SeenThis. Mais un trafic multiplié par 10, plus le trafic supplémentaire impliqué par Anubis, ça augmente l’espace nécessaire pour les journaux.

On doit aussi gérer d’autres absurdités des bots sur d’autres serveurs web. Par exemple le cas de ce bot meta qui consomme en continu les photos d’un blog qui a commencé sa vie au début du siècle. Des millions de lecture de photos lues et relues, toujours les mêmes, consommées en continu. On a bloqué meta globalement sur ce serveur mutualisé. C’est tellement absurde.

Malgré nos mesures de nettoyage et de blocage, c’est une croissance du trafic qu’on constate, alors même que globalement, les moteurs de recherche, c’est de notoriété publique, ne renvoient plus de visiteurs.

Bref, on ajoute ce matin 100Go de plus sur le serveur dédié aux journaux web, ça fait un petit serveur à 500Go d’espace total. Pour voir venir.

Mon opinion est de plus en plus ferme. Les bots ne servent à rien d’autres qu’à nous imposer de rajouter des ressources sans aucun retour en échange. Le futur de la communication entre humains ne passe pas par les moteurs de recherche mais par les réseaux sociaux distribués. Peut-être devrions-nous tâcher de construire des moteurs de recherche distribués (ça n’existe pas en l’état, consommer des moteurs commerciaux ça n’est pas du moteur de recherche distribué).

StupidAntibot [Wiki de sebsauvage.net]
►https://sebsauvage.net/wiki/doku.php?id=stupidantibot

(...)

Alors bien sûr cela va aussi bloquer les bots indexeurs des moteurs de recherche, mais de toute manière Google n’est déjà plus capable d’afficher des résultats pertinents et il n’amène plus de trafic.

Mon crédo : Écrire pour les humains, pas pour les robots. Donc je m’en fous totalement que tous les robots soient bloqués.

(...)

De l’eau au moulin :-)

Réponses un peu tardives...

1. Améliorer le fonctionnement du CRON interne, pour qu’il ne s’exécute pour de vrai qu’une seule fois par minute.

Je croyais que la solution que je proposais dans ▻https://github.com/seenthis/hebergement/issues/29#issuecomment-4104042165 faisait le job, ça n’est pas le cas ?

2. Améliorer le fonctionnement de la création des posts par RSS, pour qu’ils ne se retrouvent pas bloqués par la surcharge du serveur, liée aux bots.

Ça mérite un ticket dans ▻https://git.spip.net/seenthis/importer-flux/-/work_items :)

3. Améliorer certaines requêtes très lentes (calcul des fils avec blocages).

Ça fait 10 ans qu’on a un ticket à ce sujet ▻https://git.spip.net/seenthis/squelettes/-/work_items/159 mais personne ne s’y jamais vraiment collé :\

Le futur de la communication entre humains ne passe pas par les moteurs de recherche mais par les réseaux sociaux distribués.

Avec le temps qui passe et le peu d’énergies/volontés à dispo pour maintenir seenthis, je pense parfois (souvent ?) qu’une instance masto (ou autre) dédiée aux membres de seenthis ferait très bien le job.

▻https://framapiaf.org/@framasky/117098596543170343

Coucou @biggrizzly 😘

La page que vous recherchez n’existe pas.

Snif
C est ce sujet
▻https://framapiaf.org/@framasky/117098645907360561

Ce post me permet de découvrir que les blocs de code sont un peu pétés depuis le passage en SPIP 4 => ticket par ici ▻https://git.spip.net/seenthis/squelettes/-/work_items/304

Ah oui, bien vu. J’ai cru récemment que c’est moi qui n’avait pas fait les choses correctement.

Deux Prs pour le prix d’une : ▻https://git.spip.net/seenthis/squelettes/-/merge_requests/301 & ▻https://git.spip.net/seenthis/squelettes/-/merge_requests/302

Voilà, c’est corrigé, et j’en ai profité pour faire un peu de ménage dans des fonctions obsolètes.

Merci 👍

merci !

@b_b, lors de ta mise à jour tu as réinitialisé le fichier ecran_securite.php ce qui a permis aux bots de ne plus être bloqué.

Pour l’anecdote : sur les 3 derniers jours, le trafic quotidien a été multiplié par 4. Sur 7 jours, le bot Apple a avalé 500K messages, ce qui représente la moitié des messages lus sur la période.

Conséquence : nous avons à nouveau les messages issus de RSS qui se retrouvent lus et mis en cache vide avant d’avoir été générés complètement. Il va falloir sérieusement étudier ce sujet un de ces jours.

On a sur le feu :

– Important : sanctuariser les modifications propres à seenthis réalisées sur le fichier ecran_securite.php
– Nécessaire : pouvoir contrôler le moment/la façon dont le webcron s’exécute
– Nécessaire : corriger la façon dont les messages RSS sont créés, pour éviter la création de messages à l’apparence vide
– Moins important : optimiser les requêtes SQL de calcul des blocages (déjà prototypé et testé, mais jamais réalisé de PR)

merci aux soutiers !

merci!

Illustration de comment les bots se manifestent quand on les laisse passer. Les 7 derniers jours.

Il y a 4 jours, le système de détection se désactive lors de la mise à jour, les IP des bots sortent de leur prison petit à petit. Puis hier soir, on le réactive. Entre les deux, les indexeurs s’en sont donnés à cœur joie.

Le bot d’Apple en premier lieu : il ne serait pas étonnant qu’Apple, un de ces jours, sorte du bois sur le sujet de l’IA (pour le moment il reste très en retrait par rapport aux autres GAFAM). Pour l’anecdote, l’Apple Bot, ce sont plus de 2000 IPv4 distinctes. Aucun autre moteur n’a autant d’adresses mobilisées, d’après ce qu’on observe.

https://pixelfed.zoo-logique.org/storage/m/_v2/493151427756716033/0d402c64b-2701fc/p3NPWnThN5zW/Yi5QWoHuzDIkgAIiyVBp8iMtGf3LDVcXnU6W8lcf.png

Sur 30 jours, en se basant sur le user-agent :
– Apple : 2100 IP
– Yandex : 700 IP
– Facebook : 600 IP
– Bing : 600 IP
– Google : 110 IP
– OpenAI : 40 IP
– Claude : 17 IP (il n’est quasiment jamais venu)

@biggrizzly

lors de ta mise à jour tu as réinitialisé le fichier ecran_securite.php ce qui a permis aux bots de ne plus être bloqué.

Ha ben oui, c’est le problème de :

– surcharger le fichier en le modifiant directement plutôt qu’à l’aide des modifs persos comme ►https://www.spip.net/fr_article4200.html#Configuration
– faire les mises avec le loader

Donc, si tes modifs de l’écran ne passent pas par la manière classiques, il faudra qu’on change la méthode d’install de SPIP pour la repasser en git.

Tiens moi au courant :)

sur les bots Apple, cf. ▻https://seenthis.net/messages/1174721

Wowowowow…

\o/ je viens de tomber dessus, espérons que ça nous/te fera des vacs de bots :)

Pour info, mon script passerelle qui reposte vers Bluesky continue de fonctionner.

J’ai réactivé les pages tags et sites en accès anonyme.

J’ai laissé le blocage sur la recherche.

On a bien un avant et un après en termes de ressources consommées.

https://pixelfed.zoo-logique.org/storage/m/_v2/493151427756716033/31410d826-759a86/GImHXub8XAtE/GIh3pM262Z9nWEyiKbGp5N4s89wnyu0gOZHApfQN.png

En fait, la machine ne fait presque plus rien. MAIS EN FAIT, Y-A PERSONNE QUI CONSULTE SEENTHIS ?

https://pixelfed.zoo-logique.org/storage/m/_v2/493151427756716033/31410d826-759a86/NsImRGlTruSy/irbcfvbz4lAQqlNELTrxCVRAu5NuqVNeqWpIc0te.png

Merci, ca marche. Je peux enfin recommencer à utiliser Seenthis comme au début. Fini les délais interminables avec obligation d’ouvrir une nouvelle fenêtre pour vérifier si ton seen a bien été enregistré.

#super !

Hello @biggrizzly alors depuis le 9, à cause d’Anubis Thunderbird n’arrive plus du tout à lire les flux Atom quels qu’ils soient. Ce qui est problématique pour suivre (j’ai dû louper plein de choses depuis 4 jours OMG) :p

▻https://git.spip.net/seenthis/squelettes/-/work_items/303

J’ai trouvé ce ticket chez Anubis ▻https://github.com/TecharoHQ/anubis/issues/721

Mais je ne suis pas très content de la réponse : en gros ça dit « pour que ça marche bah tu désactives Anubis sur les flux RSS/Atom ». C’est un peu de la merde, ça veut dire ne plus protéger ces URL alors qu’elles peuvent être visitées par des robots tout autant que les autres.

On peut tenter de tout désactiver Anubis sur toutes les URLs de type « feed » et voir ce que ça donne ? Mais bon c’est chiant quand même.

/feed, ça ne passe qu’à 1,8% ce matin. C’est clair qu’il manque du monde.

C’est une route peu dangereuse pour le serveur, on va faire l’essai de la laisser passer.

Cette route est essentiellement consommée par des IP Google.

(c’est au client de faire le boulot, et Thunderbird ne le fait pas, hélas, un petit peu comme curl, qui lui aussi, ne sait pas passer le barrage)

C’est actif (on a aussi augmenté la difficulté de base) :

  - name: rss-feed
    path_regex: ^/(tag|people)/.*/feed$
    action: ALLOW

Y-a du monde qui peut à nouveau arriver.

https://pixelfed.zoo-logique.org/storage/m/_v2/493151427756716033/31410d826-759a86/8CZMEyOkPRzc/3wxZIq2569xHJ4ce1mWhVrj7hPvXQ0Gi2nIcipdN.png

Le truc drôle (non), c’est que le user-agent le plus présent, est un user-agent d’un navigateur standard... réputé pouvoir passer la barrière sans difficultés... ce serait donc un fake-user-agent, j’imagine.

Ça remarche effectivement dans Thunderbird pour l’instant, merci. (mais donc oui fait chier si ça relaisse passer des merdes)

Pour la difficulté, j’ai une erreur en voulant citer (avec le favori javascript) plus qu’un unique paragraphe :

414 Request-URI Too Large

Je n’ai pas encore réussi à produire une telle erreur. Quelle est la page que tu tentes de citer ?

C’était pour mon dernier post, que j’ai fait à la main après du coup ▻https://seenthis.net/messages/1167867

J’ai publié l’intégralité du contenu sans difficultés. Bizarre.
▻https://seenthis.net/messages/1167877

C’était pas la publication l’erreur, c’était arriver avec le favori javascript en ayant selectionné les paragraphes. Normalement ça t’amène sur le champ pré-rempli parce que mis dans l’URL. Bon ok yen avait peut-être un peu beaucoup (mais j’avais jamais eu cette erreur avant). C’est pas bien grave. :)

On parle bien du clic sur le bookmark JS suivant ?

javascript:var%20titre=document.title;var%20txt='';if(window.getSelection){txt=window.getSelection();}else%20if(document.getSelection){txt=document.getSelection();}else%20if(document.selection){txt=document.selection.createRange().text;}var%20logo='';var%20ogImage=document.querySelector('meta[property=\'og:image\']');if(ogImage){logo=ogImage.getAttribute('content');}var%20url=document.location+'';var%20canonicalUrl=document.querySelector('link[rel=\'canonical\']');if(canonicalUrl){url=canonicalUrl.href;}else{var%20ogUrl=document.querySelector('meta[property=\'og:url\']');if(ogUrl){url=ogUrl.getAttribute('content');}}void(btw=window.open('https://seenthis.net/#ajouter='+encodeURIComponent(titre)+'&url_site='+encodeURIComponent(url.replace('%2520','+'))+'&logo='+encodeURIComponent(logo.replace('%2520','+'))+'&extrait='+encodeURIComponent(txt)))

C’est ce que j’ai fait de mon côté en sélectionnant l’intégralité du post de blog et en cliquant sur mon bookmark seenthis.

Eh bé maintenant ça remarche oui… tant mieux :)

Alors, peut-être que ça plante si le bookmark tombe sur la page d’Anubis... ce qui ne m’est pas encore arrivé, j’imagine...

On confirme que Anubis n’est pas capable, en l’état, de transmettre une URL aussi longue (on croit trouver une limite à 8Ko, et la page considérée monte à 29ko). Pas de solution simple en l’état...

Autre conséquence, toujours sur Thunderbird : dans @7h36, les images (distantes donc) ne s’affichent plus dans l’email

Note pour préciser le mode de fonctionnement d’Anubis : lors de la première visite du navigateur sur le site SeenThis, Anubis reçoit la demande d’accès à la page, en tant que proxy transparent. Il constate que le cookie de preuve de travail est absent, pour ce navigateur particulier, depuis cette connexion particulière. Il sert donc la page Anubis, qui contient le code Javascript en charge de calculer le cookie réclamé. Une fois le cookie généré, le navigateur demande à nouveau la ressource, et Anubis constatant que le cookie est présent et valide, transmet la requête au serveur web de SeenThis. Ce cookie reste présent un certain temps, ce qui explique que les visites suivantes ne posent aucune difficulté, en particulier au moment d’utiliser le bookmarklet JS de SeenThis.

Pour les images dans les emails, il faudrait laisser passer /local/* ? Quels risques à votre avis on prend à laisser passer tout cela ?

> Quels risques à votre avis on prend à laisser passer tout cela ?

Aucun, c’est ce qu’on fait par défaut dans SPIP 4 cf ▻https://git.spip.net/spip/dist/-/blob/4.x/robots.txt.html?ref_type=heads

Oui à priori les bots n’ont aucun moyen de connaitre les URL des contenus dans local, sans avoir eu accès aux pages web qui les contiennent/référencent. Donc s’ils sont bloqué pour les pages en amont, ya jamais aucun hit sur les images en cache (ou peu).

C’est actif.

Je confirme que ça remarche direct pour 7h36 et autres notifs contenant des images, merci !

Tu as fait les modifs direct dans plugins/seenthis_squelettes, peut-être qu’il serait temps de poser nos modifs persos dans squelettes à la racine et de versionner tout ça dans un repo ? À moins qu’on valide ces changements et qu’on les push dans le repo principal ?

Je considère que ces corrections sur l’accès public aux ressources de seenthis sont des pansements temporaires, afin de nous permettre de profiter de SeenThis malgré les botnets internationaux. 

Si nous décidions de pérenniser ces règles, j’imagine que nous devrions en discuter collectivement au préalable : voulons-nous que le réseau soit diffusé publiquement, sur l’ensemble de ses fonctionnalités. Nous avions eu le débat, rapide, sur la recherche. Là, d’une certaine façon, je l’ouvre sur les accès /tag/ et /sites/, et je n’ai pas pris le temps de savoir quel serait mon opinion. De suite, ça me facilite la vie et ça nous permet de temporairement profiter de nos publications respectives.

Comme je le disais la semaine dernière, il me semble que la seule solution viable, face aux #botnets, c’est une solution « à la #cloudflare », comme #anubis ou équivalent, c’est à dire d’imposer une preuve de travail côté navigateur. Même si les botnets finiront parfois par la fournir, cela augmentera de leur côté le coût de venir nous rendre visite, plutôt que de continuer uniquement de notre côté à augmenter les ressources et systèmes de mitigation.

(c’est amusant, on a à nouveau le botnet qui réclame les urls absurdes /messages/messages/messages/sites/people/etc)

J’ajoute un dernier commentaire.

Soit le code suivant inséré dans un squelette SPIP :
[(#SESSION{id_auteur}|sinon_interdire_acces{#URL_SITE_SPIP,403})]

J’avoue que je m’attends, côté client, à recevoir une erreur 403, et côté serveur, à voir dans les journaux une erreur 403. Seulement, en l’état, on ne trouve qu’une redirection 302. C’est ballot, et ça ne permet pas de procéder à d’éventuels traitements, et pire, ça génère une seconde requête sur le serveur, alors qu’on aurait pu simplement afficher une page 403. J’ignore s’il est facile d’améliorer ce fonctionnement défectueux, et je ne sais pas si ça vaut le coup, modulo ce que je disais précédemment, comme quoi je considère ces solutions comme temporaires.

No problemo, je te comprends :)

Concernant Anubis, je vois qu’il y a un paquet debian cf ▻https://anubis.techaro.lol/docs/admin/native-install et que ça peut se déployer/configurer directement depuis nginx cf ▻https://anubis.techaro.lol/docs/admin/environments/nginx => ça vaudrait le coup d’essayer

Je viens de lire la page nginx. En effet, vue la facilité de mise en œuvre je crois qu’on va faire le test. 

J’ai trouvé un moyen de doublement réduire la charge, mais c’est malveillant. Les non-authentifiés qui réclament /tag ou /sites sont redirigés vers /tag/tag, ou /sites/sites, ce qui est traité par nginx en direct par une erreur 445, et peut potentiellement envoyer le visiteur dans fail2ban s’il insiste. C’est radical. Donc temporaire.

Étrange pour le statut 302, car c’est celui renvoyé par défaut si on n’en passe pas au filtre cf ▻https://search.spip.net/git.spip.net/spip/ecrire/-/blob/inc/filtres.php?L5140:10

> J’ai trouvé un moyen de doublement réduire la charge, mais c’est malveillant.

Héhé, je me suis fait bloquer en voulant tester le statut renvoyé par la redirection de SPIP ^^ Mon accès au serveur m’a sauvé sur ce coup là.

Le botnet, comme il parvient à traiter plus d’URL, parce que SeenThis est plus rapide à fournir une réponse, il nous présente plus d’IP à chaque instant. On va atteindre les 50000 IP par heure, parce que le serveur est capable de fournir 50000 pages d’erreurs par heure. En fait, on comprend que le botnet il a une liste d’URL à traiter, et il demande à son réseau de les traiter, via des terminaux compromis aux 4 coins de la planète. 

https://pixelfed.zoo-logique.org/storage/m/_v2/493151427756716033/31410d826-759a86/XjrFXVgoi3Ue/kcDNrXK7dIuvsfcbaIeYJEANqYMpqmexZZbzAIVL.png

Concernant sinon_interdire_acces() je viens de comprendre pourquoi ça ne peut pas fonctionner. Celui-ci utilise redirige_par_entete() qui n’autorise que les statuts 301 & 302 cf ▻https://search.spip.net/git.spip.net/spip/ecrire/-/blob/inc/headers.php?L39

Donc, la doc du filtre est fausse ▻https://www.spip.net/fr_article5668.html#sinon_interdire_acces ainsi que son phpdoc :\

=> ▻https://git.spip.net/spip/ecrire/-/work_items/137

Anubis est un bel outil très puissant. J’en avais jusqu’alors mésestimé l’intérêt. Nous allons le mettre en œuvre d’ici quelques heures à quelques jours.

Pour sinon_interdire_acces, tu confirmes donc que ce n’est pas lié à SeenThis, et que c’est Spip lui même qui n’est pas très carré de ce point de vue là ? Pas d’chance pour nous.

> Pour sinon_interdire_acces, tu confirmes donc que ce n’est pas lié à SeenThis, et que c’est Spip lui même qui n’est pas très carré de ce point de vue là.

Non, c’est la doc qui est pourrite, cf les échanges dans le ticket que j’ai créé. Je viens de corriger seenthis sur ce point cf ▻https://git.spip.net/seenthis/squelettes/-/commit/8bf4996bd3209e0913075c540b025cfd8fb6fa76 il faut donc utiliser [(#SESSION{id_auteur}|sinon_interdire_acces{'',403})].

La PR pour le plugin sphinx est à jour ▻https://git.spip.net/seenthis/sphinx/-/merge_requests/8 et je la merge dans la foulée.

Et c’est up en prod.

Merci pour tes actions. 

Du coup, j’ai enlevé les redirections, et j’ai désormais des erreurs 403. Et on a donc deux fois moins de requêtes issues du monde entier. Et une charge faible comme jamais.

Oh que oui !

Les changements de version notables :

– Debian 8 > Debian 13
– PHP7.1 > PHP8.4
– SPIP 3.2 > SPIP 4.4.13
– Sphinx 2.3 > Manticore 17.5

La nouvelle VM a les mêmes ressources que l’ancienne :

– Hyperviseur Proxmox
– RAM 24Go
– Processeur 6 cœurs
– Disque 650Go (NVMe)

Elle est hébergée sur Roubaix quand l’ancienne est à Gravelines. Nous allons ramener la nouvelle VM sur Gravelines d’ici quelques jours.

Un succès total, merci @biggrizzly !

Maintenant les gens vont pouvoir poster des webp... (même s’il y a certainement d’autres nouveautés que je n’ai plus en tête).

Merci à vous tous ! @biggrizzly @seenthis @arno

Merci !

Merci à vous tous.

Au top ! Merci à vous qui vous y collez...
On voit sur ▻https://git.spip.net/groups/seenthis/-/activity que vous êtes bien peu à vous démener pour que ça tourne

谢谢

(car pour moi, c’est du chinois)

Je poste un svg sans faire râler le serveur !

https://www.spip.net/spip.svg

cf ▻https://git.spip.net/seenthis/squelettes/-/issues/301

Ce matin, j’ai navigué comme à l’accoutumée. Je viens de reprendre l’activité : j’ai réussi à m’identifier sans problème. Merci à la @seenthis team pour le taf ! Par contre sur ST, tout le monde sait que je suis un #noob
 :-D

je ne sais si cela est en rapport avec le bond technologique effectué mais un seen qui ne se présentait pas ainsi auparavant (?) est en ligne ▻https://seenthis.net/messages/1161496

J’aime vraiment @seenthis comme Cosmic Psychos Really Really Really Like Beer
▻https://cosmicpsychos.bandcamp.com/track/i-like-beer

Trug’ dit, @vanderling !

https://f4.bcbits.com/img/0041006833_10.jpg

Sinon, la prochaine étape, c’est le datacenter ? Non, parce que vu l’orientation que prennent certains ici, il va falloir s’y atteler ...
▻https://seenthis.net/messages/1162307

C’est exactement ce qu’on a vécu avec le Minilecte hier :

https://seenthis.net/local/cache-vignettes/L600xH404/xOaJNxdmfWn4hxqZ-d3bdfcb7-3f1d2.jpg

@colporteur comme je le disais plus haut, suite au passage en #SPIP 4 @seenthis prend enfin en charge les images webp.

grand grand #merci !

Merci !

oui, bravo et merci à tou·te·s !
pour la rénovation, bien sûr, mais aussi, pour le quotidien

sans parler, des concepteurs/ conceptrices aux petites mains, qui ont pondu les mécaniques et les algos qui font tourner tout ça

Les emails doivent être de retour.

J’ai réalisé deux sélections d’IP louches. Cela a représenté une moisson de 22000 IP.

Potentiellement, une des sélections peut avoir inclus les adresses IP de personnes fréquentant SeenThis en mode non-connecté. J’espère que vous n’en faites pas partie. N’hésitez pas à le signaler par un canal ou un autre...

La charge du serveur est divisée par 2. Et j’espère que les gros pics d’indisponibilité vont avoir été bloqués, eux aussi.

Par contre ce matin, impossible d’accéder à la page d’accueil ni aux liens diffusés par le mail de @7h36.

Super bravo et mille mercis pour ce travail inestimable ! Apprécié vraiment à sa juste valeur qui est immense.

❤️

Et c’est quoi les canaux parallèles @biggrizzly ? À qui on s’adresse en cas be black-out de @seenthis comme le week-end dernier. J’ai pas trop insisté, enfin je me suis connecté avec un autre appareil pour conclure que ça venait de #Seenthis et de son déménagement. à Roubaix (encore LFI qui fout la merde Guiraud grand favori pour le second tour avec 46,64% (8560 voix pour 62,38% d’abstention).Hier tout semblait être revenu à la normale, comme avant que vous changiez de machine. Mais ce mardi, voilà que ça recommence
502Gateway (connexion impossible) ça commençait à branler du manche début mars déjà. Je crois que je vais faire une pause quelques temps. Le beau temps revient, je vais aller faire un tour plutôt que de me prendre la tête avec vos problèmes techniques

Désolé pour le #blacklistage @vanderling c’est parfois compliqué de ne pas moissonner trop large. J’ignore quels pourraient être les canaux parallèles. Mastodon ? J’y suis, et d’autres ici y sont. Tu aurais pu insister, j’aurais tâché de corriger plus vite mon empressement à bloquer les #botnets.

Si j’ai bien compris @biggrizzly tu as mon adresse IP, donc je ne suis pas un botnet. J’ai bien repéré @monolecte @davduf @7h36 S. Bortzmeyer… sur Mastodon/Piaille mais je ne suis que sur seenthis aucun autre compte ailleurs et surtout pas sur X ou autre Meta-bollocks. Enfin pour l’instant la connexion à l’air de tenir.

vos problèmes techniques

=> nos problèmes techniques à tout⋅es

Rappel : il n’y a pas de magie derrière seenthis, juste du code qui tourne sur une machine , et tout ça est géré par des humains pour d’autres humains qui aiment utiliser le bouzin :)

@vanderling, je n’ai pas compris que tu aies été spécifiquement bloqué. Cet après-midi, c’est tout le site qui a affiché l’erreur 502 pendant de longues minutes pour tout le monde, pas juste pour toi.

Parce qu’on a subi une attaque assez massive, avec 1000 machines avec chacune une dizaine de user-agent différents qui ont bloqué Seenthis. Ce que @biggrizzly a finalement réussi à bloquer.
▻https://seenthis.net/messages/1163113

Ce qui se passe, encore une fois, c’est qu’on se prend des passages absolument massifs de bots, avec des milliers de machines qui se branchent sur Seenthis et qui rendent son utilisation très lente voire totalement bloquée.

Et c’est justement l’une des principales raisons du déménagement de la semaine dernière : passer sur une machine plus moderne, ce qui permet à @biggrizzly d’accéder à des outils plus précis et performants pour identifier ces attaques et les bloquer. Ce qu’il fait au fur et à mesure, c’est évidemment ça ne va pas se faire du jour au lendemain, encore aujourd’hui lui et @b_b ont discuté de configurations (auxquelles je ne comprends pas grand chose) pour améliorer la détection de ces bots.

Il faut donc comprendre que le déménagement n’était que la première étape pour qu’ils disposent d’outils (impossibles à installer sur l’ancienne machine) pour pouvoir mieux contrer ces passages massifs de bots, et au fur et à mesure mettre en place les contre-mesures techniques. Mais forcément, ça va se faire au fur et à mesure.

–---

Signalons aussi que Seenthis est sur une seule machine, et qu’avec un seul serveur on tente de bloquer les bots qui, eux, viennent de centaines de machines en même temps. Le souci écologique est clairement de notre côté…

Vous faites un sacré boulot en tout cas, vu de mon passif dev puis admin puis enseignant-chercheur (et bientôt retraité, youpiiiii !), je loue votre constance. Osana et toutes ces sortes de choses. Longue vie à seenthis.

En fin de semaine dernière, j’ai étudié les IP qui se connectaient, et tenté de détecter un schéma de consultation qui permettrait de décider qu’une IP est un bot. J’ai décidé un petit peu rapidement que les IP qui consultent certaines pages sans être connecté étaient des bots. Ça m’a permis de bloquer 10000 IP distinctes, et je ne me suis rendu compte que je m’étais auto-bloqué à mon domicile qu’au moment de couper le VPN pro... Il m’a fallu le WE pour m’en rendre compte, et encore 24 heures de plus pour décider de supprimer ces 10000 IP du firewall ; parfois, je suis lent à la détente. Je ne connais donc pas ton IP en particulier @vanderling, mais par contre, ton IP peut se retrouver au milieu de milliers d’autres sans autre raison qu’une erreur de jugement de l’un d’entre nous, et comme c’est moi en ce moment en particulier qui m’y colle, et bien voilà.

Aujourd’hui, dans l’après-midi, nous avons, comme le relate @arno, eu à gérer un millier d’IP particulièrement sauvages, qu’il a heureusement été relativement facile d’identifier, au moyen des nouveaux outils d’analyse des logs, que nous avons enfin pu mettre en place, du fait de la nouvelle machine.

Tout ce que nous avons fait ces dernières semaines nous permet de relancer des projets d’évolution, qui avaient été à tort laissés de côté. Travailler sur un environnement obsolète, ça ne motive pas forcément pour réaliser des évolutions, et quand je constate que nous avons entamé l’installation de ce nouvel environnement il y a déjà 2 ans, je me dis que mieux vaut tard que jamais... mais on pourrait sans doute être un petit peu plus efficace ! :-))

Entre autres travaux de fond, que nous avons pu commencer, merci @b_b pour ta disponibilité et ton accompagnement, nous tâchons d’optimiser et d’isoler certains traitements présents dans le code de SeenThis et de SPIP qui normalement ne posent pas de difficultés, mais qui lorsque les bots agressifs deviennent la normalité sont de vraies failles de sécurité pour la stabilité de l’environnement. Je pense par exemple à la façon dont SeenThis calcule les blocages de comptes. Quand il est nécessaire de calculer la page d’accueil d’une page /people/, les requêtes effectuées sur la base de données sont peu performantes, en particulier quand le people en question bloque beaucoup de monde. Ces requêtes sont probablement améliorables. Et toute amélioration assure que la prochaine attaque fera moins de dégâts, et ce sans nécessité de rajouter des ressources (processeur, mémoire...).

Ci-dessous, le nombre de processus simultané qui servent des pages pour SeenThis. En général, on sert moins de 20 pages en même temps. Quand la barre est toute rouge, cela signifie qu’on a 100 processus qui tournent en même temps. Et ce sont ces moments où on se retrouve bloqué, à ne rien pouvoir lire ni publier, avec des erreurs 502, des gateway time-out, etc.

Le botnet était passé, visiblement, déjà une fois dans la nuit. Puis à nouveau dans l’après-midi. On constate qu’une fois le blocage en place, le serveur est revenu dans le vert, sans dépasser les 40 processus actifs. Pourvu que ça dure !

https://pixelfed.zoo-logique.org/storage/m/_v2/493151427756716033/a1431798c-70628a/Clg0Ne7XIXht/q8JZ4RWnBvlQct3CdQrWtixNebMK84MVOAUTh1Pn.png

Je ne mesure pas la tache du problème mais je plussoie à vos efforts et à votre perspicacité pour faire tourner la boutique ainsi que la maintenance de ce formidable rézo. J’y passe bcp de temps, trop peut-être mais bon je ne vais quand même pas aller travailler. V’là le printemps qui pointe, je préfère laisser mon temps de cerveau aux petits oiseaux ou sur seenthis. @biggrizzly @arno @b_b

des nouveaux outils d’analyse des logs

@biggrizzly, quels sont ces nouveaux outils, j’ai des problèmes similaires.

Les gens qui vous occupez du « bouzin », vous menez un combat d’arrière-garde et vous faites partie de l’obsolescence programmée par les instances IA/LLM et c’est pour ça qu’on vous aime :-)) Maintenant, quand ça rame, je me dis qu’il faut savoir patienter et revenir plus tard car je sais que vous êtes au charbon pour décoincer tout ça. Force à vous et grand merci pour votre investissement personnel ! 🖤🖤🖤

▻https://www.youtube.com/watch?v=lOf-0Mur7t4

@george : nous utilisons des outils à la fois artisanaux, et industriels.

Industriels : nous transférons les journaux du serveur web dans un entrepôt de donnée de type ElasticSearch (ELS). Ce transfert n’est pas naturel, il faut disposer d’un format de log plus ou moins normalisé, et créer un index dans ELS pour recevoir ces données, puis générer des visualisations et des tableaux de bord, pour analyser ces données.

Artisanaux : L’analyse dans ELS est réalisée à la main. Pas d’automatisme actuellement. Il faudrait ajouter de l’intelligence à tout cela, des automatismes, pour détecter les comportements manifestement malveillants, et les bloquer dans le pare-feu sans intervention humaine. Mais là, il faudrait faire le travail que fait CloudFlare par exemple.

Et puis il y a le fait que ce n’est pas logique de décider de bloquer le monde entier, parce que le monde entier est utilisé comme un botnet.

Si tu as des soucis sur un petit site, je conseille d’installer Anubis. C’est une solution à moindre coût et qui rend le service attendu dans la plupart des cas.

▻https://github.com/TecharoHQ/anubis

Peut-être qu’ici aussi on y arrivera... :-/

J’ai installé Anubis sur un serveur avec un site moyennement fréquente mais a part le ralentissement j’ai l’impression que les bots réussissent à le traverser.

J’ai du m’y reprendre à 3 fois, du fait que LibreOffice, pour manipuler 10000 lignes, c’est décidément beaucoup moins performant que de le faire avec Excel. C’est même carrément source d’erreurs de calculs. Pénible et décevant.

Bref, j’avais 10000 adresses IP candidates. Il fallait tout de même que je retire les adresses susceptibles d’être de vrais utilisateurs. Par exemple cette adresse IP Orange, avec 3 ou 4 user-agent différents, et 10 ou 20 pages consultées seulement... par exemple.

J’ai bloqué, finalement, seulement 8700 adresses IP de plus. De longues séries de blocs d’IP avec quelques requêtes, et un nombre équivalents de user-agent distincts. Il se peut qu’on soit tranquille pour quelques jours avec ce dernier filtrage. On verra.

Comme je le disais hier soir : « jusqu’à la prochaine fois ». 

A priori, on a gagné, donc, un répit de quelques jours/semaines. Les processeurs vont moins travailler, et on va moins avoir envie de réécrire certaines fonctionnalités.

https://pixelfed.zoo-logique.org/storage/m/_v2/493151427756716033/a1431798c-70628a/bkMVWkKJf5Qi/5PakOSH1bRDEPlCW0uoW5ZQgU9bSRO06FGVLDGym.png

La formule « nombre de user-agent distincts » vs « nombre de requêtes » vs « nombre d’ip sur la même classe B » semble fonctionner.

Je viens de collecter à nouveau des IP sur la base de ces critères sur les dernières 24 heures. 8200 adresses IP bloquées.

– critère 1 : « nombre de requêtes » / « nombre de user-agent distincts » < 5
– critère 2 : « nombre d’ip sur la même classe B » > 5

Notre second ipset contient désormais 61K adresses IP distinctes.

Pour rappel, le premier ipset a été construit l’an dernier, il contient 1,5M d’adresses IP distinctes, et les IP ont été découvertes du fait qu’elles réclamaient des URLs invalides.

Le serveur vit bien mieux sans ces 61K adresses, vous l’aurez constaté, du fait qu’il n’y a pour ainsi dire quasiment plus de lenteurs. Nous allons probablement pouvoir rouvrir la porte aux vrais bots.

Pool FPM sur les 5 derniers jours :

https://pixelfed.zoo-logique.org/storage/m/_v2/493151427756716033/a1431798c-70628a/XpF3cXnpwkc2/tDuodtugL0rt7euwfDGqce4l28YZu6xlxVzf9EXK.png

#Merci @seenthis je ne sort pas de mon lit avant midi.

Manière, c’était une journée off : très bon timing, @seenthis !

Et tout ça avec un nouveau SPIP sous le capot ?

Bonjour, il semble que la fonctionnalité pour récupérer son mot de passe ("mot de passe oublié ?") ne fonctionne pas...
– est-il possible de la réactiver/réparer svp ?

Bonjour, il semble que la fonctionnalité pour récupérer son mot de passe ("mot de passe oublié ?") ne fonctionne pas...
– est-il possible de la réactiver/réparer svp ?

Ping @biggrizzly @b_b (je maîtrise pas du tout cet aspect)

Ça ressemble beaucoup à ce bug ▻https://git.spip.net/seenthis/squelettes/-/work_items/241 que personne n’a encore eu le temps de traiter.

Je viens d’y jeter un œil et j’ai complété le ticket ▻https://git.spip.net/seenthis/squelettes/-/work_items/241#note_221783

@marsattac13 as-tu accès aux logs serveurs ? Ça serait intéressant/utile d’avoir la liste des urls consultées par seenthis sur ton site afin de déterminer si les hits ne concernent que les urls dans tes nouveaux posts, où si ça concerne aussi les anciens.

@marsattac13 je lance la suppression de ton compte tout de suite.

@b_b vu, un grand merci !
Je n’ai plus qu’à supprimer les stats et à espérer repartir d’un bon pied ;)
Nicolas

Il y a volontairement une optimisation/compression du HTML qui vire les commentaires (vu que ça sert à rien en prod pour l’affichage). On peut le désactiver à priori mais du coup ça sera un peu moins optimisé… Après si on sert ça en http2 + gzippé, je sais pas si ça fait une grosse différence…

Je comprends aussi la suppression des commentaires comme une suppression d’informations qui n’ont potentiellement aucun intérêt à être rendues publiques. Ce qui fait que je ne suis pas chaud pour une désactivation totale de la fonctionnalité. Mais si c’est la seule solution pour faire mon test, pourquoi pas.

Il y a volontairement une optimisation/compression du HTML qui vire les commentaires

Non, il n’y a plus de compression du HTML dans SPIP depuis belle lurette cf ▻https://git.spip.net/spip/compresseur/-/issues/3076

Par contre il y a bien retrait des commentaires dans les CSS & JS quand leur compression est active (ce qui est le cas sur les sites en prod comme seenthis).

@biggrizzly tu veux l’insérer à quel endroit dans la page ton commentaire ? Dans le head ou dans le body ?

Et #seenthis utilise encore un truc « maison » un peu désuet pour ça cf ▻https://git.spip.net/seenthis/squelettes/-/blob/master/seenthissq_fonctions.php?ref_type=heads#L166 <= amha on pourrait s’en passer

Chez moi, ton commentaire posé dans ▻https://git.spip.net/seenthis/squelettes/-/blob/master/inc/entete.html?ref_type=heads#L3 est bien présent dans le source des pages.

+1 Moi aussi. On vit dans un monde où maj+entrée ajoute une ligne, (quand entrée fait soit pareil, soit un ajout de paragraphe, soit est réservé à valider le message). Changer de paradigme entre logiciels, app ou sites est dérangeant.
Les raccourcis SPIP sont à contre courant, et minoritaires. @seenthis

Quelques lignes à supprimer ici ▻https://git.spip.net/seenthis/squelettes/-/blob/master/javascript/seenthis/seenthis.js?ref_type=heads#L278 et zou :)