Coucou @arno @fil est-ce qu’on pourrait avoir des #seenthis_stats récentes pour évaluer les besoins en terme d’hébergement (taille bdd, requêtes, bande passante etc...) Merci, merci !
@biggrizzly
#seenthis_stats #seenthis_hebergement
Coucou @arno @fil est-ce qu’on pourrait avoir des #seenthis_stats récentes pour évaluer les besoins en terme d’hébergement (taille bdd, requêtes, bande passante etc...) Merci, merci !
@biggrizzly
#seenthis_stats #seenthis_hebergement
Pour les chiffres ça va forcément être un peu flou, mais voici de quoi avoir une idée de l’ordre de grandeur actuel.
– la base MySQL occupe 11 Go (surtout à cause de la table spip_syndic, qui contient les contenus téléchargés à partir des liens) ; le dump sql quotidien, gzipé, occupe 1.4Go (chaque jour).
– les fichiers du site (notamment une copie de toutes les images, dans plusieurs tailles) : 34 Go.
– La base sphinx 1.2 Go. <= ça correspond peu ou prou à la taille « textuelle » des données.
En terme d’espace disque total il faut doubler, car il y a des exports (dump sql et txt), des backups…
Pour les hits et requetes quotidiennes je ne sais pas exactement, car c’est noyé dans un ensemble de plusieurs sites ; par ailleurs je n’ai pas de stats varnish, seulement des stats apache.
Au total, le serveur apache (caché derrière varnish, je le rappelle), répond à 8 hits/s en moyenne, et nécessite sur ce serveur 15 processus actifs en permanence (et en moyenne… car il y a des pics à 80).
Memcached (qui opère sur 1G de RAM) reçoit 80 demandes/s.
(A noter aussi que le serveur est configuré de manière assez drastique pour jeter les bots d’indexation dès que le load augmente.)
La bande passante mangée par le serveur est quelque part entre 2 et 10Mb/s au 95e percentile, sachant qu’une grande part probablement est due au serveur de mailing-listes, et pas à seenthis.
Ces chiffres sont aussi permis par le fait qu’on est sur une machine à 16Go de RAM, 8 processeurs (pas très rapides), et des disques SSD uniquement. Si le serveur était plus lent en CPU ou I/O, je pense qu’on aurait des résultats un peu moins sympa.
Il y a certainement plein de choses que l’on pourrait optimiser ou déporter sur des serveurs secondaires (et CDN), mais pour une évaluation à minima je pense qu’il est bon de multiplier tout ça d’entrée de jeu par 5 ou 10. Surtout si on espère que ça se développe un peu en termes d’utilisateurices et de fonctionnalités.
(j’ai envoyé ces infos sur la mailing-list, pas reçu ?)
Si, si :P mais comme il a été réclamé qu’on en discute ici. Alors, je m’execute.
À propos de l’hébergement de seenthis.net
Après la panne (définitive) de la dedibox d’@arno où #seenthis était installé au départ, le site a migré sur le serveur de @rezo.
Il y tourne depuis un moment sans problème de charge ni d’espace disque, et peut continuer à tourner ainsi un certain temps. Nous ne sommes donc pas contraints par l’urgence.
Mais à moyen terme cette situation n’est pas désirable, ni pour moi (qui ne souhaite pas héberger les contenus d’un site ouvert au public), ni pour le projet (qui ne devrait pas reposer sur une seule personne).
Je souhaite donc (en accord avec @arno) que se mette en place un groupe qui prenne en charge cet hébergement à tous points de vue (disons : démocratique, financier, technique et administratif). Nous participerions à ce groupe.
Description technique
Basé sur #SPIP, seenthis.net nécessite à l’heure actuelle un dispositif #LAMP ; son moteur de recherche utilise #Sphinx ; on emploie #Varnish en front pour alléger le trafic sur Apache, et #memcached pour le cache interne.
Des backups quotidiens hors-site sont automatisés (et vérifiés de façon régulière). Les notifications sont envoyées via postfix (et parfois via #mandrill quand ça coince au niveau réception).
Les utilisateurs remontent régulièrement :
-- le besoin d’ajouter https sur le serveur (avec un certificat #letsencrypt)
-- le fait que les mails de notification tombent souvent en spam
Évolutivité
On aimerait aussi que le serveur ne bloque pas les pistes de développement qu’on peut déjà avoir en tête :
-- d’envoyer des mails à quelqu’un (pour des messages privés)
-- de récupérer/synchroniser ses messages via github/rsync/
-- d’avoir plusieurs instances communiquant en réseau (à la mode diaspora*) / révision de l’API / branchement sur d’autres réseaux / SàT.
-- etc.
Vous pensez à quoi pour l’hébergement ?
Pour le financement, faut tabler sur un budget annuel de combien ?
Pour l’hébergement je pense qu’on a deux pistes :
– demander aux hébergeurs assos qu’on connaît, j’en connais un sur Brest qui fêtait ses 20 ans ya pas longtemps, ça serait un beau cadeau pour eux ^^ (mais je suis certain que les #habitué⋅e⋅s_de_seenthis en connaissent d’autres)
– faire une cotizzz pour choper un ty vps avec un ssd pas cher (de 3 à 12 euros HT par mois suivant l’espace nécessaire)
Ensuite, on donne les clés de la machine aux personnes motivées pour aider, et zou ?
ça me semble sympathique cette idée de groupe... On attaque comment : une liste de diffusion (du style seenthis@rezo.net) ou...?
Moi je serai ravi de faire parti du groupe et de soutenir financièrement à hauteur de ce qui est nécessaire. C’est malheureusement le seul truc efficace que je peux faire compte tenu du fait que je suis absolument analphabète du point de vue code, technique et machine. Mais je pense que seenthis est un outil merveilleux, précieux, utile, avec un superbe potentiel pour y développer des idées, des projets. C’est aussi un laboratoire expérimental autant pour la forme que pour le fond, c’est un transmetteur de connaissance, de savoirs, un vrai lieu de partage, un des rares endroits sur la toile collaborative qui est presque « troll-free ». j’oublie des qualités... Mais je veux dire que je souhaite vivement soutenir avec ce que je pourrai faire.
C’est un peu la même chose de mon côté, administrer mon serveur ça va, mais Seenthis c’est autre chose. Par contre faire partie du groupe pour contribuer, apporter un soutien financier, écrire de la doc, ou autre chose, avec plaisir et impatience !
+1 pour la mailing-list
+1 pour la cotizz (@b_b tu penses à un truc du genre cloud hosting à la digital ocean ? Si c’est ça, je peux aider, si c’est un serveur dédié où tout faire à la mano, ouf, je serais dépassée).
On a monté l’association « AMIS » à quelques joueurs invétérés il y a quelques années. On cotise tous pour une machine... famélique... mais... l’idée est celle-là. Je gère la machine, un LAMP sur un KS OVH.
J’ai aussi une association qui ne vit pas plus que cela (je n’ai jamais pris la peine de lui créer un compte en banque...). Elle était supposée prendre en charge le serveur de Zoo-logique.org, le serveur de news... mais finalement, le serveur nécessaire à ce truc plus les sauvegardes, tout cela passe d’une façon transparente sur l’infra. financée par mes propres moyens...
Et donc, pour Seenthis, soit on alimente un compte Paypal sans se poser de questions sur « à qui appartient ce compte ? »... soit on monte une vraie association, avec toutes les lourdeurs que ça représente, et l’obligation donc, d’avoir un président, un trésorier, un secrétaire, une AG annuelle...
Pour la technique, je suggère une VM cloud chez OVH. Elles sont bien assez puissantes et permettent de monter en gamme à moindre coût.
Et pour l’installer, je peux aider/faire si nécessaire. La gérer, je peux aider/faire si nécessaire.
Moi je serais ravi de faire parti du groupe et de soutenir financièrement à hauteur de ce qui est nécessaire. C’est malheureusement le seul truc efficace que je peux faire compte tenu du fait que je suis absolument analphabète du point de vue code, technique et machine. Mais je pense que seenthis est un outil merveilleux, précieux, utile, avec un superbe potentiel pour y développer des idées, des projets. C’est aussi un laboratoire expérimental autant pour la forme que pour le fond, c’est un transmetteur de connaissance, de savoirs, un vrai lieu de partage, un des rares endroits sur la toile collaborative qui est presque « troll-free ». j’oublie des qualités... Mais je veux dire que je souhaite vivement soutenir avec ce que je pourrais faire. (Putain c’est hyper pratique le copié-collé)
1. Comment pourrais-je ne pas soutenir ce projet de pérennisation de ST ?
2. Comment pourrais-je soutenir ce projet de pérennisation de ST ?
;-)
Un bouton de dons pour les sous et une mailing list ou un git pour le développement ?
Tout est déjà sous Git et sur SVN de spip-zone + il y a déjà une mailing-list (qui date du début). :)
Ce qu’il manque c’est donc surtout analyser et choisir un nouvel hébergement + définir les modalités (sur la mailing list par ex) de comment sera géré l’argent, les choses à payer, etc.
De toutes les questions, celle de l’argent est certainement la plus facile à régler : il suffirait d’une poignée de donateurices/cotisantes pour payer les factures, si tant est que la solution retenue implique des factures à payer.
Les points plus difficiles sont à mon avis :
– la mobilisation de compétences et le travail technique ; la dynamique sur le github a été jusqu’ici assez molle, et pour ce qui est des développements sur le serveur, vous avez compris ma position.
– le pourquoi et comment du collectif ; ça c’est probablement le plus délicat. Ca touche à la gouvernance démocratique, à la recherche du consensus, à la responsabilité, à la possibilité de la censure, à l’ambition des objectifs qu’on peut avoir, etc.
Cette discussion va peut-être nécessiter du temps, auquel cas, puisqu’il semble qu’il y a déjà une dynamique sur le plan technique, il ne faudrait pas en faire un préalable.
Il faudrait donc pouvoir avancer en parallèle (sans pour autant donner « le pouvoir » à celleux qui auront pris des décisions techniques).
Sur ces bonnes paroles, je prends une semaine de vacances ?
PS : j’avais démonté la mailing-list (qui était devenue obsolète), mais @supergeante vient de la relancer.
Yep. Inscriptions ici : ►http://listes.rezo.net/mailman/listinfo/seenthis
Faudrait un ou deux modérateurs en plus de bibi, au cas où.
@philippe_de_jonckheere peux tu s’il te plait rajouter un « s » à « qualités » dans ton copié collé :) J’ai qu’à l’avenir je vais travailler mon orthographe !
J’ai lancé plusieurs fils (finances, techniques) sur la mailing-list donc gogo. C’est arbitraire, mais c’est pour démarrer.
@supergeante je n’ai (pour l’instant) rien reçu, pourtant je suis bien inscrit depuis 12h52.
Question bête : pourquoi une mailing liste ? pourquoi pas seenthis tout simplement ? avec des #seenthis_finance #seenthis_technique #seenthis_etcetc
Ya les tickets Github aussi, si tout le monde qui veut participer (y compris non-technique) s’y inscrivent.
Je sais qu’il y a des communautés qui l’utilisent comme liste de discussion, avec les notifications emails et la possibilité de répondre aux tickets directement en répondant à l’email dans son lecteur habituel. (Mais ça fait dépendre de Github alors que Seenthis non ; mais c’est plus clair, car on peut classer avec les labels, trier, résoudre, répondre par email ou par web, etc. Et en plus c’est déjà utilisé de toute façon.)
Oui, du même avis que @ben, Seenthis est l’endroit idéal pour parler de... Seenthis non ? Et puis ça aidera aussi chaque utilisateur à se sentir concerné plutôt que de renvoyer ça en arrière boutique.
Pour ce qui est du code, c’est tout de même plus pratique de travailler sur Git (Github en l’occurrence). Mais créer un compte du type @seenthis_code sur lequel on renverrai via RSS les commits / pull requests / issues, ça pourrait être bien aussi.
Comme vous le voulez c’était pour avancer :) la liste est censée fonctionner... @fil ?
Désolée de ne pas pouvoir contribuer financièrement maintenant (c’est à peu près tout ce que je peux faire), ma priorité est d’avoir les moyens de faire réparer le ballon d’eau chaude :) #longue_vie_à_seenthis
Si tu postes tu as un message ? @biggrizzly ? Mich rien nada...
Ps : @fil reçoit les mails :P
Je ne peux pas m’empêcher de trouver un peu d’ironie à vous avoir vus, les unes et les autres, merdouiller en public sur la création d’une liste de discussion, le tout depuis un médium tellement plus puissant, seenthis , qui lui fontionne parfaitement, en grande partie grâce aux soins des uns et des autres ? Désopilant. C’est dit en toute gentillesse très amusée.
comme @philippe_de_jonckheere, @homlett et @ben : pourquoi ne pas continuer sur seenthis ?
Hello, si ces discussions se passent ici, je propose de créer un compte @seenthis_hebergement ou que sais-je et que ce compte soit lié éventuellement à la mailing-liste. On discuterait alors de ces questions avec ce compte, avec les hashtags qui vont bien... L’idée est simplement que l’on puisse gérer notre suivi avec un peu de finesse : s’abonner à ce compte ou non, suivre des hashtags ou non, chercher son historique ou non... Et pouvoir discuter des trucs pas en public, ça peut parfois être facilitant aussi. Du coup je laisserais malgré tout la mailing-liste ouverte de maniere autonome du compte.
Et/ou aussi faire un compte spécial comme @7h36 qui ferait un récapitulatif hebdomadaire des fils créés contenant le tag qu’on aurait choisi pour ces discussions, ou un truc dans le genre ?
Le tout est de se mettre d’accord sur des conventions qui permettent à chacun de s’y retrouver et de faire des automatismes vers la mailing-list.
Donc, maintenant que tout marche, on arrête de discuter ?
– hébergement => vers quoi on irait ? Qui veut mettre la main à la pate ? cf. #seenthis_hebergement
– finances => paypal ? cf. #seenthis_finances
Je cause où vous voulez. Mais promis, y-a des choses que je ne dirai pas ici.
Je copie-colle un bout d’un de mes messages :
Pour l’hébergement...
On a les pré-requis techniques. Parfait. Mais... Quels sont les éléments de volumétries diverses ? Nombre de visites journalières, nombre de hits sur l’application par jour, espace disque nécessaire, taille de la base de données MySQL, nombre de requêtes quotidiennes sur MySQL, Taille des données gérées par Sphynx (que je ne connais pas, mais j’imagine qu’il a un index et qu’il doit peser la taille de la base MySQL ?)
C’est tout de même un point important au moment de choisir une infrastructure technique.
Et puis, quel niveau de personnalisation des logiciels ? Peut-on installer ce site sur une Debian nue, avec une recette de cuisine de moins de quelques dizaines d’opérations successives ?
Et si on prend un hébergement, est-ce que c’est aussi pour préparer les évolutions futures et disposer d’un espace de prod’ et d’un espace de pré-prod ? voire même d’un espace de test ?
On s’amuse à monter le site sur docker ?
etc.
cf. ▻http://seenthis.net/messages/421545 - on attends donc des infos.
Là, j’ai un peu de temps, vu qu’il y a des motivés, est-ce qu’on ouvrirait pas déjà un paypal ou autre pour mettre des sous de côté en vue de payer ce fameux hébergement quand il sera défini ? #seenthis_finances
@Fil Mais, finalement, une structure a été créée ? Un collectif est défini ? Je n’ai pas trouvé ça dans ►https://seenthis.net/messages/505099
@biggrizzly vu que tu as accès à la machine, ça te dirait de nous rejoindre dans la team techs sur le repo github associé au nouvel hébergement ?
coucou ! je fais remonter vu que c’est d’actu ! j’ai cherché une conversation plus récente qui en parle mais pas trouvé ...
Ah ben j’avais pas vu les derniers commentaires... Je me suis inscrit sur Github...
@biggrizzly je ne te retrouve pas, ping moi pour que je t’ajoute à la team :)
ps : je suis ici ►https://github.com/brunob
Et maintenant... #seenthis_finances
Un schéma simple qui pourrait fonctionner ici (.be)
– compte bancaire (en ligne ?) gratuit avec 3 ou 4 mandataires (association de fait « les donations à seenthis »)
– on appelle les membres à verser sur ce compte selon leur volonté
– virement automatisé mensuel vers le compte de l’hébergement, soit du montant nécessaire soit de la totalité (remise à « 0 » mensuelle du compte)
– décompte anonymisé mensuel/trimestriel reporté ici