What do you believe now that you didn’t five years ago? Centralized...
▻https://diasp.eu/p/7808026
What do you believe now that you didn’t five years ago? Centralized wins. Decentralized loses. - High Scalability -
#tech ▻http://highscalability.com/blog/2018/8/22/what-do-you-believe-now-that-you-didnt-five-years-ago-centra.html
How do you program a computer with 10 terabytes of RAM?
▻http://highscalability.com/blog/2015/8/5/how-do-you-program-a-computer-with-10-terabytes-of-ram.html
#AWS et l’avenir du #cloud_computing - HighScalability
▻http://alireailleurs.tumblr.com/post/108244003999
Dans un article assez technique, Todd Hoff pour HighScalability revient sur la présentation de James Hamilton à AWS re:invent 2014, l’événement autour de AWS (Amazon web service, le service d’informatique en nuage d’Amazon dont James Hamilton est l’un des responsables). AWS est fort d’un million d’utilisateurs actifs. Les 14 autres grands fournisseurs d’infrastructures de cloud computing ne représentent qu’1/5e de la capacité d’AWS dont la force est d’investir dans la fiabilité de sa structure par le développement d’une multitude de métriques et en contrôlant l’équipement de A à Z. Alors que tout les prix de l’équipement baisse, celui de la mise en réseau devient toujours plus coûteux, comme une loi anti-Moore, et ce alors qu’Amazon construit ses propres équipements de réseau afin de réduire les coûts. (...)
The Stunning Scale of AWS and What it Means for the Future of the Cloud - High Scalability
▻http://highscalability.com/blog/2015/1/12/the-stunning-scale-of-aws-and-what-it-means-for-the-future-o.html
Whatsapp intègre maintenant un chiffrement de bout en bout grâce au protocole de TextSecure
▻http://korben.info/whatsapp-integre-maintenant-chiffrement-bout-en-bout-grace-au-protocole-tex
Cette annonce donne le vertige et va dans le bon sens concernant la protection de notre vie privée. Vous connaissez tous WhatsApp, ce logiciel de messagerie instantanée utilisé par plus de 600 millions de personnes et accessoirement propriété de Facebook ?
Et bien ils viennent de frapper un grand coup en adoptant le protocole de TextSecure. Pour ceux qui ne connaitraient pas encore ce protocole sous licence libre GPLv3, sachez qu’il est développé par Whisper Systems et qu’il permet un chiffrement de bout en bout des messages.
[…]
Et bam, plusieurs milliards de messages indéchiffrables d’un coup… DTC la NSA (ou pas…).
Annonce déconcertante… mais plutôt bonne je suppose.
Bon, on peut quand même faire la fine bouche et relever que :
– l’application n’est pas open source, donc impossible de lui faire confiance (= n’utilisez pas Whatsapp pour des activités subversives !) ;
– bien que Whatsapp repose sur… la technologie open source Jabber/XMPP augmentée d’un certain nombre de fonctionnalités pratiques mais diminuée d’un certain nombre d’autres pour des raisons exclusivement marketing (je rentre pas dans les détails…), les modifications ne sont pas publiées et surtout la compatibilité avec les autres clients Jabber/XMPP est rompue, sans même parler des clients alternatifs apparus par rétro engineering qui sont sauvagement attaqués par Facebook (cf. le sort subi à OpenWhatsapp et les plaintes DMCA) et probablement pas pour rien quand on voit les autorisations réclamées par l’application officielle ;
– faut-il y voir une consécration de la supériorité des méta-données sur les contenus aussi en terme d’exploitation commerciale (l’utilisation ne peut se faire sans fournir un numéro de mobile) ? C’est à dire que Whatsapp/Facebook, en plus de collecter des numéros de téléphone par million, peut créer un graph social qui reste très complet et potentiellement attentatoire aux libertés individuelles quand couplé à la géolocalisation par exemple ;
– ou bien est-ce simplement la consécration comme certains l’annoncent depuis en gros les révélations Snowden de la privacy comme nouvelle killer feature (avec toute l’instrumentalisation qui va avec) ? Contraignant ainsi Whatsapp à garder un coup d’avance devant les alternatives émergentes comme Bleep de BitTorrent, mon cher et très prometteur Tox et bien d’autres ;
– enfin, sachant que Whatsapp s’est construit uniquement en entretenant un malentendu (“des SMS gratuits partout dans le monde”) et que c’est là son unique savoir faire (pour rappel il n’y a aucune innovation technologique notable) on peut malheureusement s’attendre à ce que ce type d’annonce repousse à loin l’adoption de messageries plus performantes, plus sécurisée et y compris en terme de métadonnées, et autonomes (décentralisée).
#Chiffrement #Facebook #Liberté_individuelle #Messagerie_instantanée #Métadonnée #Révélations_d'Edward_Snowden #TextSecure #Vie_privée #WhatsApp #Whisper_Systems
la technologie open source Jabber/XMPP augmentée d’un certain nombre de fonctionnalités pratiques mais diminuée d’un certain nombre d’autres pour des raisons exclusivement marketing (je rentre pas dans les détails…),
Les détails m’intéressent en fait (au pire si t’as un lien) :)
Qu’est-ce que leur chiffrement apporte par rapport à un OTR ?
Le fait que ça ne soit pas libre pose un gros problème en effet, et aussi qu’ils récupèrent les numéros de tout le monde.
Il faut aussi se poser la question de leur modèle économique...
Je connais pas précisément la technologie de TextSecure/Whisper Systems, mais en effet, je lis qu’il sont partis de OTR et ajoutant quelques fonctions :
▻http://en.wikipedia.org/wiki/TextSecure
En fait, toute l’idée de Whatsapp (qui n’est rien d’autre qu’un chat XMPP) c’est de simplifier à l’extrême l’expérience utilisateur en commençant par supprimer (du point de vue de l’utilisateur) toute la partie authentification. Donc pas de login et pas de mot de passe. C’est le téléphone lui-même qui sert à s’identifier et s’authentifier. Je n’ai pas de compte Whatsapp, mais je suppose qu’à l’inscription il suffit de donner son numéro de téléphone. On reçoit alors un (vrai) SMS avec un PIN code, on l’entre dans l’app et on garanti donc être propriétaire de ce numéro. Là un mot de passe aléatoire est généré et stocké sur le mobile, mais inconnu de l’utilisateur. S’il change de mobile, il recommence l’opération qui vise à obtenir un nouveau mot de passe. Mais impossible d’avoir (sauf en bidouillant) un même compte Whatsapp sur des terminaux différents (une fonctionnalité pourtant offerte par XMPP) et encore moins sur un ordinateur. Et s’il change de numéro, il doit prévenir ses contacts ! Mais il suffit appeler ça du « SMS gratuit »...
De leur côté, Whatsapp fabrique donc une base de donnée de ses utilisateurs avec un identifiant unique et universel : leur numéro de mobile. Ils aspirent le carnet d’adresse de l’utilisateur et sont en mesure de lui dire avec qui il peut utiliser Whatsapp. Et si son correspondant n’a plus Whatsapp parce qu’il a déterré son Nokia 3310, et bien le message n’arrive jamais... Même problème qu’avec iMessage je suppose : ▻http://www.nextinpact.com/news/90848-apple-fournit-enfin-moyen-se-desinscrire-directement-dimessage.htm
Parmi les fonctionnalités ajoutées ou en tous cas revues, il y a les pièces jointes simplifiées, les notification PUSH ou les accusés d’envoi, de réception et de lecture. Et donc aussi maintenant le chiffrement de bout en bout, mais probablement d’autres aussi.
Tout ça c’est pas idiot et le coup du « SMS gratuit » prouve qu’ils ont vu juste.
D’ailleurs c’est incroyable, 100% des gens qui utilisent Whatsapp le voit en effet comme du SMS gratuit. Je leur dit comme le sont souvent les SMS aujourd’hui. Ils répondent « mais là c’est dans le monde entier ». « Et les emails, le chat facebook, Skype... c’est gratuit et c’est dans le monde entier. » "Euh oui, mais non, là c’est du SMS tu comprends". « Oui oui, je comprends, du SMS où t’as besoin d’être connecté à Internet... »
Franchement ça me dépasse. Mais c’est très intéressant de voir à quel point ce qui compte vraiment c’est la simplicité d’installation, d’usage et de fonctionnalités, associés à un bon marketing. C’est un bon enseignement pour les autres applications.
Enfin, pour bien comprendre comment fonctionne Whatsapp, il faut aller voir du côté d’OpenWhatsapp justement :
▻http://openwhatsapp.org
▻https://github.com/tgalal/yowsup ("whatsapp" sur github donne pas mal de résultats)
On apprend aussi ici qu’ils ont forké ejabberd :
►https://chatsecure.org/blog/fixing-the-xmpp-push-problem
Et pas mal de détails par ici aussi :
▻http://highscalability.com/blog/2014/2/26/the-whatsapp-architecture-facebook-bought-for-19-billion.html
oki, merci pour ces précisions intéressantes.
Le « push » est de base dans XMPP, je ne comprends pas pourquoi tu dis que c’est quelque chose en plus. À moins que ça soit sur tél : je ne me suis pas encore attaqué au développement android, mais je crois que c’est difficile de réveiller le téléphone sans passer par google.
Accusé de réception existe aussi déjà (de lecture faut que je vérifie), et chiffrement de bout en bout y’a plusieurs options plus ou moins bancales (ça parle de standardiser l’usage d’OTR dans XMPP en moment, ce qui serait une très bonne chose, car tous les clients font plus ou mois à leur sauce).
Edit : à la lecture du lien chatsecure (que j’avais déjà lu), c’est bien du problème lié aux téléphones dont on parle.
@sandburg et entre temps ça s’est beaucoup développé côté XMPP, notamment avec OX (OpenPGP moderne), et OMEMO (basé sur le protocole de signal), des notifications utilisable avec téléphone, la gestion des fichiers attachés qui a bien évolué, etc.
@sandburg le problème d’OTR (enfin qui peut aussi être un effet de bord recherché), c’est qu’il ne gère pas les appareils multiples, ni les communications hors ligne.
What Happens While Your Brain Sleeps is Surprisingly Like How Computers Stay Sane
▻http://highscalability.com/blog/2013/12/23/what-happens-while-your-brain-sleeps-is-surprisingly-like-ho.html
There’s a deep similarity between how long running systems like our brains and computers accumulate errors and repair themselves. Reboot it. Isn’t that the common treatment for most computer ailments? And you may have noticed now that your iPhone supports background processing it reboots a lot more often? Your DVR, phone, computer, router, car, and an untold number of long running computer systems all suffer from a nasty problem: over time they accumulate flaws and die or go crazy. Now think about your brain. It’s a long running program running on very complex and error prone hardware. How does your brain keep itself sane over time? The answer may be found in something we spend a third of our lives doing. Sleep. There’s new research out on how our brains are cleansed during sleep that has (...)
NYTimes Architecture: No Head, No Master, No Single Point of Failure
▻http://highscalability.com/blog/2014/1/13/nytimes-architecture-no-head-no-master-no-single-point-of-fa.html
Michael Laing, a Systems Architect at NYTimes, gave this great decription of their use of RabbitMQ and their overall architecture on the RabbitMQ mailing list. The closing sentiment marks this as definitely an architecture to learn from:
Although it may seem complex, Fabrik has simple components and is mostly principles and plumbing. The key point to grasp is that there is no head, no master, no single point of failure. As I write this I can see components failing (not RabbitMQ), and we are fixing them so they are more reliable. But the system doesn’t fail, users can connect, and messages are delivered, regardless - all within design parameters.
Since it’s short, to the point, and I couldn’t say it better, I’ll just reproduce several original sources (...)
Sean Hull’s 20 Biggest Bottlenecks that Reduce and Slow Down Scalability
▻http://highscalability.com/blog/2013/8/28/sean-hulls-20-biggest-bottlenecks-that-reduce-and-slow-down.html
This article is a lightly edited version of 20 Obstacles to Scalability by Sean Hull (with permission) from the always excellent and thought provoking ACM Queue.
1. TWO-PHASE COMMIT
Normally when data is changed in a database, it is written both to memory and to disk …
Source: High Scalability - High Scalability
@seenthis : ça fait 2 ou 3 jours (ou + ?) que cet article ressort. C’est normal ?
@seenthis @speciale @biggrizzly
Désolé pour le dérangement, il semble en effet que mon script de republication de ma veille soit parti en sucette :(
Je verrai si j’ai le temps pour tenter corriger
En attendant, je viens de l’arrêter.
Je vais effacer les posts qui ont été posté en doublon.
Encore une fois, désolé.
Aucun souci. C’est pas comme si tu publiais des annonces matrimoniales... :-D
100 Curse Free Lessons from Gordon Ramsay on Building Great Software
▻http://highscalability.com/blog/2013/8/12/100-curse-free-lessons-from-gordon-ramsay-on-building-great.html
Gordon Ramsay is a world renowned chef with a surprising amount to say on software development. Well, he says it about cooking and running a restaurant, but it applies to software development too.
You may have seen Gordon Ramsay on one of his many TV shows. Hell’s …
Source: High Scalability - High Scalability
Intéressant article sur l’implémentation de #Twitter ou « comment faire circuler autant de gazouillis si vite » (un problème très difficile). J’attends le même article à propos de SeenThis :-)
« These high fanout users are the biggest challenge for Twitter. Replies are being seen all the time before the original tweets for celebrities. They introduce race conditions throughout the site. If it takes minutes for a tweet from Lady Gaga to fanout then people are seeing her tweets at different points in time. Someone who followed Lady Gaga recently could see her tweets potentially 5 minutes before someone who followed her far in the past. »
►http://highscalability.com/blog/2013/7/8/the-architecture-twitter-uses-to-deal-with-150m-active-users.html
Busting 4 Modern Hardware Myths - Are Memory, HDDs, and SSDs Really Random Access?
▻http://highscalability.com/blog/2013/6/13/busting-4-modern-hardware-myths-are-memory-hdds-and-ssds-rea.html
“It’s all a numbers game – the dirty little secret of scalable systems”
Martin Thompson is a High Performance Computing Specialist with a real mission to teach programmers how to understand the innards of modern computing systems …
Source: High Scalability - High Scalability
The Architecture Twitter Uses to Deal with 150M Active Users, 300K QPS, a 22 MB/S Firehose, and Send Tweets in Under 5 Seconds
►http://highscalability.com/blog/2013/7/8/the-architecture-twitter-uses-to-deal-with-150m-active-users.html
Toy solutions solving Twitter’s “problems” are a favorite scalability trope. Everybody has this idea that Twitter is easy. With a little architectural hand waving we have a scalable Twitter, just that simple. Well, it’s …
Source: High Scalability - High Scalability
Scaling to 10 million concurrent connections: the #kernel is the problem, not the solution. Impressive breakdown of bottlenecks. Very unorthodox approach, trading flexibility for low latency : ▻http://highscalability.com/blog/2013/5/13/the-secret-to-10-million-concurrent-connections-the-kernel-i.html - but doesn’t #Netmap address the packet I/O efficiency problem just as well ? ▻http://info.iet.unipi.it/~luigi/netmap #Linux #scalability
DuckDuckGo Architecture - 1 Million Deep Searches a Day and Growing
▻http://highscalability.com/blog/2013/1/28/duckduckgo-architecture-1-million-deep-searches-a-day-and-gr.html
This is an interview with Gabriel Weinberg, founder of Duck Duck Go and general all around startup guru, on what DDG’s architecture looks like in 2012.
Innovative search engine upstart DuckDuckGo had 30 million searches in February 2012 and averages over 1 million searches a day. It’s …
Source: High Scalability - High Scalability - Todd Hoff
Why Pinterest Uses the Cloud Instead of Going Solo - To Be Or Not To Be
►http://highscalability.com/blog/2013/1/2/why-pinterest-uses-the-cloud-instead-of-going-solo-to-be-or.html
I love it when a somewhat older article like Pinterest Cut Costs From $54 To $20 Per Hour By Automatically Shutting Down Systems hits Hacker News and generates a good conversation. One of the common sentiments about the cloud was raised: why doesn’t Pinterest save a lot of money by running their own hardware instead of using the cloud?
Ryan Park, Operations Engineer at Pinterest, responds in what I think is the perfect modern response to that ultimate existential design dilemma:
Source: High Scalability - High Scalability - Todd Hoff
#Tumblr Architecture - 15 Billion Page Views a Month and Harder to Scale than #Twitter
►http://highscalability.com/blog/2012/2/13/tumblr-architecture-15-billion-page-views-a-month-and-harder.html
Growing at over 30% a month has not been without challenges. Some reliability problems among them. It helps to realize that Tumblr operates at surprisingly huge scales: 500 million page views a day, a peak rate of ~40k requests per second, ~3TB of new data to store a day, all running on 1000+ servers.
voilà ce qui attend #seenthis si ça continue à ce rythme…
#mysql #web
Tiens justement, après un an d’existence, est-ce que ce ne serait pas le moment idéal pour un petit bilan statistique ?
@fil J’avais pas vu passer, désolé, mais comme quoi ce que dit @arno est vérifié, ça finit par remonter, quand c’est intéressant, même si on la laissé filer quelques jours.
Pour ce qui est de ta nouvelle tête, t’es bien certain que tu ne disposais pas d’une photographie plus pourrie de toi. Attends un peu qu’on se voit, que je vais te me tirer ton portrait.
cette photographie pourrie est une œuvre de @baroug — mais je ne lui répéterai pas tes sarcasmes… pour me refaire une beauté je suis passé à #space_invader
Facebook’s New Realtime Analytics System : HBase to Process 20 Billion Events Per Day
►http://highscalability.com/blog/2011/3/22/facebooks-new-realtime-analytics-system-hbase-to-process-20.html
J’ai pas essayé de comprendre le truc de perfs, mais la métaphore de Rome est pas mal :
#Facebook's Social Plugins are Roman Empire Management 101. You don’t have to conquer everyone to build an #empire. You just have control everyone with the threat they could be conquered while making them realize, oh by the way, there’s lots of money to be made being friendly with Rome. This strategy worked for quite a while as I recall.
#Mollom est un anti-spam de forums web à la #akismet
►http://mollom.com/api/mollom-basics
on pourrait l’intégrer dans #spip
des détails techniques sur leur architecture sont donnés là
►http://highscalability.com/blog/2011/2/8/mollom-architecture-killing-over-373-million-spams-at-100-re.html
et l’#API + plugins divers sont téléchargeables ici
►http://mollom.com/download
High Scalability - High Scalability - Troubles with Sharding - What can we learn from the Foursquare Incident?
►http://highscalability.com/blog/2010/10/15/troubles-with-sharding-what-can-we-learn-from-the-foursquare.html
#web #scalability #data
High Scalability - High Scalability - Digg: 4000% Performance Increase by Sorting in PHP Rather than MySQL
►http://highscalability.com/blog/2010/3/23/digg-4000-performance-increase-by-sorting-in-php-rather-than.html
#Digg #MySQL #PHP #tri #mémoire #performance #optimisation #Cassandra #clevermarks