• How Machine Learning Can Revolutionize Subscription Billing
    https://hackernoon.com/how-machine-learning-can-revolutionize-subscription-billing-178a301238f3

    A subscription business gives the predictability of a stable cash flow, which helps a company grow and make plans for the future. Some organizations base their entire business on subscriptions, for example, cable TV or SaaS providers, while others have this only as one of the product licensing options.Since this is a successful business model, managers are trying to identify new ways to prevent customer churn, decrease the cost of customer acquisition and find the best ways to structure prices and plans. Until now, marketing research was the primary tool to answer these questions, but machine learning (ML) is becoming more effective.How Does Machine Learning Work?Machine learning is all about making a system recognize patterns by using vast amounts of training data. Once the system (...)

    #analytics #subscription-billing #machine-learning #startup #big-data

  • Better to Give and to Receive: Alibaba’s #open-source Contributions to Flink
    https://hackernoon.com/better-to-give-and-to-receive-alibabas-open-source-contributions-to-flin

    Between its #sql and Runtime layers, Alibaba has helped optimize Apache Flink for large-scale production environments like its ownThis article is part of Alibaba’s Flink series.As an open-source framework for big data #computing, Apache Flink has undergone extensive optimization to meet a range of users’ demands for enhancement. For Alibaba Group, where the framework is deployed in a large-scale production environment, the need for these changes has motivated its real-time computing team to contribute many of Flink’s most valuable optimizations, benefiting the Flink community and Alibaba alike.In this article, we look at Alibaba’s contributions in two key aspects of the framework’s architecture, tracing developments including Flink’s Query Processor, BinaryRow, and AsyncOperator (...)

    #apache-flink #big-data

  • Big Data and Machine Learning with Nick Caldwell
    https://hackernoon.com/big-data-and-machine-learning-with-nick-caldwell-14ed702b1c64?source=rss

    Episode 39 of the Hacker Noon Podcast: An interview with Nick Caldwell CPO at Looker and former VP of #engineering at Reddit.Listen to the interview on iTunes, or Google Podcast, or watch on YouTube.In this episode Trent Lapinski interviews Nick Caldwell from Looker, you get to learn about big data, machine learning and AI.“Modern data stores are extremely powerful. You can put tons and tons of data into them. You can query them without losing speed. And in some cases, you can even do analytics in the database. We’re just seeing this trend where the data layer is becoming more and more powerful, and Looker is riding that trend.”“My favorite learning, again, was just what’s going on in the data engineering space. The BigQuery to me, at that time, was just mind blowing. You dump 4–5 petabytes of (...)

    #artificial-intelligence #machine-learning #big-data

  • Our 25 Favorite Data Science Courses From Harvard To Udemy
    https://hackernoon.com/our-25-favorite-data-science-courses-from-harvard-to-udemy-9a89cac0358d?

    Originally Posted HereLearning every facet of data science takes time. We have written pieces on different resources before. But we really wanted to focus on courses, or video like courses on youtube.There are so many options, it can be nice to have a list of classes worth taking.We are going to start with the free data science options so you can decide whether or not you want to start investing more in courses.Tip : Coursera can make it seem like the only option is to purchase the course. But they do have an audit button on the very bottom. Now, if you appreciate Coursera, by all means, you should purchase their specialization, I am still uncertain how I feel about it. But, I do love taking Coursera courses.Select the audit course option to not pay for the courseBootcamps and (...)

    #data-science #big-data #python #machine-learning #learning

  • 10 Great Articles On Data Science And Data Engineering
    https://hackernoon.com/10-great-articles-on-data-science-and-data-engineering-d5abdf4a4a44?sour

    Data science and #programming are such rapidly expanding specialities it is hard to keep up with all the articles that come out from Google, Uber, Netflix and one off engineers. We have been reading several over the past few weeks and wanted to share some of our top blog posts for this week April 2019!We hope you enjoy these articles.Building and Scaling Data Lineage at NetflixBy: Di Lin, Girish Lingappa, Jitender AswaniImagine yourself in the role of a data-inspired decision maker staring at a metric on a dashboard about to make a critical business decision but pausing to ask a question — “Can I run a check myself to understand what data is behind this metric?”Now, imagine yourself in the role of a software engineer responsible for a micro-service which publishes data consumed by few critical (...)

    #python #big-data #machine-learning #data-science

  • Une technologie française de reconnaissance faciale échoue à reconnaître le moindre visage parmi 900 000 véhicules qui passent chaque jour à New York Thomas Giraudet - 10 Avr 2019 - business insider
    https://www.businessinsider.fr/une-technologie-francaise-de-reconnaissance-faciale-echoue-a-reconna

    Ce devait être un test fiable pour identifier les contrevenants à New York grâce à la reconnaissance faciale. Mais un an après, c’est un échec français. La technologie de l’entreprise Idemia, née du rapprochement de Morpho, filiale de Safran, avec Oberthur Technologies, n’a pas été en mesure de reconnaître le moindre visage parmi les 900 000 véhicules qui passent chaque jour le pont Robert F. Kennedy, qui relie Manhattan au Queen’s et au Bronx, révèle le Wall Street Journal. https://www.wsj.com/articles/mtas-initial-foray-into-facial-recognition-at-high-speed-is-a-bust-11554642000


    Embouteillages à New York. Flickr/Clemens v. Vogelsang

    Le quotidien de la finance cite un mail de l’entreprise chargée des transports publics new yorkais — Metropolitan Transportation Authority (MTA) — qui indique « qu’aucun visage n’a été identifié dans des paramètres acceptables ». Interrogé par le Wall Street Journal, un porte-parole de la MTA précise que l’expérimentation annoncée à l’été 2018 se poursuivra malgré tout. Idemia, qui aurait vendu le logiciel 25 000 dollars, n’a pas répondu aux questions du journal. A ce stade, aucune explication claire sur les raisons de cette faille n’a été formulée.

    Etats et entreprises commencent à s’emparer de la reconnaissance faciale, même si cela soulève de nombreuses oppositions sur la protection de la vie privée. Si Apple propose cette technologie pour déverrouiller son iPhone ou Aéroports de Paris pour éviter les files d’attente, le Japon compte l’utiliser pour contrôler les 300 000 athlètes pendant les Jeux Olympiques de 2020 tandis que la Chine a déjà largement étendu son application. Plusieurs régions scannent ainsi l’intégralité de la population du pays en une seconde pour traquer et arrêter des personnes.

    Sur son site internet, Idemia avance que sa solution d’identification faciale « permet aux enquêteurs, analystes et détectives dûment formés de résoudre des crimes grâce à la recherche automatique des visages et au suivi de photos ou de vidéos ». Pour ce faire, elle compare différentes photos et vidéos à une base de données, même à partir de plusieurs vues partielles.

    Née de la fusion de Morpho, filiale de Safran, avec Oberthur Technologies, Idemia officie sur les marchés de l’identification, de l’authentification et de la sécurité des données. Mais surtout des cartes de paiement : avec Gemalto, elles se partagent la grande majorité du marché mondial des encarteurs. Idemia réalise environ 3 milliards d’euros de chiffre d’affaires.

    #IA #râteau #idemia #intelligence_artificielle #algorithme #surveillance #complexe_militaro-industriel #big-data #surveillance_de_masse #biométrie #business #biométrie #vie_privée #MDR

  • #learning Data Science : Our Favorite Data Science #books
    https://hackernoon.com/learning-data-science-our-favorite-data-science-books-d02ada5ed5d?source

    Originally Posted HereWhether you are just breaking into data science, or you are looking to improve your data science skills. Books are one great method to get a base level understanding of specific topics. Now, we personally believe nothing beats experience, but in lieu of that, taking a course or reading a book is a great way possibilities that you can build on later when you are trying to practically approach data science.In data science, there are many topics to cover, so we wanted to focused on several specific topics. This post will cover books on #python, R programming, big data, SQL and just some generally good reads for data scientists.Heads Up! — This post contains referral links from Amazon Services LLC Associates Program, an affiliate advertising program designed to provide a (...)

    #big-data #data-science

  • How #ai Is Transforming The Future Of #healthcare Industry
    https://hackernoon.com/how-ai-is-transforming-the-future-of-healthcare-industry-f6020cc18323?so

    The power of Artificial Intelligence is echoing across many industries. But its impact on healthcare is truly life-changing. With its ability to mimic human cognitive functions, AI is bringing a paradigm shift in the healthcare industry.This transformative technology is revolutionizing the health sectors in many ways. From drug development to clinical research, AI has helped improve patient outcomes at reduced costs. Besides, the introduction of this technology in healthcare promises easy access, affordability, and effectiveness.For the same reasons, there has been a huge investment by public and private sectors in the healthcare industry. According to a study, the investment will reach $6.6 billion by 2021. Accenture’s reports are even more astonishing. According to their analysis, AI (...)

    #big-data #artificial-intelligence #ai-and-health

  • The 3 V’s of Big Data #analytics
    https://hackernoon.com/the-3-vs-of-big-data-analytics-1afd59692adb?source=rss----3a8144eabfe3--

    Want to know how big data could be a crucial part of your #business? Keep reading to see how big data analytics services has helped the tech industry become successful in 2019.What is Big Data?Big data is the rapid extension of unstructured, semi-structured, and structured data generated from internet connected devices.The insights that are delivered from big data analytics services will help marketers to target campaigns more strategically, help healthcare professionals notice epidemics, and help environmentalists understand future sustainability.3v’s of Big DataBig data analytics can be a difficult concept to grasp onto, especially with the vast varieties and amounts of data today. To make sense of the concept, experts broken it down into 3 simple segments. These three segments are the (...)

    #startup #big-data-analytics #big-data

  • How to Solve Talent Shortage in Data Science Jobs
    https://hackernoon.com/how-to-solve-talent-shortage-in-data-science-jobs-51a4e45ce9a7?source=rs

    Recent years have brought an explosion of data science jobs, and the demand is on the rise. Data analysts, data miners, Big Data scientists, and more similar job titles populate online job boards now. This is a new domain, and very few people, if any, occupying these positions have an academic qualification in this exact field.Most data scientists come from other jobs or entirely different career paths. Some of them were engineers; others were programmers, statisticians or mathematicians. Mostly any job which required a solid understanding of logic and statistics can act as a launching point for a career in data science. Here is an outlook on a few trends identified, proposed and analyzed by the likes of PwC, Forbes and InData Labs.Call for Specialists and Fierce CompetitionAs most (...)

    #big-data #data-science #data-science-job #ai #hr-talent-management

  • Big #data #analytics : Why Companies Use It ?
    https://hackernoon.com/big-data-analytics-why-companies-use-it-a0298be7e095?source=rss----3a814

    Want to know how to get a grasp on big analytics software? Learn how companies use this data to their advantage in this guide.Big Data DefinedReal-time big data is data that’s processed as it arrives. Once it arrives either users get consumable insights without exceeding the time period allocated for decision making or analytical systems that trigger a notification or action.As real-time gets misinterpreted with instantaneous, let’s explain the timeframes for data response and input. As far as the data input is concerned, the processing engine can be designed to either pull or push data.The most common example of the push option with flowing high-volume data (i.e., streaming). However, the real-time engine isn’t always capable of using streaming data. Alternatively, it can be used to (...)

    #data-analytics #startup #big-data

  • Why Centralisation WAS A Good Thing
    https://hackernoon.com/why-centralisation-was-a-good-thing-d43c87043e44?source=rss----3a8144eab

    Decentralization is the new fad. We need to remind ourselves why centralisation was good in the past. Centralisation was required in the past for efficient communication and information organisation.‘Bad’ Data ProblemInformation has a tendency to spread like bacteria. But there is ‘good’ bacteria; then there is ‘bad’ bacteria.Centralised ‘control’ is ultimately about avoiding and restraining chaos. Centralised societies and systems, therefore, have vastly reduced levels of confusion, chaos and waste.A centralised system requires ‘good’ information in order to make its decisions. Because of this, centralised systems have extremely good ‘detection’ systems for ‘bad’ data. The fidelity of data contained within a centralised system, is critical to the system’s viability and existence.As a result, all (...)

    #blockchain #disruption #big-data #artificial-intelligence #design

  • BigData Behind #blockchain Forensics
    https://hackernoon.com/bigdata-behind-blockchain-forensics-edce11b714fc?source=rss----3a8144eab

    It seems a week doesn’t go by without more news of another #cryptocurrency hack, fault, failure, scam, or what have you. Just this week saw EOS have a hacker lift $7.7 million in EOS after a mistake by one of their validators. You will often hear about how these types of transactions get resolved later, but not a lot of information is provided about how that happened. Last week I saw the news that controversial Italian surveillance vendor Neutrino was acquired by Coinbase (which Coinbase has already come to regret) and when I read up on them, I realized that it was companies like Neutrino that are able to help repair those hacks, track down the terrorist funding, ransomware, the gun running, and drug sales and other nefarious activity that can take place on blockchain. This led me to (...)

    #bitcoin #cybersecurity #big-data

  • The 10 Most In-Demand IT Skills and Certifications of 2019
    https://hackernoon.com/the-10-most-in-demand-it-skills-and-certifications-of-2019-241242de685b?

    Level up your career with the qualifications tech companies are looking for this yearThe job market today is very tough, and the best way to enhance your credibility is getting a few strategic certifications behind your name.Project Management Certifications:Project Management certifications are having an huge demand in the IT market.It is considered to be one of the most important task across industries. It requires special skills for delivering a successful project not as an individual but as an organisation. To Judge your expertise there are wide range of project management certifications are available in the market. They are Certified Scrum Master, Six Sigma Green Belt, Project management Professional, PRINCE2. To acquire these certifications there are some (...)

    #big-data #ethical-hacking #devops #cloud-computing #artificial-intelligence

  • Un projet de #fichage géant des citoyens non membres de l’#UE prend forme en #Europe

    Un accord provisoire a été signé le 5 février entre la présidence du Conseil européen et le Parlement européen pour renforcer les contrôles aux frontières de l’Union. Il va consolider la mise en commun de fichiers de données personnelles. Les défenseurs des libertés individuelles s’alarment.

    Des appareils portables équipés de lecteurs d’#empreintes_digitales et d’#images_faciales, pour permettre aux policiers de traquer des terroristes : ce n’est plus de la science-fiction, mais un projet européen en train de devenir réalité. Le 5 février 2019, un accord préliminaire sur l’#interopérabilité des #systèmes_d'information au niveau du continent a ainsi été signé.

    Il doit permettre l’unification de six #registres avec des données d’#identification_alphanumériques et biométriques (empreintes digitales et images faciales) de citoyens non membres de l’UE. En dépit des nombreuses réserves émises par les Cnil européennes.

    Giovanni Buttarelli, contrôleur européen de la protection des données, a qualifié cette proposition de « point de non-retour » dans le système de base de données européen. En substance, les registres des demandeurs d’asile (#Eurodac), des demandeurs de visa pour l’Union européenne (#Visa) et des demandeurs (système d’information #Schengen) seront joints à trois nouvelles bases de données mises en place ces derniers mois, toutes concernant des citoyens non membres de l’UE.

    Pourront ainsi accéder à la nouvelle base de données les forces de police des États membres, mais aussi les responsables d’#Interpol, d’#Europol et, dans de nombreux cas, même les #gardes-frontières de l’agence européenne #Frontex. Ils pourront rechercher des personnes par nom, mais également par empreinte digitale ou faciale, et croiser les informations de plusieurs bases de données sur une personne.

    « L’interopérabilité peut consister en un seul registre avec des données isolées les unes des autres ou dans une base de données centralisée. Cette dernière hypothèse peut comporter des risques graves de perte d’informations sensibles, explique Buttarelli. Le choix entre les deux options est un détail fondamental qui sera clarifié au moment de la mise en œuvre. »

    Le Parlement européen et le Conseil doivent encore approuver officiellement l’accord, avant qu’il ne devienne législation.

    Les #risques de la méga base de données

    « J’ai voté contre l’interopérabilité parce que c’est une usine à gaz qui n’est pas conforme aux principes de proportionnalité, de nécessité et de finalité que l’on met en avant dès lors qu’il peut être question d’atteintes aux droits fondamentaux et aux libertés publiques, assure Marie-Christine Vergiat, députée européenne, membre de la commission des libertés civiles. On mélange tout : les autorités de contrôle aux #frontières et les autorités répressives par exemple, alors que ce ne sont pas les mêmes finalités. »

    La proposition de règlement, élaborée par un groupe d’experts de haut niveau d’institutions européennes et d’États membres, dont les noms n’ont pas été révélés, avait été présentée par la Commission en décembre 2017, dans le but de prévenir les attaques terroristes et de promouvoir le contrôle aux frontières.

    Les institutions de l’UE sont pourtant divisées quant à son impact sur la sécurité des citoyens : d’un côté, Krum Garkov, directeur de #Eu-Lisa – l’agence européenne chargée de la gestion de l’immense registre de données –, estime qu’elle va aider à prévenir les attaques et les terroristes en identifiant des criminels sous de fausses identités. De l’autre côté, Giovanni Buttarelli met en garde contre une base de données centralisée, qui risque davantage d’être visée par des cyberattaques. « Nous ne devons pas penser aux simples pirates, a-t-il déclaré. Il y a des puissances étrangères très intéressées par la vulnérabilité de ces systèmes. »

    L’utilité pour l’antiterrorisme : les doutes des experts

    L’idée de l’interopérabilité des systèmes d’information est née après le 11-Septembre. Elle s’est développée en Europe dans le contexte de la crise migratoire et des attentats de 2015, et a été élaborée dans le cadre d’une relation de collaboration étroite entre les institutions européennes chargées du contrôle des frontières et l’industrie qui développe les technologies pour le mettre en œuvre.

    « L’objectif de lutte contre le terrorisme a disparu : on parle maintenant de “#fraude_à_l'identité”, et l’on mélange de plus en plus lutte contre la #criminalité et lutte contre l’immigration dite irrégulière, ajoute Vergiat. J’ai participé à la commission spéciale du Parlement européen sur la #lutte_contre_le_terrorisme ; je sais donc que le lien entre #terrorisme et #immigration dite irrégulière est infinitésimal. On compte les cas de ressortissants de pays tiers arrêtés pour faits de terrorisme sur les doigts d’une main. »

    Dans la future base de données, « un référentiel d’identité unique collectera les données personnelles des systèmes d’information des différents pays, tandis qu’un détecteur d’identités multiples reliera les différentes identités d’un même individu », a déclaré le directeur d’Eu-Lisa, lors de la conférence annuelle de l’#Association_européenne_de_biométrie (#European_Association_for_Biometrics#EAB) qui réunit des représentants des fabricants des technologies de #reconnaissance_numérique nécessaires à la mise en œuvre du système.

    « Lors de l’attaque de Berlin, perpétrée par le terroriste Anis Amri, nous avons constaté que cet individu avait 14 identités dans l’Union européenne, a-t-il expliqué. Il est possible que, s’il y avait eu une base de données interopérable, il aurait été arrêté auparavant. »

    Cependant, Reinhard Kreissl, directeur du Vienna Centre for Societal Security (Vicesse) et expert en matière de lutte contre le terrorisme, souligne que, dans les attentats terroristes perpétrés en Europe ces dix dernières années, « les auteurs étaient souvent des citoyens européens, et ne figuraient donc pas dans des bases de données qui devaient être unifiées. Et tous étaient déjà dans les radars des forces de police ».

    « Tout agent des services de renseignement sérieux admettra qu’il dispose d’une liste de 1 000 à 1 500 individus dangereux, mais qu’il ne peut pas les suivre tous, ajoute Kreissl. Un trop-plein de données n’aide pas la police. »

    « L’interopérabilité coûte des milliards de dollars et l’intégration de différents systèmes n’est pas aussi facile qu’il y paraît », déclare Sandro Gaycken, directeur du Digital Society Institute à l’Esmt de Berlin. « Il est préférable d’investir dans l’intelligence des gens, dit l’expert en cyberintelligence, afin d’assurer plus de #sécurité de manière moins intrusive pour la vie privée. »

    Le #budget frontière de l’UE augmente de 197 %

    La course aux marchés publics pour la mise en place de la nouvelle base de données est sur le point de commencer : dans le chapitre consacré aux dépenses « Migration et contrôle des frontières » du budget proposé par la Commission pour la période 2021-2027, le fonds de gestion des frontières a connu une augmentation de 197 %, tandis que la part consacrée aux politiques de migration et d’asile n’a augmenté, en comparaison, que de 36 %.

    En 2020, le système #Entry_Exit (#Ees, ou #SEE, l’une des trois nouvelles bases de données centralisées avec interopérabilité) entrera en vigueur. Il oblige chaque État membre à collecter les empreintes digitales et les images de visages de tous les citoyens non européens entrant et sortant de l’Union, et d’alerter lorsque les permis de résidence expirent.

    Cela signifie que chaque frontière, aéroportuaire, portuaire ou terrestre, doit être équipée de lecteurs d’empreintes digitales et d’images faciales. La Commission a estimé que ce SEE coûterait 480 millions d’euros pour les quatre premières années. Malgré l’énorme investissement de l’Union, de nombreuses dépenses resteront à la charge des États membres.

    Ce sera ensuite au tour d’#Etias (#Système_européen_d’information_de_voyage_et_d’autorisation), le nouveau registre qui établit un examen préventif des demandes d’entrée, même pour les citoyens de pays étrangers qui n’ont pas besoin de visa pour entrer dans l’UE. Cette dernière a estimé son coût à 212,1 millions d’euros, mais le règlement, en plus de prévoir des coûts supplémentaires pour les États, mentionne des « ressources supplémentaires » à garantir aux agences de l’UE responsables de son fonctionnement, en particulier pour les gardes-côtes et les gardes-frontières de Frontex.

    C’est probablement la raison pour laquelle le #budget proposé pour Frontex a plus que triplé pour les sept prochaines années, pour atteindre 12 milliards d’euros. Le tout dans une ambiance de conflits d’intérêts entre l’agence européenne et l’industrie de la biométrie.

    Un membre de l’unité recherche et innovation de Frontex siège ainsi au conseil d’administration de l’#Association_européenne_de_biométrie (#EAB), qui regroupe les principales organisations de recherche et industrielles du secteur de l’identification numérique, et fait aussi du lobbying. La conférence annuelle de l’association a été parrainée par le géant biométrique français #Idemia et la #Security_Identity_Alliance.

    L’agente de recherche de Frontex et membre du conseil d’EAB Rasa Karbauskaite a ainsi suggéré à l’auditoire de représentants de l’industrie de participer à la conférence organisée par Frontex avec les États membres : « L’occasion de montrer les dernières technologies développées. » Un représentant de l’industrie a également demandé à Karbauskaite d’utiliser son rôle institutionnel pour faire pression sur l’Icao, l’agence des Nations unies chargée de la législation des passeports, afin de rendre les technologies de sécurité des données biométriques obligatoires pour le monde entier.

    La justification est toujours de « protéger les citoyens européens du terrorisme international », mais il n’existe toujours aucune donnée ou étude sur la manière dont les nouveaux registres de données biométriques et leur interconnexion peuvent contribuer à cet objectif.

    https://www.mediapart.fr/journal/international/250219/un-projet-de-fichage-geant-de-citoyens-prend-forme-en-europe
    #surveillance_de_masse #surveillance #étrangers #EU #anti-terrorisme #big-data #biométrie #complexe_militaro-industriel #business

    • Règlement (UE) 2019/817 du Parlement européen et du Conseil du 20 mai 2019 portant établissement d’un cadre pour l’interopérabilité des systèmes d’information de l’UE dans le domaine des frontières et des visas

      Point 9 du préambule du règlement UE 2019/817

      "Dans le but d’améliorer l’efficacité et l’efficience des vérifications aux frontières extérieures, de contribuer à prévenir et combattre l’immigration illégale et de favoriser un niveau élevé de sécurité au sein de l’espace de liberté, de sécurité et de justice de l’Union, y compris la préservation de la sécurité publique et de l’ordre public et la sauvegarde de la sécurité sur les territoires des États membres, d’améliorer la mise en œuvre de la politique commune des visas, d’aider dans l’examen des demandes de protection internationale, de contribuer à la prévention et à la détection des infractions terroristes et d’autres infractions pénales graves et aux enquêtes en la matière, de faciliter l’identification de personnes inconnues qui ne sont pas en mesure de s’identifier elles-mêmes ou des restes humains non identifiés en cas de catastrophe naturelle, d’accident ou d’attaque terroriste, afin de préserver la confiance des citoyens à l’égard du régime d’asile et de migration de l’Union, des mesures de sécurité de l’Union et de la capacité de l’Union à gérer les frontières extérieures, il convient d’établir l’interopérabilité des systèmes d’information de l’UE, à savoir le système d’entrée/de sortie (EES), le système d’information sur les visas (VIS), le système européen d’information et d’autorisation concernant les voyages (ETIAS), Eurodac, le système d’information Schengen (SIS) et le système européen d’information sur les casiers judiciaires pour les ressortissants de pays tiers (ECRIS-TCN), afin que lesdits systèmes d’information de l’UE et leurs données se complètent mutuellement, tout en respectant les droits fondamentaux des personnes, en particulier le droit à la protection des données à caractère personnel. À cet effet, il convient de créer un portail de recherche européen (ESP), un service partagé d’établissement de correspondances biométriques (#BMS partagé), un répertoire commun de données d’identité (#CIR) et un détecteur d’identités multiples (#MID) en tant qu’éléments d’interopérabilité.

      http://www.europeanmigrationlaw.eu/fr/articles/actualites/bases-de-donnees-interoperabilite-reglement-ue-2019817-frontier

  • A Brief History of Flink: Tracing the Big Data Engine’s #open-source Development
    https://hackernoon.com/a-brief-history-of-flink-tracing-the-big-data-engines-open-source-develo

    From version 1.1.0 to 1.6.0, Apache Flink’s relentless improvement exemplifies open-source development.Open-source big data computing engine Apache Flink, or Flink for short, has gained popularity in recent years as a powerful framework for both batch processing and stream processing that can be used to create a number of event-based applications.Flink is first of all a pure stream computing engine with a data stream basic data model. A stream can be infinite and borderless, which describes stream processing in the general sense, or can be a finite stream with boundaries, as in the case of batch processing. Flink thus uses a single architecture to support both stream and batch processing.As conveyed by its slogan “Stateful Computations Over Streams”, Flink has the additional strength of (...)

    #apache-flink #big-data-engine #alibaba-open-source #big-data

  • Au #Mali, #Niger et #Sénégal, le marché de l’identité en plein essor

    De plus en plus d’États africains font appel à des entreprises étrangères, notamment françaises, pour fabriquer des #cartes_d’identité biométriques, qui servent aussi de #cartes_électorales sécurisées. Un projet soutenu par l’Europe qui y voit une occasion de mieux contrôler les flux migratoires.

    De plus en plus d’États africains font appel à des entreprises étrangères, notamment françaises, pour fabriquer des cartes d’identité biométriques, qui servent aussi de cartes électorales sécurisées. Un projet soutenu par l’Europe qui y voit une occasion de mieux contrôler les flux migratoires.

    Niger, Sénégal, Mali, de nos envoyés spéciaux.- Sur le continent africain, les États font de plus en plus souvent appel aux services d’entreprises étrangères spécialisées dans le domaine de l’état civil et leur confient la fabrication de cartes d’identité biométriques, qui sont aussi souvent utilisées comme cartes électorales.
    C’est par exemple le cas, au Mali, du groupe français #Idemia [nouveau nom, depuis 2017, de #OT-Morpho, né de la fusion des sociétés #Oberthur_Technologies (OT) et Morpho], du franco-néerlandais #Gemalto au Niger, et de la société malaisienne #Iris au Sénégal.
    Ce processus est appuyé par la Commission européenne, par le biais de son #Fonds_fiduciaire_d’urgence_pour_l’Afrique. Un partenariat dans lequel chacun trouve son intérêt : les chefs d’État ouest-africains entrevoient la tenue d’élections indiscutables, tandis que la diplomatie européenne touche du doigt le Graal du contrôle de l’immigration irrégulière en permettant l’accès direct à une base de données centralisée des citoyens subsahariens. Celle-ci permettrait aux États membres de l’Union européenne (UE) d’identifier et de renvoyer plus facilement les migrants irréguliers dans leur pays d’origine.
    Un projet « gagnant-gagnant » donc, pour lequel la Commission européenne pourra recevoir un retour sur investissement des 25 millions d’euros dépensés au Mali, et des 28 millions d’euros au Sénégal. Le projet devrait permettre de disposer d’un système d’information de l’état civil informatisé relié à une #base_de_données biométriques à même de sécuriser l’identité de la population et d’être exploitable par d’autres administrations utilisatrices.
    « Il y a une demande d’appui des autorités maliennes auprès de l’UE, qui considère qu’il y a un besoin. C’est une sorte d’interactivité : un état civil qui fonctionne bien va permettre à la population de bénéficier des services auxquels elle a droit. L’aspect contrôle des populations n’est que secondaire », assure Omar Merabet, conseiller du PDG de Civipol, agence française qui travaille, au Mali et au Sénégal, sur deux importants programmes d’état civil qui servent de base de données pour la biométrie électorale.
    Il résume : « La relation entre identité et sécurité est là : si on a un fichier sécurisé, on a une possibilité de traçabiliser la population – un idéal de politique. »
    Des militants de la société civile ouest-africaine s’interrogent néanmoins sur l’utilisation réelle des données personnelles collectées et sur le risque d’utilisation abusive par l’État ou des tiers. Cette préoccupation est également partagée par Omar Merabet : « On sait l’usage qu’en fait un pays donné aujourd’hui, mais qu’en sera-t-il demain ? C’est un problème essentiel car on va consacrer énormément de financements à centraliser ces données, pour la question de l’immigration par exemple, avoir des fichiers ultra précis, partagés avec les services… Il va y avoir de plus en plus de communication et donc de possibilités d’utiliser frauduleusement ces données. »

    « Nous pensons que nous n’avons pas assez de détails sur la question et que nous ne sommes pas bien informés par nos gouvernements, estime le juriste Djabel Magassa, porte-parole de Kouloubametre, site internet « d’initiative citoyenne d’évaluation et suivi des actions des gouvernants ». Quelles sont les garanties de la part de l’Union européenne que ces données ne seront pas utilisées à d’autres fins – par exemple, d’identifier des migrants en vue de leur expulsion par Frontex ? »

    L’hypothèse est balayée par l’État malien. « Au Mali existe une loi qui protège les données personnelles, ainsi que l’Autorité de protection des données à caractère individuel qui surveille l’utilisation des telles informations. Il n’est donc pas possible de donner ces données à un pays européen ou à une structure pour surveiller les migrants », affirme Fousseyni Diarra, directeur du Centre pour le traitement des données de l’état civil et président de la commission technique du Comité de pilotage des élections présidentielles qui ont eu lieu l’été dernier.

    En dépit des risques et des limites, la solution biométrique s’étend dans l’Afrique subsaharienne. Un nouveau front s’est ouvert au Niger, voisin du Mali.

    Au Niger, la France et l’Allemagne à la manœuvre

    « On est entourés de pays plongés dans la tourmente, comme le Mali, le Nigeria, la Libye et le Burkina Faso, explique Issaka Souna. Le Niger ne peut pas se permettre un processus électoral tendu. » Avocat et haut fonctionnaire des Nations unies, Souna a été nommé en octobre 2017 à la tête de la Commission électorale indépendante du Niger (CENI). Au cœur de son travail, la mise en place d’un fichier électoral biométrique.

    Après des années de pourparlers, le fichier biométrique a été intégré dans le nouveau code électoral. Pour Issaka Souna, la difficulté principale est l’absence d’un système d’état civil fiable : « Moins de 30 % de nos concitoyens possèdent une pièce d’identité. On a un territoire immense et une partie de la population est nomade : fournir presque dix millions de cartes électorales biométriques en moins d’un an sera une épreuve colossale. »

    Le premier test, ce seront les élections locales, reportées quatre fois depuis 2016 et prévues pour début 2020. Présidentielle et législatives sont prévues pour 2021. Mahamadou Issoufou sera alors arrivé au terme de son deuxième mandat et ne sera plus éligible.

    Ici, tout en étant le principal bailleur de fonds du Niger, l’Union européenne n’a pas financé la #biométrisation des élections. « Sans un état civil performant, cela n’a pas de sens, confie un fonctionnaire de Bruxelles, sous le couvert de l’anonymat. C’est comme acheter une Porsche là où on n’a même pas un chemin pour se promener. »

    Selon le fonctionnaire, « l’inscription d’un #fichier_biométrique dans la loi permet aux gouvernements de faire du #chantage à l’UE. Ils disent : “Si vous voulez des élections démocratiques, il faut financer la biométrie.” » Soit une dépense, pour créer le fichier, qui tournerait autour des 60 millions d’euros.

    Le fonctionnaire ajoute qu’au sein de la délégation européenne au Niger, « on a dû résister aux pressions des diplomates français et allemands qui voulaient qu’on finance cette biométrie ».
    Les pressions des groupes français

    Un document interne, obtenu par Mediapart, détaille le parcours de sélection de l’opérateur privé au Niger. En concurrence, quatre sociétés : #Gemalto, dont l’actionnaire majoritaire est la Banque publique d’investissement français, #Idemia, propriété de l’État français à 14 %, la société privée allemande #Dermalog, et #Lithotech, compagnie du géant sud-africain #Bidvest, liée à un fonds public de Johannesburg.

    Seuls les deux premiers, français, ont survécu au long processus de sélection – 17 jours de travail d’un comité technique, en octobre 2018 –, dont les résultats, pas encore proclamés après des mois, ont déjà provoqué quelques bouleversements : Dermalog, exclue de la sélection finale en raison de son mauvais score (32,5 points sur 100), aurait fait appel. Contactée, la société a refusé de commenter.

    Gemalto (déjà fortement sollicité sur le marché biométrique africain, notamment en #Algérie, #Bénin, #Burkina_Faso, #Comores, #Gabon et #Guinée-Conakry) a fini par l’emporter, avec 92 points sur 100 face aux 77 de Idemia, d’après l’évaluation technique. Le marché s’élève à 20 milliards de francs CFA (30,5 millions d’euros) sur 16 mois, d’après le président de la CENI Issaka Souna.

    Avant l’officialisation du contrat, le groupe français était à l’affût de la moindre mise en cause de ses activités : il a ainsi exigé la publication d’un droit de réponse dans le bi-hebdomadaire nigérien L’Événement. En cause : des informations « de nature à nuire à la bonne réputation du groupe », selon Gemalto. L’entreprise y conteste notamment l’existence d’une plainte pour corruption passive ou active d’agent étranger au Gabon. Plainte qui a pourtant bien été enregistrée à Paris.

    Le Sénégal, pionnier des cartes biométriques dans la région

    Contrairement au Mali et au Niger, le marché de la biométrie au Sénégal n’est pas dominé par une société française mais par le groupe malaisien #Iris_Corporation_Berhad. Premier pays de la région à avoir, en 2007, engagé le processus de biométrisation prévu par l’accord de la #CEDEAO – visant officiellement à faciliter la circulation des personnes dans l’espace régional –, le Sénégal a élu son président, le 24 février dernier, en utilisant des documents électoraux produits par le géant asiatique pour un montant de 50 milliards de francs CFA (environ 76 millions d’euros).

    Si, à quelques jours des élections du 24 février, le gouvernement a annoncé un taux de distribution des cartes biométriques de 97 %, la société traîne encore quelques casseroles.

    Lors des élections législatives de juillet 2017, de graves dysfonctionnements dans le processus de distribution des cartes ont empêché environ 800 000 personnes de voter. En 2007, le contrat de production de passeports biométriques, attribué déjà à Iris, a été suspendu et jugé, dans un rapport public de la Cour des comptes sénégalaise de 2009, « contraire à l’intérêt général » et « irrégulier » parce que trop coûteux et lent (118 milliards de francs CFA pour 10 millions de documents en vingt ans).

    L’expert informaticien et cyberactiviste sénégalais Cheick Fall, cofondateur de la Ligue africaine des web activistes pour la démocratie Africtivistes, parle d’#indépendance_numérique violée. « Le Sénégal a péché en allant confier le traitement de ces données à une entreprise étrangère. » Selon lui, il y aurait dans le pays toutes les compétences techniques et humaines pour confectionner la carte biométrique directement au Sénégal, « à un dixième du coût ».

    Pour lui, pas mal de questions se cachent dans cette petite carte. « Comment cette entreprise va-t-elle traiter nos informations ? Qui gère, qui collabore et qui a des intérêts avec elle ? Quels sont les contrats qui lient l’État avec cette société sur la confection mais aussi sur le traitement et la conservation des donnés sensibles ? » Une interrogation plus profonde sous-tend sa réflexion : « Aujourd’hui, on parle beaucoup des barrières, mais dans une société de plus en plus dématérialisée et fondée sur la citoyenneté digitale, qu’est-ce qu’une frontière ? »

    https://www.mediapart.fr/journal/international/050319/au-mali-niger-et-senegal-le-marche-de-l-identite-en-plein-essor?onglet=ful
    #externalisation #asile #migrations #réfugiés #biométrie #privatisation
    #contrôles_frontaliers #identification #business #complexe_militaro-industriel #UE #EU #big-data #surveillance_de_masse #traçabilité

    signalé par @pascaline via la mailing-list de Migreurop
    ping @karine4

    Ajouté à la métaliste externalisation :
    https://seenthis.net/messages/731749

  • Artificial Intelligence is Becoming Better than Human Expertise
    https://hackernoon.com/artificial-intelligence-is-becoming-better-than-human-expertise-16903f4f

    It is believed that at the turn of the 20th and 21st centuries, there were three distinct waves of AI technological development. The first wave was an attempt to create general intelligence with the help of the formal rules of logical thinking. The second was the development of expert systems. Now we are on the crest of the third wave, the main feature of which, computer learning, is already successful in helping artificial intelligence bypass top professional experts in the effectiveness and quality of decision making on a massive scale.Researchers have learned how to create systems that improve the algorithms themselves and then receive new data. This invention has created a new industry. The introduction of AI by 2030 will boost worldwide GDP by 14%, or approximately $15.7 trillion, (...)

    #predictions #big-data #artificial-intelligence #finance #investing

  • #mapr-DB Spark Connector with Secondary Indexes
    https://hackernoon.com/mapr-db-spark-connector-with-secondary-indexes-df41909f28ea?source=rss--

    MapR Data Platform offers significant advantages over any other tool on the big data space. MapR-DB is one of the core components of the platform and it offers state of the art capabilities that blow away most of the NoSQL databases out there.An important add-on to MapR-DB is the ability to use, for writing and querying, Apache Spark through the Connector for Apache Spark. Using this connector comes very handy since it can read and write from spark to MapR-DB using the different Spark APIs such as RDDs, DataFrames, and Streams.Using the connector we can issue queries like the following one.https://medium.com/media/eaf9aff1c6b796823d99a0b32e11c030/hrefThe resulting type is a Dataframethat we can use as any other Dataframe from any other source, as we normally do in Spark.If we then filter (...)

    #programming #big-data #apache-spark #scala

  • Proposing #blockchain with Big Data This Valentine’s Day
    https://hackernoon.com/proposing-blockchain-with-big-data-this-valentines-day-f03f0b435bb5?sour

    “Love is in the air”, it is the month of the cupid, proposals, love, and commitments. No, this blog is not about love advice and certainly, it is not clickbait. But, since it is the month of Valentine’s day, let’s try to do the match-making of the most buzz technologies i.e. Big Data and Blockchain.First, let’s study the profiles of the probable perfect pair:Big Data“Worldwide Big Data market revenues for software and services are projected to increase by $103B in 2027.”According to Gartner,“Big Data is high-volume, high velocity, and possesses variety of information assets that demand cost-effective, innovative forms of information processing for enhanced insight and decision making.”This means it possesses large complex data sets that have to be processed and analyzed to fetch the useful (...)

    #big-data #technology #valentines-day #cryptocurrency

  • The Massive Energy Bill Behind Your Data
    https://hackernoon.com/the-massive-energy-bill-behind-your-data-5d278bbe1ec6?source=rss----3a81

    How will we offset the rapidly increasing power consumption of data centres? Hyperscale has plucked the low hanging fruit. What’s next?BalticServers.com [CC BY-SA 3.0 (https://creativecommons.org/licenses/by-sa/3.0)], from Wikimedia CommonsPop quiz: Which organ of your body uses the most energy?It’s the brain, of course.Your brain uses up to 20 percent of all the calories you consume each day.Maybe that explains why we’ve readily accepted that computers will use a huge amount of energy in processing, and emit so much heat that they also create a secondary power need to cool them down?We are becoming increasingly aware of the amount of energy the data centres supporting our favourite social media sites, film & music streaming services and online shopping are using, and are expected to use (...)

    #technology #big-data #internet #climate-change #social-media

  • A Push in the Right Direction: Improving Notification Targeting
    https://hackernoon.com/a-push-in-the-right-direction-improving-notification-targeting-bec1d9912

    To improve data sorting for push notifications, Alibaba’s Xianyu team reworked its approach to database structure, enabling its service to better target user populations.As Alibaba’s second-hand trading platform Xianyu(闲鱼) has grown and developed, the amount of data it has to sort through has risen astronomically. With hundreds of millions of users, each with over one hundred dimensions for data indicators, user data presents a technological challenge for Alibaba: How can you quickly screen for a targeted population to carry out targeted customer operations using push notifications?Pushing is the quickest way for Xianyu to get information to users. The most common pushing method for Xianyu is to first calculate the push population offline, prepare the corresponding push message, and then (...)

    #notification-targeting #data-analysis #programming #mobile-app-development #big-data

  • AI, ML and Big Data in Healthcare
    https://hackernoon.com/ai-ml-and-big-data-in-healthcare-89c21f31ca9e?source=rss----3a8144eabfe3

    Artificial intelligence (AI) isn’t a new idea, but it’s only in recent years that our technology has caught up to the point at which it has practical uses. We’re a long way away from true artificial intelligence like the human-like robots and computers that we see in science fiction movies, but we are at least in a place where AI can outperform human beings at certain tasks.And AI could be particularly powerful in the health care industry. One piece of research from Accenture found that key clinical health AI applications can potentially create $150 billion in annual savings for the US health care economy by 2026. Another report from Tractica found that the AI health care market will be worth $34 billion by 2025.AI is great at performing repetitive tasks, and there’s no shortage of them in (...)

    #artificial-intelligence #big-data #big-data-healthcare #digital-health #machine-learning

  • #mpi workloads performance on #mapr Data Platform Part 2 — Matrix Multiplication
    https://hackernoon.com/mpi-workloads-performance-on-mapr-data-platform-part-2-matrix-multiplica

    MPI workloads performance on MapR Data Platform Part 2 — Matrix MultiplicationIn the first part of this series, we showed how we can use MPI on top of the MapR Data Platform to successfully find prime numbers within a rather large range. Also, we compare our Sieve of Eratosthenes implementation in MPI and the same algorithm in #spark just to discover how they both behave while looking at some interesting implementation details.In the second part of the series, we are going to implement Matrix Multiplication in both, MPI and Apache Spark. Again, we will look at how each implementation behaves when running on MapR. However, our MPI implementation will be based on Cannon Algorithm while in Spark we will use the MLlib BlockMatrix functions for multiplying matrices.Cannon AlgorithmThere is (...)

    #coding #big-data

  • #sql Best Practices — Designing An ETL Video
    https://hackernoon.com/sql-best-practices-designing-an-etl-video-1933665f9861?source=rss----3a8

    SQL Best Practices — Designing An ETL VideoData engineering has many facets. One of the most common projects a data engineer takes on is developing an ETL pipeline from an operational DB to a data warehouse. Our team wanted to cover the overarching design of an ETL.What are the typical principal components, stages, considerations, etc?We started this by first writing Creating An ETL Part 1(more to come) and we and now have worked on a video that is below that walks through the process. We wanted to discuss why each stage is important and what occurs when data goes from raw to stage, why do we need a raw database and so on.Data engineering is a complex discipline that partners automation, #programming, system design, databases, and #analytics in order to ensure that analysts, data scientists (...)

    #big-data #learning