• What AI still can’t do - MIT Technology Review

    In less than a decade, computers have become extremely good at diagnosing diseases, translating languages, and transcribing speech. They can outplay humans at complicated strategy games, create photorealistic images, and suggest useful replies to your emails.

    Yet despite these impressive achievements, artificial intelligence has glaring weaknesses.

    Machine-learning systems can be duped or confounded by situations they haven’t seen before. A self-driving car gets flummoxed by a scenario that a human driver could handle easily. An AI system laboriously trained to carry out one task (identifying cats, say) has to be taught all over again to do something else (identifying dogs). In the process, it’s liable to lose some of the expertise it had in the original task. Computer scientists call this problem “catastrophic forgetting.”

    These shortcomings have something in common: they exist because AI systems don’t understand causation. They see that some events are associated with other events, but they don’t ascertain which things directly make other things happen. It’s as if you knew that the presence of clouds made rain likelier, but you didn’t know clouds caused rain.

    But there’s a growing consensus that progress in AI will stall if computers don’t get better at wrestling with causation. If machines could grasp that certain things lead to other things, they wouldn’t have to learn everything anew all the time—they could take what they had learned in one domain and apply it to another. And if machines could use common sense we’d be able to put more trust in them to take actions on their own, knowing that they aren’t likely to make dumb errors.

    Pearl’s work has also led to the development of causal Bayesian networks—software that sifts through large amounts of data to detect which variables appear to have the most influence on other variables. For example, GNS Healthcare, a company in Cambridge, Massachusetts, uses these techniques to advise researchers about experiments that look promising.

    In one project, GNS worked with researchers who study multiple myeloma, a kind of blood cancer. The researchers wanted to know why some patients with the disease live longer than others after getting stem-cell transplants, a common form of treatment. The software churned through data with 30,000 variables and pointed to a few that seemed especially likely to be causal. Biostatisticians and experts in the disease zeroed in on one in particular: the level of a certain protein in patients’ bodies. Researchers could then run a targeted clinical trial to see whether patients with the protein did indeed benefit more from the treatment. “It’s way faster than poking here and there in the lab,” says GNS cofounder Iya Khalil.

    Nonetheless, the improvements that Pearl and other scholars have achieved in causal theory haven’t yet made many inroads in deep learning, which identifies correlations without too much worry about causation. Bareinboim is working to take the next step: making computers more useful tools for human causal explorations.

    Getting people to think more carefully about causation isn’t necessarily much easier than teaching it to machines, he says. Researchers in a wide range of disciplines, from molecular biology to public policy, are sometimes content to unearth correlations that are not actually rooted in causal relationships. For instance, some studies suggest drinking alcohol will kill you early, while others indicate that moderate consumption is fine and even beneficial, and still other research has found that heavy drinkers outlive nondrinkers. This phenomenon, known as the “reproducibility crisis,” crops up not only in medicine and nutrition but also in psychology and economics. “You can see the fragility of all these inferences,” says Bareinboim. “We’re flipping results every couple of years.”

    On reste quand même dans la fascination technologique

    Bareinboim described this vision while we were sitting in the lobby of MIT’s Sloan School of Management, after a talk he gave last fall. “We have a building here at MIT with, I don’t know, 200 people,” he said. How do those social scientists, or any scientists anywhere, decide which experiments to pursue and which data points to gather? By following their intuition: “They are trying to see where things will lead, based on their current understanding.”

    That’s an inherently limited approach, he said, because human scientists designing an experiment can consider only a handful of variables in their minds at once. A computer, on the other hand, can see the interplay of hundreds or thousands of variables. Encoded with “the basic principles” of Pearl’s causal calculus and able to calculate what might happen with new sets of variables, an automated scientist could suggest exactly which experiments the human researchers should spend their time on.

    #Intelligence_artificielle #Causalité #Connaissance #Pragmatique #Machine_learning

  • Hackers can trick a Tesla into accelerating by 50 miles per hour - MIT Technology Review

    Hackers have manipulated multiple Tesla cars into speeding up by 50 miles per hour. The researchers fooled the car’s MobilEye EyeQ3 camera system by subtly altering a speed limit sign on the side of a road in a way that a person driving by would almost never notice.

    This demonstration from the cybersecurity firm McAfee is the latest indication that adversarial machine learning can potentially wreck autonomous driving systems, presenting a security challenge to those hoping to commercialize the technology.

    MobilEye EyeQ3 camera systems read speed limit signs and feed that information into autonomous driving features like Tesla’s automatic cruise control, said Steve Povolny and Shivangee Trivedi from McAfee’s Advanced Threat Research team.

    The researchers stuck a tiny and nearly imperceptible sticker on a speed limit sign. The camera read the sign as 85 instead of 35 and, in testing, both the 2016 Tesla Model X and that year’s Model S sped up 50 miles per hour.

    The modified speed limit sign reads as 85 on the Tesla’s heads-up display. A Mobileye spokesperson downplayed the research by suggesting this sign would fool a human into reading 85 as well.

    The Tesla, reading the modified 35 as 85, is tricked into accelerating.

    This is the latest in an increasing mountain of research showing how machine learning systems can be attacked and fooled in life-threatening situations.

    “Why we’re studying this in advance is because you have intelligent systems that at some point in the future are going to be doing tasks that are now handled by humans,” Povolny said. “If we are not very prescient about what the attacks are and very careful about how the systems are designed, you then have a rolling fleet of interconnected computers which are one of the most impactful and enticing attack surfaces out there.”

    As autonomous systems proliferate, the issue extends to machine learning algorithms far beyond vehicles: A March 2019 study showed medical machine-learning systems fooled into giving bad diagnoses.

    A Mobileye spokesperson downplayed the research by suggesting the modified sign would even fool a human into reading 85 instead of 35. The company doesn’t consider tricking the camera to be an attack and, despite the role the camera plays in Tesla’s cruise control and the camera wasn’t designed for autonomous driving.

    “Autonomous vehicle technology will not rely on sensing alone, but will also be supported by various other technologies and data, such as crowdsourced mapping, to ensure the reliability of the information received from the camera sensors and offer more robust redundancies and safety,” the Mobileye spokesperson said in a statement.

    Comme je cherchais des mots clés, je me disais que « #cyberattaque » n’était pas le bon terme, car l’attaque n’est pas via le numérique, mais bien en accolant un stocker sur un panneau physique. Il ne s’agit pas non plus d’une attaque destructive, mais simplement de « rendre fou (footing) » le système de guidage, car celui-ci ne « comprend » pas une situation. La réponse de MobilEye est intéressante : un véhicule autonome ne peut pas se fier à sa seule « perception », mais recouper l’information avec d’autres sources.

    #Machine_learning #Véhicules_autonomes #Tesla #Panneau_routiers #Intelligence_artificielle

  • AI bias creep is a problem that’s hard to fix | Biometric Update

    On the heels of a National Institute of Standards and Technology (NIST) study on demographic differentials of biometric facial recognition accuracy, Karen Hao, an artificial intelligence authority and reporter for MIT Technology Review, recently explained that “bias can creep in at many stages of the [AI] deep-learning process” because “the standard practices in computer science aren’t designed to detect it.”

    “Fixing discrimination in algorithmic systems is not something that can be solved easily,” explained Andrew Selbst, a post-doctoral candidate at the Data & Society Research Institute, and lead author of the recent paper, Fairness and Abstraction in Sociotechnical Systems.

    “A key goal of the fair-ML community is to develop machine-learning based systems that, once introduced into a social context, can achieve social and legal outcomes such as fairness, justice, and due process,” the paper’s authors, which include Danah Boyd, Sorelle A. Friedler, Suresh Venkatasubramanian, and Janet Vertesi, noted, adding that “(b)edrock concepts in computer science – such as abstraction and modular design – are used to define notions of fairness and discrimination, to produce fairness-aware learning algorithms, and to intervene at different stages of a decision-making pipeline to produce ‘fair’ outcomes.”

    Consequently, just recently a broad coalition of more than 100 civil rights, digital justice, and community-based organizations issued a joint statement of civil rights concerns in which they highlighted concerns with the adoption of algorithmic-based decision making tools.

    Explaining why “AI bias is hard to fix,” Hoa cited as an example, “unknown unknowns. The introduction of bias isn’t always obvious during a model’s construction because you may not realize the downstream impacts of your data and choices until much later. Once you do, it’s hard to retroactively identify where that bias came from and then figure out how to get rid of it.”

    Hoa also blames “lack of social context,” meaning “the way in which computer scientists are taught to frame problems often isn’t compatible with the best way to think about social problems.”

    Then there are the definitions of fairness where it’s not at all “clear what the absence of bias should look like,” Hoa argued, noting, “this isn’t true just in computer science – this question has a long history of debate in philosophy, social science, and law. What’s different about computer science is that the concept of fairness has to be defined in mathematical terms, like balancing the false positive and false negative rates of a prediction system. But as researchers have discovered, there are many different mathematical definitions of fairness that are also mutually exclusive.”

    “A very important aspect of ethical behavior is to avoid (intended, perceived, or accidental) bias,” which they said “occurs when the data distribution is not representative enough of the natural phenomenon one wants to model and reason about. The possibly biased behavior of a service is hard to detect and handle if the AI service is merely being used and not developed from scratch since the training data set is not available.”

    #Machine_learning #Intelligence_artificielle #Société #Sciences_sociales

  • « Le terme IA est tellement sexy qu’il fait prendre des calculs pour de l’intelligence »

    Croire que l’intelligence artificielle ait quelque chose à voir avec l’intelligence humaine est une illusion, détaille l’informaticien Vincent Bérenger dans une tribune au « Monde ». Tribune. C’est une éminente figure de l’intelligence artificielle (IA), Yann Le Cun, qui souligne que les prouesses de l’IA démontrent bien plus les limites intellectuelles humaines que l’intelligence de ses réalisations. Nous sommes de mauvais calculateurs, nous ne savons pas brasser de grandes quantités d’informations, (...)

    #algorithme #technologisme

  • Parlez-vous Macron ? Éduc Pop et intelligence collective contre les langages du capitalisme

    Pour faire suite à la conférence gesticulée de Franck Lepage au Cinémanivel de Redon (Ille-et-Vilaine) le 24 janvier dernier, un article pour étudier une forme de contrôle social dont notre langage a fait l’objet à partir des années 1980. Il s’agit de la volonté, de la part du management et des politiques au pouvoir, de mettre en place un « langage commun » au sein de l’entreprise et, in fine, au sein même de la société civile. En conclusion de cet article, quelques idées pour lutter contre le capitalisme en puisant dans les richesses de nos intelligences collectives.


    #capitalisme #languedebois #politique #parlezvousmacron #intelligencecollective #educationpopulaire

  • Éloge de la grève perpétuelle



    Comment un mouvement social serait-il possible sans un élargissement sauvage du sens des choses et de l’existence, sans une rupture, un décloisonnement polysémique du sens courant ?

    Le temps est fini où le monde pouvait se lire sur une échelle binaire (gauche/droite, progrès/réaction, parlementarisme/autoritarisme, prolétariat/bourgeoisie, travail/capital, local/global, etc.) : la crise présente de la civilisation peut aussi se lire aujourd’hui transversalement dans toutes les strates de la société, même si leurs intérêts ne se confondent évidemment pas nécessairement. Bien mieux, cette crise de civilisation est précisément marquée, caractérisée, par l’incapacité désormais acquise de ces (anciennes) oppositions à rendre compte du réel actuel, mais d’un réel qui a également été effectivement construit sur ces oppositions, sur leurs développements pratiques et conceptuels dans le temps.

    Au lieu de chercher à classer les gens en amis et ennemis clairement identifiables en fonction de leur seule place dans la structure hiérarchique (même si celle-ci a aussi une incidence), il me semble plus sage et surtout plus efficace de chercher à voir en quoi chacun est (éventuellement) déchiré par ce conflit de civilisation, comment chacun vit dans le temps ces contradictions ressenties comme insolubles à des degrés divers, à quasiment tous les étages de la pyramide. (...)

    #civilisation #mouvement_social #conflit #enjeux #État #économie #marché #crise #monde #intelligence #politique #contradictions #égalité #différences #dépassement #maladie #capitalisme

  • Washington Must Bet Big on AI or Lose Its Global Clout | WIRED

    The report, from the Center for New American Security (CNAS), is the latest to highlight the importance of AI to the future of the US. It argues that the technology will define economic, military, and geopolitical power in coming decades.

    Advanced technologies, including AI, 5G wireless services, and quantum computing, are already at the center of an emerging technological cold war between the US and China. The Trump administration has declared AI a national priority, and it has enacted policies, such as technology export controls, designed to limit China’s progress in AI and related areas.

    The CNAS report calls for a broader national AI strategy and a level of commitment reminiscent of the Apollo program. “If the United States wants to continue to be the world leader, not just in technology but in political power and being able to promote democracy and human rights, that calls for this type of effort,” says Martijn Rasser, a senior fellow at CNAS and the lead author of the report.

    Rasser and his coauthors believe AI will be as pervasive and transformative as software itself has been. This means it will be of critical importance to economic success as well as military might and global influence. Rasser argues that $25 billion over five years is achievable, and notes that it would constitute less than 19 percent of total federal R&D in the 2020 budget.

    “We’re back in an era of great power competition, and technology is that the center,” Rasser says. “And the nation that leads, not just artificial intelligence but technology across the board, will truly dominate the 21st century.”

    “Both the Russians and the Chinese have concluded that the way to leapfrog the US is with AI,” says Bob Work, a distinguished senior fellow at CNAS who served as deputy secretary of defense under Presidents Obama and Trump. Work says the US needs to convince the public and that it doesn’t intend to develop lethal autonomous weapons, only technology that would counter the work Russia and China are doing.

    In addition to calling for new funding, the CNAS report argues that a different attitude towards international talent is needed. It recommends that the US attract and retain more foreign scientists by raising the number of H1-B visas and removing the cap for people with advanced degrees. “You want these people to live, work, and stay in the United States,” Rasser says. The report suggests early vetting of applications at foriegn embassies to identify potential security risks.

    #Intelligence_artificielle #Guerre_technologique #Géopolitique

  • How Apple personalizes Siri without hoovering up your data - MIT Technology Review

    Instead, it relies primarily on a technique called federated learning, Apple’s head of privacy, Julien Freudiger, told an audience at the Neural Processing Information Systems conference on December 8. Federated learning is a privacy-preserving machine-learning method that was first introduced by Google in 2017. It allows Apple to train different copies of a speaker recognition model across all its users’ devices, using only the audio data available locally. It then sends just the updated models back to a central server to be combined into a master model. In this way, raw audio of users’ Siri requests never leaves their iPhones and iPads, but the assistant continuously gets better at identifying the right speaker.

    In addition to federated learning, Apple also uses something called differential privacy to add a further layer of protection. The technique injects a small amount of noise into any raw data before it is fed into a local machine-learning model. The additional step makes it exceedingly difficult for malicious actors to reverse-engineer the original audio files from the trained model.

    In the past year, federated learning has grown increasingly popular within the AI research community as concerns about data privacy have grown. In March, Google released a new set of tools to make it easier for developers to implement their own federating learning models. Among many other uses, researchers hope it will help overcome privacy challenges in the application of AI to health care. Companies including Owkin, Doc.ai, and Nvidia are interested in using it in this way.

    While the technique is still relatively new and needs further refinement, Apple’s latest adoption offers another case study for how it can be applied at scale. It also marks a fundamental shift in the trade-off the tech industry has traditionally assumed between privacy and utility: in fact, it’s now possible to achieve both. Let’s hope other companies quickly catch on.

    #Intelligence_artificielle #Siri #Federated_learning

  • Ces décisions catastrophiques qui nous menacent - Le Point

    Comment des randonneurs expérimentés ont-ils pris cette décision absurde de s’engager dans une situation de danger mortel ? Alors qu’ils savaient que ce jour-là le risque d’avalanche était élevé au-dessus de 2 200 mètres, que la combe présentait un angle propice aux avalanches et qu’une corniche au-dessus de celle-ci comportait un dépôt de neige apportée par le vent, autre facteur déclenchant ? « C’est la dynamique du groupe qui les y a conduits. » Christian Morel, docteur en sociologie et ancien cadre dans les ressources humaines, a enquêté pendant dix ans sur les processus qui poussent à commettre d’énormes erreurs et les moyens de les neutraliser (1). « La taille du groupe a inhibé la parole et les silences ont été interprétés comme une approbation du choix dangereux. » Sur les quatre experts, un seul avait opté pour cette descente périlleuse, un deuxième n’avait rien dit, le troisième avait repéré les signes alarmants mais ne s’était pas exprimé clairement. Le chef de course, qui avait également vu le dépôt neigeux, analysa le manque d’opposition de ses compagnons comme l’indication que pour eux il n’y avait pas de danger, quand ceux-ci interprétèrent son silence comme un feu vert, un chef sachant par définition ce qu’il fait. « Une équipe de deux skieurs aurait discuté davantage. » La présence de femmes eut sa part dans la prise de décision : « Reculer ne fait pas viril. »

    Le virilisme tue…

    • Ça me fait penser à l’histoire d’un leader de randonnée dans l’Atlas marocain qui avait emmené au casse-pipe son groupe de bourgeois·es du troisième âge (raconté par le beau-fils d’un des participants) : conditions météo dangereuses, fatigue des randonneurs... Le guide marocain était contre la poursuite de la rando et voulait arrêter le groupe à couvert mais le chef avait continué. Une personne était morte, d’autres avaient eu les doigts gelés (amputation). Le guide avait été condamné mais pas le chef, qui était bien le responsable (solitaire, cette fois) de la décision. C’était un ancien directeur de centrale nucléaire. #culture_du_risque

    • C’est curieux parce que c’est un #phénomène_de_groupe dont la psychologie est très connue, c’est LE générateur de prise de risques inconsidérée et d’accidents.
      Quand des alpinistes partent seul·e ou à deux, ils sont nettement plus sur le qui-vive des signaux de danger, mais au-delà de trois personnes, chaque participant suppose que les autres préviendront si il y existe un risque, ce qui annule toute raison de faire attention et rend le groupe crétin.
      Le ou la #Cassandre qui ose prévenir est considérée alors comme une trouble fête et il lui faudra dépenser une bonne dose d’énergie/foi/autorité pour être entendu. Tu vois ça aussi dans les groupes de gauche révolutionnaires qui font bloc quand une femme dénonce un comportement sexiste, le groupe reste muet voire va défendre l’agresseur pour refuser de voir le danger et conserver sa cohésion. C’est l’origine des scissions qui forment les groupes féministes aux USA à la fin des années 60.
      Vive les #dissidentes !

      #intelligence_collective #démocratie #tour_de_table #collégialité #consensus
      et pour l’aspect scientifique 1+1 pour l’#anarchie dont les termes sont ici masqués par la démonstration de la #hiérarchie_restreinte

      Certaines organisations vont plus loin encore en appliquant ce que Christian Morel appelle la « hiérarchie restreinte impliquée ». « Il s’agit d’un transfert marqué du pouvoir de décision vers des acteurs sans position hiérarchique, mais détenteurs d’un savoir et en prise directe avec les opérations. » Sur des bases aériennes de l’armée, un subalterne peut annuler un vol sans en référer à sa hiérarchie. Dans les sous-marins nucléaires d’attaque, les officiers enlèvent leurs galons à bord, marquant ainsi symboliquement leur effacement. Lors des lancements de fusées Ariane, trois techniciens ont pour mission d’annuler toute la procédure en cas de problème. Afin qu’il n’y ait pas d’interférence avec leurs supérieurs, ils sont placés dans un local isolé et privés de tout moyen de télécommunication. L’application du principe de la hiérarchie restreinte aurait certainement évité le crash de l’avion présidentiel polonais le 10 avril 2010, qui résulte, selon toute vraisemblance, d’une pression psychologique exercée par le président et son directeur de protocole sur l’équipage pour atterrir en dépit d’une visibilité insuffisante.

    • Il y a deux choses dans ton propos, @touti.
      La dilution des responsabilités, selon moi, s’applique déjà à deux ! Combien de fois tu te retrouves à marcher avec un·e ami·e vers une destination qu’il ou elle a choisie... alors qu’en fait elle ou il pensait te suivre ! Morel raconte dans son bouquin comment quatre personnes vont faire une excursion pénible alors qu’ils sont bien sous la terrasse parce que les plus âgé·es pensent que les plus jeunes vont s’emmerder et que les plus jeunes se disent que les plus âgé·es voudront profiter de leur présence pour aller faire un tour en ville. En fait personne ne voulait y aller mais le #silence (parlons-nous ! même si ce n’est pas toujours agréable) fait que chacun·e postule que l’autre veut ça et choisit de lui faire plaisir.
      Et puis cette hiérarchie formelle (le Blanc dans mon histoire, celui qui est l’entrepreneur en randonnée) qui empêche à l’expertise technique (le guide qui connaît l’environnement local et sait à quoi s’attendre) d’être prise en considération puisque c’est elle qui a le pouvoir. La dynamique des groupes restreints montre bien qu’on a le meilleur résultat (les décisions les plus adaptées au milieu) quand on a le moins d’autoritarisme dans un groupe. Le virilisme étant une lutte entre hommes pour le pouvoir sur les femmes et les autres hommes (patriarcat), il annihile par essence l’intelligence (collective et parfois individuelle).

      J’ai lu le premier bouquin de Christian Morel (il a fait un tome 2, son propos est très bien illustré et un peu drôle, c’est limite de la pop sociologie) mais je lui préfère largement ce classique de la psychologie sociale (Morel est d’ailleurs sociologue).

      Troisième aspect, pardon : silence complice des hommes qui savent d’abord que ça pourrait leur coûter quelque chose, d’ouvrir leur gueule, sans bénéfice, comme toujours dans la vie. Mais en plus laisser une femme se faire casser sert objectivement leurs relations de pouvoir avec toutes les autres femmes, l’air de rien, parce que le spectacle d’une qui se fait casser apprend la laisse aux autres.

  • YouTube : un bug a entraîné des dizaines de faux signalements pour droits d’auteur

    Des streameurs et streameuses ont reçu de multiples revendications de la part d’un même ayant-droit. YouTube plaide l’erreur et explique que cela n’aura pas de conséquence pour les personnes concernées. Les vidéastes n’en ont décidément pas fini de se battre avec Content ID, le système utilisé par YouTube pour faire respecter les droits d’auteur, et revendiquer des droits sur une partie de leurs revenus. Ce mercredi 4 décembre, plusieurs streameurs et streameuses se sont plaint de revendications (...)

    #Google #streaming #YouTube #ContentID #copyright #erreur #algorithme


  • On the Measure of Intelligence - François Chollet

    To make deliberate progress towards more intelligent and more human-like artificial systems, we need to be following an appropriate feedback signal: we need to be able to define and evaluate intelligence in a way that enables comparisons between two systems, as well as comparisons with humans. Over the past hundred years, there has been an abundance of attempts to define and measure intelligence, across both the fields of psychology and AI. We summarize and critically assess these definitions and evaluation approaches, while making apparent the two historical conceptions of intelligence that have implicitly guided them. We note that in practice, the contemporary AI community still gravitates towards benchmarking intelligence by comparing the skill exhibited by AIs and humans at specific tasks such as board games and video games. We argue that solely measuring skill at any given task falls short of measuring intelligence, because skill is heavily modulated by prior knowledge and experience: unlimited priors or unlimited training data allow experimenters to “buy” arbitrary levels of skills for a system, in a way that masks the system’s own generalization power. We then articulate a new formal definition of intelligence based on Algorithmic Information Theory, describing intelligence as skill-acquisition efficiency and highlighting the concepts of scope, generalization difficulty, priors, and experience. Using this definition, we propose a set of guidelines for what a general AI benchmark should look like. Finally, we present a benchmark closely following these guidelines, the Abstraction and Reasoning Corpus (ARC), built upon an explicit set of priors designed to be as close as possible to innate human priors. We argue that ARC can be used to measure a human-like form of general fluid intelligence and that it enables fair general intelligence comparisons between AI systems and humans.


  • Comment rendre les IA « humbles » pour qu’elles restent sous contrôle

    Un addenda judicieux aux trois lois de la robotique d’Isaac Asimov.

    En guise d’alternative au système actuel, Russell élabore ainsi le concept de « machines bénéfiques », qu’il définit comme étant certes « intelligentes » mais qui devraient surtout remplir uniquement « nos objectifs » et non « leurs objectifs propres ». La différence avec ce qui existe actuellement paraît subtile, mais l’auteur expose trois principes pour l’établir : « le seul objectif de la machine est de maximiser la réalisation des préférences humaines » ; « la machine est initialement incertaine à propos de ce que sont ces préférences » ; « la source ultime d’information pour définir ces préférences est le comportement humain. »

    #IA #robot #intelligence-artificielle

  • AI For Good Is Often Bad. Trying to solve poverty, crime, and disease with (often biased) technology doesn’t address their root causes.

    After speaking at an MIT conference on emerging #AI technology earlier this year, I entered a lobby full of industry vendors and noticed an open doorway leading to tall grass and shrubbery recreating a slice of the African plains. I had stumbled onto TrailGuard AI, Intel’s flagship AI for Good project, which the chip company describes as an artificial intelligence solution to the crime of wildlife poaching. Walking through the faux flora and sounds of the savannah, I emerged in front of a digital screen displaying a choppy video of my trek. The AI system had detected my movements and captured digital photos of my face, framed by a rectangle with the label “poacher” highlighted in red.

    I was handed a printout with my blurry image next to a picture of an elephant, along with text explaining that the TrailGuard AI camera alerts rangers to capture poachers before one of the 35,000 elephants each year are killed. Despite these good intentions, I couldn’t help but wonder: What if this happened to me in the wild? Would local authorities come to arrest me now that I had been labeled a criminal? How would I prove my innocence against the AI? Was the false positive a result of a tool like facial recognition, notoriously bad with darker skin tones, or was it something else about me? Is everyone a poacher in the eyes of Intel’s computer vision?

    Intel isn’t alone. Within the last few years, a number of tech companies, from Google to Huawei, have launched their own programs under the AI for Good banner. They deploy technologies like machine-learning algorithms to address critical issues like crime, poverty, hunger, and disease. In May, French president Emmanuel Macron invited about 60 leaders of AI-driven companies, like Facebook’s Mark Zuckerberg, to a Tech for Good Summit in Paris. The same month, the United Nations in Geneva hosted its third annual AI for Global Good Summit sponsored by XPrize. (Disclosure: I have spoken at it twice.) A recent McKinsey report on AI for Social Good provides an analysis of 160 current cases claiming to use AI to address the world’s most pressing and intractable problems.

    While AI for good programs often warrant genuine excitement, they should also invite increased scrutiny. Good intentions are not enough when it comes to deploying AI for those in greatest need. In fact, the fanfare around these projects smacks of tech solutionism, which can mask root causes and the risks of experimenting with AI on vulnerable people without appropriate safeguards.

    Tech companies that set out to develop a tool for the common good, not only their self-interest, soon face a dilemma: They lack the expertise in the intractable social and humanitarian issues facing much of the world. That’s why companies like Intel have partnered with National Geographic and the Leonardo DiCaprio Foundation on wildlife trafficking. And why Facebook partnered with the Red Cross to find missing people after disasters. IBM’s social-good program alone boasts 19 partnerships with NGOs and government agencies. Partnerships are smart. The last thing society needs is for engineers in enclaves like Silicon Valley to deploy AI tools for global problems they know little about.

    Get WIRED Access
    Most Popular


    The Strange Life and Mysterious Death of a Virtuoso Coder
    Brendan I. Koerner

    How the Dumb Design of a WWII Plane Led to the Macintosh
    Cliff Kuang

    Burglars Really Do Use Bluetooth Scanners to Find Laptops and Phones
    Lily Hay Newman

    How Iran’s Government Shut Off the Internet
    Lily Hay Newman

    The deeper issue is that no massive social problem can be reduced to the solution offered by the smartest corporate technologists partnering with the most venerable international organizations. When I reached out to the head of Intel’s AI for Good program for comment, I was told that the “poacher” label I received at the TrailGuard installation was in error—the public demonstration didn’t match the reality. The real AI system, Intel assured me, only detects humans or vehicles in the vicinity of endangered elephants and leaves it to the park rangers to identify them as poachers. Despite this nuance, the AI camera still won’t detect the likely causes of poaching: corruption, disregarding the rule of law, poverty, smuggling, and the recalcitrant demand for ivory. Those who still cling to technological solutionism are operating under the false assumption that because a company’s AI application might work in one narrow area, it will work on a broad political and social problem that has vexed society for ages.

    Sometimes, a company’s pro-bono projects collide with their commercial interests. Earlier this year Palantir and the World Food Programme announced a $45M partnership to use data analytics to improve food delivery in humanitarian crises. A backlash quickly ensued, led by civil society organizations concerned over issues like data privacy and surveillance, which stem from Palantir’s contracts with the military. Despite Palantir’s project helping the humanitarian organization Mercy Corps aid refugees in Jordan, protesters and even some Palantir employees have demanded the company stop helping the Immigration and Customs Enforcement detain migrants and separate families at the US border.

    Even when a company’s intentions seem coherent, the reality is that for many AI applications, the current state of the art is pretty bad when applied to global populations. Researchers have found that facial recognition software, in particular, is often biased against people of color, especially those who are women. This has led to calls for a global moratorium on facial recognition and cities like San Francisco to effectively ban it. AI systems built on limited training data create inaccurate predictive models that lead to unfair outcomes. AI for good projects often amount to pilot beta testing with unproven technologies. It’s unacceptable to experiment in the real world on vulnerable people, especially without their meaningful consent. And the AI field has yet to figure out who is culpable when these systems fail and people are hurt as a result.

    This is not to say tech companies should not work to serve the common good. With AI poised to impact much of our lives, they have more of a responsibility to do so. To start, companies and their partners need to move from good intentions to accountable actions that mitigate risk. They should be transparent about both benefits and harms these AI tools may have in the long run. Their publicity around the tools should reflect the reality, not the hype. To Intel’s credit, the company promised to fix that demo to avoid future confusion. It should involve local people closest to the problem in the design process and conduct independent human rights assessments to determine if a project should move forward. Overall, companies should approach any complex global problem with the humility in knowing that an AI tool won’t solve it.

    #IA #intelligence_artificielle #pauvreté #développement #technologie #root_causes #API #braconnage #wildlife #éléphants #droits_humains

  • Les abeilles derrière les fenêtres | Lise Gaignard et Aline Torterat

    Quand on cherche obtenir une aide sur un site internet, il arrive qu’on se retrouve à « tchatter » avec un visage dessiné et un prénom d’emprunt, qui répond à côté et nous embrouille. Pour réduire l’agacement qui nous saisit, il peut être utile de connaître ce qui se passe de l’autre côté de l’écran. Au risque de transformer cet agacement en effarement. Source : Jef Klak

  • Comment un algorithme a empêché des millions d’Afro-Américains de bénéficier de soins de santé optimaux - Société - Numerama

    En 2018, le Centre national des statistiques de santé expliquait que 9 % de la population vivait sans couverture maladie. Les soins de santé sont particulièrement difficiles d’accès pour eux, ce qui pousse beaucoup de gens à y renoncer.

    Parmi ces 9 %, explique l’étude, les patientes et patients noirs sont surreprésentés : en raison de leur couleur de peau, ils subissent des discriminations et sont davantage exposés à la précarité. L’algorithme mis en cause par la revue Science aurait uniquement compris qu’ils dépensaient moins d’argent dans les soins de santé… mais il n’a pas pris en compte les raisons. Pour ce genre d’outils, « moins d’argent dépensé » équivaut en effet bêtement à « moins de problèmes de santé ».

    Selon l’étude, 17,7 % des patients américains noirs reçoivent actuellement ce que l’on appelle « une prise en charge complémentaire », réservée aux patients à risque. Science estime que si l’algorithme était correctement conçu, ce pourcentage devrait être de 46,5 %. À terme, cela peut créer des problèmes de santé majeurs.

    L’étude ne mentionne pas l’identité des créateurs de l’algorithme. Elle explique que plusieurs firmes utilisent des systèmes similaires, les assureurs notamment. Ils permettent à ces derniers d’éviter des frais jugés inutiles, en analysant au mieux les besoins des patients.

    #Santé #Intelligence_artificielle #Racisme #Algorithmes

    • Je ne comprends pas @nestor si tu interroges la pertinence de traiter les gens comme des items statistiques ou si c’est juste une manière de dire que tu t’en tapes, des conséquences du racisme et des préjugés, parce que les personnes noires ont le super privilège de voir une personne sur 100 000 financer ses études par le sport ou sur un million gagner un paquet.

  • Yodo1’s AI-driven whale hunt is a bad look for the games industry | Opinion | GamesIndustry.biz

    We’ve learned a lot about making money from games, and making and managing good games. About a year ago I decided, what if I could teach AI how to do all of this? What if I could teach #AI how to make money from this? What if I could teach AI how to find whales inside of games? What if I could teach AI how to moderate a game community of millions of players?

    (note : whale = joueur qui paie — l’un d’eux a payé 150,000$ dans un jeu, lequel emploie des techniques d’#intelligence_artificielle pour définir les propositions commerciales et moduler la partie de manière à extraire le max de pognon des gogos)

    #extractivisme #addiction #jeu_vidéo

  • Zeynep Tufekci : Get a red team to ensure AI is ethical | Verdict

    In cybersecurity, red team professionals are tasked with finding vulnerabilities before they become a problem. In artificial intelligence, flaws such as bias often become apparent only once they are deployed.

    One way to catch these AI flaws early is for organisations to apply the red team concept when developing new systems, according to techno-sociologist and academic Zeynep Tufekci.

    “Get a read team, get people in the room, wherever you’re working, who think about what could go wrong,” she said, speaking at Hitachi Vantara’s Next conference in Las Vegas, US, last week. “Because thinking about what could go wrong before it does is the best way to make sure it doesn’t go wrong.”

    Referencing Hitachi CEO and president Toshiaki Higashihara description of digitalisation as having “lights and shadows”, Tufekci warned of the risks associated with letting the shadowy side go unchecked.
    AI shadows

    One of these “shadows” is when complex AI systems become black boxes, making it difficult even for the AI’s creators to explain how it made its decision.

    Tufekci also cited the example of YouTube’s recommendation algorithm pushing people towards extremism. For example, a teenager could innocently search ‘is there a male feminism’ and then be nudged towards misogynistic videos because such controversial videos have received more engagement.

    And while data can be used for good, it can also be used by authoritarian governments to repress its citizens, or by election consultancies to manipulate our votes.

    Then there are the many instances of human bias finding their way into algorithms. These include AI in recruitment reflecting the sexism of human employers or facial recognition not working for people with darker skin.

    “If the data can be used to fire you, or to figure out protesters or to use for social control, or not hire people prone to depression, people are going to be like: ‘we do not want this’,” said Tufekci, who is an associate professor at the UNC School of Information and Library Science.

    “What would be much better is to say, what are the guidelines?”
    Using a red team to enforce AI ethics guidelines

    Some guidelines already exist. In April 2018, the European Union’s High-Level Expert Group on AI presented seven key requirements for trustworthy AI.

    These requirements include human oversight, accountability and technical robustness and safety. But what Tufekci suggests is having a team of people dedicated to ensuring AI ethics are adhered to.
    3 Things That Will Change the World Today
    Get the Verdict morning email

    “You need people in the room, who are going to say there’s light and there are shadows in this technology, and how do we figure out to bring more light into the shadowy side, so that we’re not blindsided, so that we’re not just sort of shocked by the ethical challenges when they hit us,” she explained.

    “So we think about it ahead of time.”

    However, technology companies often push back against regulation, usually warning that too much will stifle innovation.

    “Very often when a technology is this new, and this powerful, and this promising, the people who keep talking about what could go wrong – which is what I do a lot – are seen as these spoilsport people,” said Tufekci.

    “And I’m kind of like no – it’s because we want it to be better.”

    #Intelligence_artificielle #Zeynep_Tufekci #Cybersécurité #Biais #Big_data

  • Nouveau récapitulatif automnal : six mois d’inscriptions murales | Yves Pagès

    Sale coup pour la sempiternelle convergence des buts (sinon des luttes), on a vu la semaine dernière les gentils organisateurs d’Extinction/Rébellion s’ingénier à effacer à l’acétone tags et graffitis sur le Pont au Change occupé, près du Châtelet. Comme s’il leur fallait tout à la fois scénographier la désobéissance collective et en faire disparaître toute trace de contamination textuelle, hors la marque déposée de leur logo. Source : Pense-bête

  • Sur le plancher des vaches (IV/I)
    Symboles (et plus si affinités)



    Paris, le 7 octobre 2019

    « Le plancher des vaches » inaugural jouait avec quelques pseudo-vérités concernant ce que l’on a nommé la « technontologie ». La principale question posée était celle-ci : Notre genre d’humain n’aurait-il pas une certaine propension à recycler sans fin le divin Un ? Si tel était le cas, Dieu ne serait pas mort, mais où s’cache t’El crénom ?

    Le champ d’investigation proposé pour tenter de répondre à cette question est celui du monde du travail. « Le plancher des vaches II » a brossé à grand traits quelques dispositifs structurants mis en place à l’échelon mondial depuis les années 1980, dispositifs dont on a affirmé, dans « le plancher des vaches III », qu’ils dessinent un mouvement progressif de chosification du vivant.

    Ce mouvement n’est pas récent, mais on fait ici l’hypothèse qu’après la prise de corps opérée par la division scientifique du travail, puis le remplacement de bien des corps par des machines, l’époque actuelle est à la prise de tête. Nous avons réduit celle-ci au seul vocable de normalisation — nom proposé pour les tables de la loi —, soit un état de normalité, ce qui pourrait sembler à d’aucuns rassurant. Mais dans ce terme, au-delà de la norme, il y a un caractère de procédé, une proactivité et, sous-jacentes à celle-ci, des nécessités de vérifier ladite normalité. (...)

    #Dieu #normalisation #loi #Florence_Parly #intelligence_artificielle #symbole #cercle #Terre #religion #flèches #projet #développement_durable #trinité #génome #borroméen #plan #parousie #entreprise #objectif #stratégie #Hannah_Arendt

  • Pigs recorded using tools for the first time

    Though many wild species use tools, from chimpanzees to crows to dolphins, no one has reported the phenomenon in any pig, including the 17 wild pig species and domestic swine. This surprised Root-Bernstein, especially considering the Suidae family’s well-known intelligence.

    But because wild pigs are so little studied and, in most cases, either endangered or critically endangered, it may not be so unusual that such innovation has escaped human eyes, says Root-Bernstein, whose study appeared in September in the journal Mammalian Biology. (Read why we love—and loathe—the humble pig.)

    #cochon #outil #intelligence

  • Think only authoritarian regimes spy on their citizens?

    Use of AI surveillance technology is becoming the global norm, even in liberal democracies.

    Almost half the world’s countries now deploy AI surveillance systems. So says a new report, The Global Expansion of AI Surveillance, from the #Carnegie_Endowment_for_International_Peace (https://carnegieendowment.org/2019/09/17/global-expansion-of-ai-surveillance-pub-79847). Such technologies vary from “#smart_city” projects, which use real-time data on residents to aid delivery of public services and enhance policing, to facial recognition systems, to border security, to governments spying on political dissidents.

    The main driver is China. The tech company Huawei alone is responsible for providing AI surveillance technology to at least 50 countries. But it’s not just Beijing pushing such technology. Western companies, from IBM to Palantir, are deeply involved. In Saudi Arabia, for instance, Huawei is helping create smart cities, Google and Amazon are building cloud computing servers for government surveillance and the UK arms firm BAE is providing mass monitoring systems.

    While authoritarian countries are investing heavily in such technology, it is most widespread in democracies. “Liberal democratic governments,” the report observes, “are aggressively using AI tools to police borders, apprehend potential criminals, monitor citizens for bad behaviour and pull out suspected terrorists from crowds.” Projects range from Baltimore’s secret use of drones for daily surveillance of the city’s residents, to Marseille’s mass monitoring project, built largely by the Chinese firm ZTE and given the very Orwellian name of Big Data of Public Tranquility, to the array of advanced surveillance techniques being deployed on the US-Mexico border.

    The technologies raise major ethical issues and questions about civil liberties. Yet even before we’ve begun to ask such questions, the technology has become so ubiquitous as to render the debate almost redundant. That should be as worrying as the technology itself.

    #surveillance #démocratie #intelligence_artificielle #big_data #index #Chine #Huawei #IBM #Palantir #Google #Amazon #BAE #drones #Baltimore #Marseille #ZTE #Big_data_of_public_tranquility

  • La France en danger : où en est le renseignement ?
    Eric Dénécé, Diffusé en direct le 11 sept. 2019

    La France en danger : où en est le renseignement ?

    vers 24:00 Eric Dénécé émet de forts doutes sur l’autonomie de la diplomatie française
    #Macron, #G7, le ministre iranien des Affaires étrangères Mohammad #Javad_Zarif, #John_Bolton.

    Vers 34:50 #Ukraine #CIA
    vers 45:50 #Arabie_Saoudite #Iran
    54 : #Intelligence_économique #Alsthom
    1:09:20 #Affaire_Skripal
    1:11:15 #Yemen
    1:14:50 seule mention de Gaza pour dire que les images sur la #Syrie étaient manipulées, et qu’on montrait à la place les destructions sur #Gaza.
    1:16 frappes chimiques fausses

    Eric dénécé directeur du CF2R : https://www.cf2r.org/#
    Il conseille de lire Le secret de l’Occident : Vers une théorie générale du progrès scientifique de David Cosandey, Flammarion

  • Un prix littéraire décerné par une intelligence artificielle : une idée aussi stupide qu’il y paraît ?

    Sur son site, QualiFiction affirme que LiSA est une intelligence artificielle capable de détecter les best-sellers (carrément). En 60 secondes chrono, l’algorithme analyse un texte long de plusieurs centaines de pages, est capable d’en extraire les données et de proposer une analyse autour de quatre pivots :

    analyse du sujet : le texte est-il un thriller ou une histoire d’amour ? Quelles en sont les informations pertinentes ?
    analyse des sentiments : s’agit-il d’une bluette légère ou d’un roman d’horreur à vous donner des cauchemars ? Le texte se termine-t-il en happy end ou en catastrophe ? Quelle en est la tonalité générale ?
    style : quel est le degré de complexité du texte ? Le style est-il accessible au commun des lecteurs ou d’une complexité littéraire plus élevée ?
    prédiction : LiSA définit le public-cible du texte, évalue ses chances d’atteindre le maximum de lecteurs possible ou s’il s’adresse davantage à une niche.

    Ainsi que l’explique QualiFiction, LiSA a été entraîné en ingérant le contenu de milliers de livres et en y corrélant l’historique de leur succès (ou de leur insuccès). En appliquant la même recette à des manuscrits inédits, l’entreprise espère pouvoir prédire le sort d’un roman à paraître. Actuellement, elle revendique un taux de succès de 78% — ce qui est déjà énorme — et affirme que l’algorithme s’améliorera encore dans un futur proche, à mesure que ses analyses s’affineront et que l’IA engrangera plus de données.

    Pas convaincu par la suite du post... Ce que fait l’IA, c’est repérer des patterns réguliers et les comparer avec les patterns du marché. Ce qui ne peut fonctionner que pour les livres de forte demande, sur des secteurs où les patterns repérables et les régularités sociales sont statistiquement évaluables. Et cela va repérer la « vendabilité » d’un livre et en aucun cas sa valeur intrinsèque.

    Pour mémoire, Minuit n’a vendu que 150 exemplaires de « En attendant Godot » la première année...

    #Intelligence_artificielle #Littérature #Edition