On sait comment cette histoire se termine hélas ! David Scharfenberg interroge les raisons de cet échec. Pour Ellen Goodman, professeure de droit à Rutgers, l’ouverture d’un algorithme n’est pas une question de code : la transparence doit impliquer l’ensemble du processus. Pour y parvenir, il faut parvenir à expliquer clairement à la fois son objectif, les critères pris en compte et le poids qu’il leur donne. Mais cela ne suffit pas. Le problème de l’algorithme était qu’il bouleversait le rythme de vie des familles, ce qui pour beaucoup était intolérable, car il imposait pour nombre de familles de changer leurs horaires de travail voire impliquait même, pour certains, de devoir changer d’emploi. Le processus et ses explications n’ont pas réussi à engager les parents… et au-delà des parents, tant ces bouleversements nécessitaient également d’engager au-delà des familles, jusqu’aux commerces et entreprises du district…
Les chercheurs ont également montré, comme le soulignait Ito, que les critiques les plus fortes provenaient des meilleurs quartiers de la ville, alors que ces parents ne savaient pas grand-chose des disparités raciales auxquelles l’algorithme avait aussi tenté de remédier. Pourtant, les bouleversements d’horaires proposés par la formule touchaient 85 % des parents, et bien plus fortement les familles démunies qui n’ont pas fait entendre leur voix. La question des horaires et leur impact très immédiat sur la vie des gens a eu raison de la solution technique. L’algorithme avait fait exactement ce que les décideurs publics avaient demandé et certainement mieux que ce qu’aucun humain n’aurait pu faire. Malgré la puissance de son calcul, l’algorithme a été terrassé par un conflit profondément humain. Il n’a pas rendu les choix plus faciles.
