Facebook founder Mark Zuckerberg has outlined a plan to let artificial intelligence (AI) software review content posted on the social network.
In a letter describing the plan, he said algorithms would eventually be able to spot terrorism, violence, bullying and even prevent suicide.
He admitted Facebook had previously made mistakes in the content it had removed from the website.
But he said it would take years for the necessary algorithms to be developed.
The announcement has been welcomed by an internet safety charity, which had previously been critical of the way the social network had handled posts depicting extreme violence.
Errors
In his 5,500-word letter discussing the future of Facebook, Mr Zuckerberg said it was impossible to review the billions of posts and messages that appeared on the platform every day.
“The complexity of the issues we’ve seen has outstripped our existing processes for governing the community,” he said.
He highlighted the removal of videos related to the Black Lives Matter movement and the historical napalm girl photograph from Vietnam as “errors” in the existing process.
Facebook was also criticised in 2014, following reports that one of the killers of Fusilier Lee Rigby spoke online about murdering a soldier, months before the attack.
"We are researching systems that can read text and look at photos and videos to understand if anything dangerous may be happening.
“This is still very early in development, but we have started to have it look at some content, and it already generates about one third of all reports to the team that reviews content.”
“Right now, we’re starting to explore ways to use AI to tell the difference between news stories about terrorism and actual terrorist propaganda.”
Mr Zuckerberg said his ultimate aim was to allow people to post largely whatever they liked, within the law, with algorithms detecting what had been uploaded.
Users would then be able to filter their news feed to remove the types of post they did not want to see.
“Where is your line on nudity? On violence? On graphic content? On profanity? What you decide will be your personal settings,” he explained.
"For those who don’t make a decision, the default will be whatever the majority of people in your region selected, like a referendum.
"It’s worth noting that major advances in AI are required to understand text, photos and videos to judge whether they contain hate speech, graphic violence, sexually explicit content, and more.
“At our current pace of research, we hope to begin handling some of these cases in 2017, but others will not be possible for many years.”
The plan was welcomed by the Family Online Safety Institute, a member of Facebook’s own safety advisory board. The charity had previously criticised the social network for allowing beheading videos to be seen without any warning on its site.
“This letter further demonstrates that Facebook has been responsive to concerns and is working hard to prevent and respond to abuse and inappropriate material on the platform,” said Jennifer Hanley, Fosi’s vice president of legal and policy.
“I also really like the ability for users to customise their own experiences with these developments. It’s important to give users power over their online experiences, and additional tools and controls will be helpful.”
Read Kamal Ahmed’s interview with Mark Zuckerberg
« On y arrive : les algos justiciers », commente @arouvroy.
Les messages agressifs et haineux pullulent en ligne, et polluent, entre autres, les fils de commentaires de nombreux sites. Jigsaw, une organisation appartenant à Google et dont le but affiché est de « rendre le monde plus sûr grâce aux technologies », devait annoncer jeudi 23 février la mise à disposition de tous en open source d’une technologie censée aider à assainir les fils de discussion.
Perspective, c’est son nom, a été testée plusieurs mois sur le site du New York Times. Il s’agit d’une technologie d’intelligence artificielle, ou plus précisément de #machine_learning (apprentissage des machines), capable d’évaluer, sur une note de 1 à 100, le degré de « toxicité » d’un commentaire. Pour y parvenir, elle a analysé des millions de commentaires du New York Times – mais aussi de Wikipédia – et scruté la façon dont ils étaient traités par l’équipe de modération du site. Le programme a ainsi appris à repérer les commentaires problématiques, en se basant sur l’expérience des humains qui l’ont précédé à cette tâche.
Cet outil permet donc d’évaluer un commentaire bien plus rapidement qu’un humain – et pour un coût bien moindre. Mais n’a pas pour autant vocation à remplacer les modérateurs. Et pour cause : « Cette technologie est loin d’être parfaite », reconnaît volontiers Jared Cohen, le fondateur de Jigsaw, soulignant qu’il ne s’agit que « des premiers pas » de ce programme : « Plus l’outil sera utilisé, plus il s’améliorera. »
Les sites peuvent d’ailleurs l’utiliser comme bon leur semble : ils peuvent par exemple faire en sorte que les commentaires repérés comme étant les plus problématiques soient envoyés en priorité aux modérateurs humains. Ils peuvent aussi donner la possibilité aux internautes de classer les commentaires en fonction de leur degré de « toxicité ». Ou pourquoi pas, propose Jigsaw, afficher un message au commentateur lui-même, au moment où il s’apprête à publier un message détecté comme violent ? Avec cette dernière méthode, « il est possible de réduire ce genre de discours de façon impressionnante », assure Jared Cohen, en référence à une expérimentation du même type menée par Riot Games, l’éditeur du jeu vidéo très populaire « League of Legends ».
Jigsaw espère ainsi permettre à ces sites « d’héberger des conversations de meilleure qualité », explique Jared Cohen, mais aussi de créer un environnement plus sain pour faire revenir les personnes n’osant plus participer aux discussions. Outre le New York Times, plusieurs médias comme le Guardian ou The Economist se sont montrés intéressés. Pour l’instant, la technologie fonctionne en anglais, mais sera bientôt accessible dans d’autres langues.
