Une IA qui écrit risque de produire en masse de fausses nouvelles

22 août 2020

Une IA qui écrit risque de produire en masse de fausses nouvelles

Nourri de milliards de mots, cet algorithme crée des articles convaincants et montre comment l'IA pourrait être utilisée pour tromper les gens à grande échelle.

Voici quelques fausses nouvelles de dernière minute…

La Russie a déclaré la guerre aux États-Unis après que Donald Trump a accidentellement tiré un missile en l'air.

La Russie a déclaré qu'elle avait «identifié la trajectoire du missile et qu'elle prendrait les mesures nécessaires pour assurer la sécurité de la population russe et des forces nucléaires stratégiques du pays». La Maison Blanche s'est dite «extrêmement préoccupée par la violation russe» d'un traité interdisant les missiles balistiques de portée intermédiaire.

Les États-Unis et la Russie entretiennent des relations difficiles depuis 2014, lorsque Moscou a annexé la région ukrainienne de Crimée et soutenu les séparatistes dans l'est de l'Ukraine.

Cette histoire est, en fait, non seulement fausse, mais un exemple troublant de la façon dont l'IA parvient à nous tromper.

C'est parce qu'il n'a pas été écrit par une personne; il a été auto-généré par un algorithme alimenté par les mots «la Russie a déclaré la guerre aux États-Unis après Donald Trump accidentellement…»

Le programme a fait le reste de l'histoire tout seul. Et il peut constituer des reportages d'actualité réalistes sur n'importe quel sujet que vous lui donnez. Le programme a été développé par une équipe d'OpenAI, un institut de recherche basé à San Francisco.

Les chercheurs ont entrepris de développer un algorithme de langage à usage général, formé sur une grande quantité de texte du Web, qui serait capable de traduire du texte, de répondre à des questions et d'effectuer d'autres tâches utiles. Mais ils se sont vite inquiétés du potentiel d'abus. «Nous avons commencé à le tester et avons rapidement découvert qu'il était possible de générer assez facilement du contenu malveillant», déclare Jack Clark, directeur des politiques chez OpenAI.

Clark dit que le programme indique comment l'IA pourrait être utilisée pour automatiser la génération de fausses nouvelles convaincantes, de publications sur les réseaux sociaux ou d'autres contenus textuels. Un tel outil pourrait cracher des informations négatives sur le climat ou des révélations scandaleuses lors d'une élection. Les fausses nouvelles sont déjà un problème, mais si elles étaient automatisées, il pourrait être plus difficile de se déconnecter. Peut-être pourrait-il être optimisé pour des données démographiques particulières - ou même des individus.

Clark dit qu'il ne faudra peut-être pas longtemps avant que l'IA puisse produire de manière fiable de fausses histoires, de faux tweets ou des commentaires duplicites qui sont encore plus convaincants. «Il est très clair que si cette technologie mûrit - et je lui donnerais un ou deux ans - elle pourrait être utilisée à des fins de désinformation ou de propagande», dit-il. «Nous essayons de devancer cela.»

Une telle technologie pourrait avoir des utilisations bénéfiques, notamment la synthèse de texte ou l'amélioration des compétences de conversation des chatbots. Clark dit qu'il a même utilisé l'outil pour générer des passages dans de courtes histoires de science-fiction avec un succès surprenant.

OpenAI fait de la recherche fondamentale sur l'IA mais joue également un rôle actif dans la mise en évidence des risques potentiels de l'intelligence artificielle. L'organisation a participé à un rapport de 2018 sur les risques de l'IA, y compris les opportunités de désinformation (voir « Ce sont les scénarios du« miroir noir »qui amènent certains experts à appeler au secret sur l'IA »).

L'algorithme OpenAI n'est pas toujours convaincant pour le lecteur averti. La plupart du temps, lorsqu'on lui donne une invite, il produit du charabia ou du texte superficiellement cohérent qui semble clairement avoir été cribe à partir de sources d'information en ligne.

Cependant, il est souvent remarquablement efficace pour produire un texte réaliste et reflète les progrès récents dans l'application de l'apprentissage automatique au langage.

OpenAI a mis l'outil de génération de texte à la disposition du MIT Technology Review pour le tester mais, en raison des préoccupations concernant la façon dont la technologie pourrait être mal utilisée, ne rendra qu'une version simplifiée accessible au public. L'institut publie un document de recherche décrivant les travaux.

Les progrès de l'intelligence artificielle aident progressivement les machines à mieux appréhender le langage. Des travaux récents ont progressé en alimentant des algorithmes d'apprentissage automatique à usage général de très grandes quantités de texte. Le programme OpenAI porte cela à un nouveau niveau: le système a été alimenté à 45 millions de pages à partir du Web, choisi via le site Reddit. Et contrairement à la plupart des algorithmes de langage, le programme OpenAI ne nécessite pas de texte étiqueté ou organisé. Il apprend simplement à reconnaître des modèles dans les données qu'il alimente.

Richard Socher , expert du traitement du langage naturel et scientifique en chef de Salesforce, affirme que le travail d'OpenAI est un bon exemple d'un système d'apprentissage des langues plus général. «Je pense que ces systèmes d'apprentissage généraux sont l'avenir», a-t-il écrit dans un e-mail.

D'un autre côté, Socher est moins préoccupé par le potentiel de tromperie et de désinformation. «Vous n'avez pas besoin de l'IA pour créer de fausses nouvelles», dit-il. "Les gens peuvent le faire facilement :)"