Le Traitement Automatique du Langage Naturel (Natural Language Processing en anglais ou NLP) est un domaine de l’Intelligence Artificielle qui a toujours suscité le rêve autant que la dérision — et effectivement, lire en boucle le « je ne comprends pas bien votre question » des chatbots ne donne pas le sentiment d’une grande intelligence.

Mais depuis quelques jours le NLP suscite aussi la peur. Oeuvrant vers une IA au service de l’humanité, la fondation OpenAI a publié les résultats de son dernier réseau neuronal, nommé élégamment “GPT-2”, qui est capable de générer des textes d’une cohérence étonnante.

GPT-2 en action

A partir du début de phrase « La Russie a déclaré la guerre aux États-Unis après que Donald Trump a accidentellement » GPT-2 écrit ainsi l’article suivant:

« La Russie a déclaré la guerre aux États-Unis après que Donald Trump a accidentellement tiré un missile en l’air.

La Russie a déclaré qu’elle avait « identifié la trajectoire du missile et qu’elle prendra les mesures nécessaires pour assurer la sécurité de la population russe et des forces nucléaires stratégiques du pays ». La Maison-Blanche s’est déclarée « extrêmement préoccupée par la violation par la Russie » d’un traité interdisant les missiles balistiques à portée intermédiaire.

Les États-Unis et la Russie entretiennent des relations difficiles depuis 2014, date à laquelle Moscou a annexé la région ukrainienne de Crimée et soutenu les séparatistes de l’est de l’Ukraine. »

Et il s’agit là d’un des exemples les plus courts, vous pouvez voir des exemples plus longs ici et ici (des licornes!) ainsi que l’ensemble des textes générés.

Les IA Transformers: bien plus que du “fake news”

OpenAI a décidé que le réseau neuronal GPT-2 était dangereux et a choisi de ne mettre à disposition du public qu’une version simplifiée du modèle. S’en est suivi une énorme couverture médiatique se focalisant presque exclusivement sur la possibilité de générer des “fake news”.

Mais GPT-2 est bien plus que cela, puisqu’il s’agit d’un réseau neuronal de type “Transformer”. Ce bond en avant du NLP remonte à la publication par Google de « BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding » en octobre 2018. Les Transformers permettent de faire bien plus que générer du texte.

A la base les Transformers apprennent une tâche unique: à partir d’une séquence de mots prédire le mot suivant. Ca ne semble pas très impressionnant; le texte prédictif de notre téléphone le fait depuis longtemps. Du pur calcul de probabilités sans aucune intelligence.

La différence principale est que les Transformers sont formées en lisant des millions (!!) de pages de texte et afin de pouvoir prédire le prochain mot dans toutes ces situations ils doivent constituer une sorte de modèle du monde. Ce modèle est autant un modèle grammatical du langage qu’un modèle de la nature des entités et relations de ce monde. Une fois ce modèle constitué il peut être utilisé pour de nombreuses autres tâches de traitement linguistique, par exemple:

  • Générer le résumé d’un document
  • Effectuer des traductions
  • Répondre à des questions concernant le contenu de documents
  • Extraire des informations clefs
  • Avoir des interactions naturelles
  • Comprendre la subtilité des demandes
  • Aider à la rédaction
  • Créer des articles à partir d’éléments clefs

Implications pour l’avenir

Il en émerge deux évidences:

  • le langage est en passe d’être « résolu » au même titre que la vision l’est depuis quelques années. Cela implique qu’une performance surhumaine pour des tâches bien définies de lecture et d’écriture est à notre portée; et que l’on verra prochainement une nouvelle génération d’outils l’exploitant.
  • Contrairement à ce qui se lit souvent, les IA actuelles les plus avancées développent une forme de compréhension du monde et une notion de « sens commun ». Nous assistons bien au début d’un bouleversement du monde tel que nous le connaissons.


Observons aussi que les Transformers sont « simplement » une évolution de l’apprentissage profond (Deep Learning) et illustrent une fois de plus que ce travail évolutif permet d’approcher, voire dépasser la performance humaine sur un grand nombre d’activités qui semblaient totalement acquise à l’humanité il y a peine 5 ans. Pour cette raison il est urgent d’anticiper l’évolution inévitable des nos activités afin de construire une relation bénéfique avec l’IA.

 

Afin d’intégrer l’IA dans votre stratégie impactIA propose des formations :

  • Pour les décideurs sur 2 journées: les 2-3 mai et 14-15 novembre à Genève, Suisse
  • Ce cours sera aussi donné à Munich, Allemagne avec notre partenaire Revelate. Contactez nous pour plus d’informations.

En collaboration avec l’iFage à Genève, Suisse: