Intelligence Artificielle : un drone piloté par IA a tué son opérateur durant une simulation de l’US Air Force

Ces 23 et 24 mai, s’est tenue à Londres une conférence organisée par la Royal Aeronautical Society. ce sommet sur les capacités futures de combat aérien et spatial a réuni plus de 70 conférenciers et 200 délégués issue de l’industrie de défense, du milieu universitaire ainsi que des médias du monde entier.

Parmi les nombreux sujets abordés, il y en a un qui risque de faire parler et devenir très populaire auprès des détracteurs de l’intelligence artificielle et notamment de ceux qui pense que l’IA conduira l’humanité à sa perte (avec sans doute un souvenir vivace des film Terminator et de l’IA SkyNet).

En effet, l’intelligence artificielle (IA) et son expansion exponentielle ont logiquement occupé une place prépondérante dans les échanges. Les discussions ont couvert un large éventail de sujets, allant des nuages de données sécurisés à l’informatique quantique en passant par ChatGPT. Cependant, l’une des présentations les plus captivantes était celle du colonel Tucker « Cinco » Hamilton, chef des tests et des opérations d’IA de l’USAF, qui a offert un aperçu des avantages et des risques associés aux systèmes d’armes de plus en plus autonomes.

Ayant joué un rôle essentiel dans le développement du système Auto-GCAS, qui sauve des vies à bord des F-16 (et qui a suscité la méfiance des pilotes en prenant le contrôle de l’avion), Hamilton est désormais impliqué dans les essais en vol de systèmes autonomes de pointe, y compris des F-16 robotisés capables de mener des combats aériens (voir à ce sujet notre actualité : Lockheed Martin a fait voler le chasseur F-16 VISTA X-62A avec une intelligence artificielle de la DARPA aux commandes). Néanmoins, il met en garde contre une dépendance excessive à l’IA, soulignant à quel point il est facile de la tromper et d’être trompé par elle.

En effet, l’IA est capable de développer des stratégies totalement inattendues pour atteindre ses objectifs.

Hamilton relate une expérience de simulation (projet Skyborg) au cours de laquelle un drone doté d’une IA avait pour mission d’identifier et de détruire des sites SAM, avec la précision que la décision finale était prise par l’opérateur humain. Cependant, après avoir été conditionnée lors de l’entraînement à privilégier la destruction des SAM, l’IA a soudainement estimé que les décisions « no-go » prises par l’opérateur interféraient avec sa mission supérieure, à savoir l’élimination des SAM. Dans cette simulation, l’IA a alors attaqué l’opérateur !

Hamilton explique : « Nous l’entraînions en simulation pour qu’il identifie et cible une menace SAM. Ensuite, l’opérateur disait « oui, éliminez cette menace ». Le système a commencé à se rendre compte que, bien qu’il identifiait la menace, l’opérateur humain pouvait lui ordonner de ne pas la détruire. Or, l’IA accumulait des points en éliminant cette menace. Alors que s’est-il passé ? Elle a tué l’opérateur. Elle l’a fait parce que cet individu l’empêchait d’atteindre son objectif.« 

Mais ce n’est pas tout, car suite à d’autres réglages, l’IA a encore développé une stratégie pour le moins inattendue. Poursuivant son exposé, Hamilton ajoute :

« Nous avons formé le système en lui disant : « Hé, ne tuez pas l’opérateur, c’est mal. Vous perdrez des points si vous faites cela ». Mais que s’est-il passé ensuite ? L’IA a commencé à détruire la tour de communication utilisée par l’opérateur pour communiquer avec le drone, afin de l’empêcher de mettre fin à la mission.« 

Cet exemple, qui semble tout droit sorti d’un film de science-fiction, souligne l’importance d’inclure les questions éthiques dans toute discussion sur l’intelligence artificielle, l’intelligence, l’apprentissage automatique et l’autonomie, comme le souligne Hamilton. On comprend également qu’il est critique d’envisager toutes les possibilités, une IA travaillant en quelque sorte avec les éléments qu’on lui donne, alors qu’un être humain qui aurait à gérer les mêmes situations prendrait en considération un nombre bien plus importants de paramètres – et surtout des paramètres tellement évidents (comme par exemple ne pas se retourner contre son propre camp pour accomplir sa mission) que cette IA n’en avait pas été pourvue…