Armes létales autonomes : fantasme ou réalité ? Armes létales autonomes : fantasme ou réalité ?

Armes létales autonomes : fantasme ou réalité ? Les drones MQ-9 Reaper, très utilisés par l’armée de l’air des Etats-Unis et fabriqués par General Atomics sous le nom de « Predator B » sont un exemple d’engin de combat qui pourrait être rendu autonome. © U.S. Air Force – Paul Ridgeway

A lire aussi

Intelligence artificielle : faut-il vraiment en avoir peur ?
Après le RGPD, la Commission européenne préparerait une réglementation sur l'intelligence artificielle

Comme chaque année depuis 2014, plus de 70 Etats parties à la Convention sur certaines armes classiques (CCAC) se sont réunis, le 20 et 21 août 2019, à Genève, afin d’examiner les préoccupations soulevées par ce qu’on appelle les « systèmes d’armes létales autonomes » ou SALA. Et comme pour chaque session – celle-ci étant la huitième – les tractations n’avancent pas.

Conséquence de quoi, aucun texte légal ne régit aujourd’hui cette question. « Les discussions sont en cours et ne sont pas prêtes de se terminer« , reconnaît Raja Chatila, professeur et directeur de l’Institut de systèmes intelligents et robotique (ISIR), contacté par L’Usine Digitale.

2013, les ONG montent au créneau

Le débat sur les SALA s’installe sur la scène internationale à partir du moment où, en 2013, l’Armée américaine a présenté, à Fort Benning en Géorgie, lors du « Robotic Rodeo », des armes aériennes télécommandées qu’elle envisageait d’utiliser. Horreur ! Quelques mois plus tard,  plusieurs associations chapeautées par Human Rights Watch montent au créneau et posent les premiers jalons d’une contestation. Maître-mot : l’interdiction. 

Des textes sont signés par des scientifiques et des industriels, comme Stephen Hawking et Elon Musk, dans lesquels l’interdiction de ces nouveaux engins est réclamée. « L’intelligence artificielle a atteint un point où le déploiement de tels systèmes sera – matériellement, si pas légalement – faisable d’ici quelques années et non décennies« , peut-on lire dans une lettre ouverte publiée en 2015 par le Future of Life Institute (FLI).

Une première difficulté sémantique

« La première difficulté est celle de définir le SALA et notamment l’autonomie« , averti Raja Chatila. Si aucun texte légal ne définit encore ce type d’engins, la Croix Rouge Internationale fournit une définition communément admise : c’est une arme qui sélectionne par elle-même sa cible et la détruit.

Pour le chercheur en robotique, distinguer autonomie opérationnelle et décisionnelle est indispensable. La première va permettre à une machine, de par exemple se mouvoir dans l’espace de manière autonome. Il s’agit souvent d’une simple progression dans l’automatisation des systèmes de contrôle, dont les premiers jalons ont plusieurs décennies. Ce genre de fonctionnalité pourrait également être utilisée dans le domaine civil, par exemple pour être intégrée à des drones de livraison. Pour rappel, les drones militaires dans leur forme actuelle n’embarquent pas de pilote mais sont télécommandés à distance par un être humain.

arrêtons de parler de « robot tueur » 

C’est la seconde fonction – l’autonomie décisionnelle – qui définit réellement un SALA. « C’est le choix de la cible qui est problématique. On dit que l’autonomie s’exprime dans les fonctions critiques, soit la décision de vie ou de mort« , précise le professeur. Parler de « robot tueur » est donc une aberration. Cette expression suggérerait que le robot serait animé par l’intention de tuer voire qu’il en serait conscient, ce qui n’a aucun sens pour une machine dont les actions sont le résultat de sa conception et programmation par des êtres humains. 

Entre les deux, il y a des cas plus compliqués. Exemple : les drones vagabonds capables de survoler, pendant de longues heures, une région à la recherche de signaux radar. A chaque station radio détectée, ils lancent un missile. Ces engins sont dotés d’une autonomie décisionnelle sans visée létale. Ils n’ont cependant aucune réelle capacité d’analyse ou de prise de décision : ils appliquent simplement une règle préétablie. 

« L’autonomie est circonscrite dans une certaine signature »

« Ce n’est pas une autonomie totale au sens où la machine fait ce qu’elle veut. Elle est circonscrite dans un certain choix, une certaine signature« , poursuit Raja Chatila. Pour apprendre à un robot la cible qu’il doit détruire, les développeurs vont lui montrer une quantité suffisante d’images la représentant. A partir de ces données, elle va établir un modèle statistique (par machine learning) qui va lui permettre de reconnaître des images similaires sur le terrain. Mais attention là encore : la machine ne comprend pas ce qu’elle « voit ». 

« Les conditions exactes au moment du déclenchement du tir, c’est-à-dire quand la machine va décider de déclencher une action, ne sont pas connues par un être humain puisque l’objet autonome choisit lui-même sa cible« , explique le scientifique. On peut apprendre au système à reconnaître avec un taux de réussite élevé la silhouette d’un char d’assaut pour qu’il tire dessus quand il en voit un. Mais quid d’un char d’assaut qui s’est rendu ou qui se trouve au milieu d’une population civile, protégée par le droit international humanitaire ? Il faut donc bien distinguer « l’intelligence » de l’engin (une forme d’abus de langage) et le discernement dont est doué un être humain.

La machine n’est aucunement capable de discernement

« Même si le système s’améliore, il y aura toujours des erreurs« , prévient le roboticien. Pourquoi ? Les machines n’ont aucune capacité de discernement. « En tant qu’être humain, on a des capacités de reconnaissance des situations qui nous entourent, de raisonnement, de replacer les choses dans un contexte, interpréter correctement une situation même si elle évolue, comprendre les intentions des gens… » répertorie le directeur de l’IRIS avant d’ajouter « une machine ne pourra jamais l’avoir car n’est pas modélisable, programmable ou encore apprenable« .

A titre d’exemple, ces SALA pourraient hypothétiquement recourir à des systèmes de reconnaissance faciale pour choisir une cible et la détruire. Or, nombreux sont les cas où les machines se sont trompées. Par exemple, en mai 2019, selon un rapport du London Policing Ethics Panel – un groupe mandaté par le bureau du maire de Londres et indépendant de la police – quatre personnes sur cinq identifiées comme suspects potentiels étaient en fait… innocentes.

Si une machine peut être qualifiée d’intelligente, cela ne signifie donc nullement qu’elle est consciente. « On aura toujours cette difficulté de l’ordinateur qui ne comprend pas et ne comprendra jamais vraiment ce qu’il fait« , conclut le scientifique.

Implémenter des règles de droit dans la machine ?

Le terrain militaire est criblé de normes internationales à respecter lors de conflits. « Il va falloir implémenter les règles de droit international humanitaire dans la machine« , explique Eric Pomes, docteur et chercheur en droit à l’Institut Catholique de Vendée (ICES), à L’Usine Digitale.

Or, chaque Etat n’interprète pas cet arsenal de la même manière. Le juriste prend l’exemple du « dommage collatéral ». L’Armée américaine estime qu’un tel dommage est quantifié en fonction de la valeur de la cible. Les autres Etats considèrent que les dommages collatéraux se calculent par rapport à l’avantage présent et concret d’une opération. Les systèmes autonomes, en fonction de leur nationalité, appliqueraient donc des règles différentes.

Dans « L’annuaire français de relations internationales », en 2016, le chercheur propose plusieurs scénarios pour imaginer la mise en œuvre concrète de ces engins. Par exemple, un SALA terrestre a pour mission la neutralisation, dans sa maison, de l’un des chefs d’un groupe armé non étatique engagé dans un conflit armé non international. Lors de son approche, ses capteurs détectent la présence d’un individu (1m40) muni d’une Kalachnikov. Premièrement, le robot va devoir déterminer si cette personne est un « combattant » au sens du droit. En principe, un combattant fait partie d’une armée étatique. Mais il peut également s’agir d’une personne armée non étatique à la condition qu’elle « prépare, exécute et commande des actes ou des opérations constituant une participation hostile aux hostilités« . La machine doit pouvoir prendre en compte l’ensemble de ces indications avant de tirer et gérer des imprévus. 

Trop de responsables

Et que se passerait-il si la machine tirait sur la mauvaise personne ? Cela constituerait-il un crime de guerre ? « On ne peut dire qu’il n’y a pas de responsable. Il y en a juste trop : le concepteur, le programmeur, le fabricant, l’armée qui a fait la passation du marché, le militaire… » révèle Eric Pomes, puis ajoute « si j’étais avocat d’un militaire, ma défense serait de dire que le système apprend d’une manière qu’il m’est impossible de comprendre« . En effet, l’arrivée hypothétique des SALA sur les terrains de guerre amène également à repenser l’organisation des commandements. « Il faudra plus d’ingénieurs dans les armées capables d’appréhender les machines« , riposte le chercheur.

La problématique de la responsabilité d’un système basé sur des techniques d’intelligence artificielle (IA) n’est pas circonscrite aux SALA. Elle se pose dans des termes similaires en robotique médicale. En cas d’incident pendant une opération, qui serait responsable ? « On aura des difficultés à trouver des liens de causalité d’où la question de savoir s’il faudra créer des systèmes de responsabilité spécifique pour l’IA ?« , présume le juriste. Même chose pour un accident causé par une voiture autonome. Fin août 2019, on apprenait d’ailleurs que la Commission européenne était en train de plancher sur future réglementation pour l’IA

Quelle organisation sera à même de juger ces cas de figure ?

Et quelle sanction appliquée ? En cas de crime commis lors d’un conflit armé, c’est la Cour pénale internationale (CPI) qui est compétente mais il existe de nombreuses exceptions : elle ne peut intervenir que si l’infraction a été commise sur le territoire d’un Etat ayant signé la convention, ou encore sa compétence est complémentaire, c’est-à-dire qu’elle n’est mise en jeu qu’en cas de défaillance de l’Etat compétent pour juger le criminel. Et si ces crimes restaient impunis ?

Pourtant, le chercheur en est persuadé : les débats sont mal orientés. « Peu de gens se posent la question de savoir à quoi pourrait servir un SALA : imaginez une zone polluée où il serait dangereux d’envoyer une unité. La machine aurait un intérêt considérable. On peut aussi penser aux SALA purement logiciels, sans contrepartie physique. » Il regrette que les discussions se crispent sur la question de savoir si on interdit préventivement ou non ces armes. « Les ONG imaginent qu’un traité pourrait permettre d’abolir complètement l’usage des SALA, or c’est faux ! Ce sera le cas entre les Etats qui auront signé et ratifié le traité mais pas pour les autres ». C’est déjà le cas de la Convention sur l’interdiction des mines antipersonnel de 1998, dites d’Ottawa. Les Etats-Unis ont refusé de la signer et donc utilisent toujours ces armes.

« Finalement, ce n’est pas vraiment un problème juridique, c’est un problème éthique : est-on prêt à laisser à une machine le choix de la cible ou pas« , tranche le juriste. Cette problématique répond à une interrogation plus générale. Dans nos sociétés, quelle place veut-on laisser à l’automatisation des prises de décision, que ce soit dans le domaine militaire mais également de la santé, de l’éducation, de la culture…

Doit-on craindre une course à l’armement ?

Pour l’instant, selon la majorité des experts, aucun pays ne s’est encore doté de SALA, entendu strictement. Il ne faut confondre ces machines avec :

Le « BGM-109 Tomahawk », un missile de croisière américain, n’est pas une arme autonome. Techniquement, le militaire va lui indiquer des coordonnées géographiques à suivre et l’arme va seulement les suivre.

Le SGR-A1 de Samsung, un robot sentinelle déployé depuis 2013 dans la zone démilitarisée entre la Corée du Nord et Sud. Capable de détecter l’entrée d’une personne dans une surface d’intervention, il peut demander une identification par un mot de passe pour faire feu après une autorisation.