Préparer l'IA pour des applications critiques en matière de sécurité

© Société Fraunhofer

Planification de la production, logistique, maintenance, contrôle qualité – dans la fabrication industrielle, il existe de nombreux domaines d'application pour l'intelligence artificielle. Dans la pratique, les modèles d'IA sont encore peu utilisés jusqu'à présent. La raison : la fiabilité est difficile à vérifier. De nouveaux critères de certification peuvent rendre l'IA apte à des applications critiques pour la sécurité.

Les attentes sont presque inégalées : l'intelligence artificielle doit flexibiliser la production, planifier la maintenance de manière prédictive, optimiser le flux de marchandises, automatiser la logistique, automatiser les contrôles qualité. »Ces dernières années – notamment au Fraunhofer IPA – de nombreux algorithmes et architectures d'IA prometteurs ont été développés, par exemple pour la vision par ordinateur, les interfaces homme-machine ou la robotique connectée«, rapporte Xinyang Wu du Centre pour l'intelligence cyber cognitive au IPA. Ce qui manque maintenant, c'est la mise en œuvre pratique. »Il existe un fossé entre la recherche et l'application. Dans l'industrie, les nouvelles applications d'IA ne sont déployées que tardivement. Elles sont considérées comme pas assez fiables pour des applications critiques pour la sécurité.«

Wu connaît bien les réserves des utilisateurs : »Lorsque nous discutons avec nos partenaires de l'industrie, il devient rapidement clair que les entreprises ne souhaitent utiliser des robots autonomes et auto-apprenants que si ceux-ci fonctionnent de manière absolument fiable, et si l'on peut garantir avec une certitude à 100 % que ces machines ne représentent pas un danger pour l'humain.«

Cela ne peut actuellement pas être prouvé. Il n'existe ni normes ni tests standardisés. Cependant, Wu insiste sur le fait que cela est urgent : »L'objectif doit être de certifier et de rendre transparentes les décisions prises par les algorithmes. Par exemple, la traçabilité doit être assurée : lorsqu'une machine prend des décisions de manière autonome, je dois – au moins a posteriori – pouvoir comprendre pourquoi elle a commis une erreur dans une situation donnée. Ce n'est que ainsi qu'on peut empêcher que cela se reproduise. Les modèles de boîte noire, où l'on ne peut pas suivre la décision des algorithmes, ne conviennent pas, selon notre avis, pour des applications critiques pour la sécurité – sauf si le modèle est certifié par la bonne méthode.«

Mais comment vérifier l'intelligence artificielle ? L'équipe du IPA du Centre pour l'intelligence cyber cognitive a proposé une stratégie à cet effet et présente l'état de la technique correspondante dans le livre blanc »IA fiable – Utiliser l'IA dans des applications industrielles critiques pour la sécurité« : La stratégie repose sur la certification et la transparence.

Catalogue de critères pour plus de sécurité

»Notre priorité initiale était de trouver des règles permettant d'évaluer la fiabilité de l'apprentissage automatique et de l'IA associée«, explique Wu. Le résultat de cette recherche est un ensemble de cinq critères que les systèmes d'IA doivent remplir pour être considérés comme sûrs :

- Toutes les décisions des algorithmes doivent être compréhensibles par les humains.
- La fonction des algorithmes doit être vérifiée avant leur déploiement à l'aide de méthodes de vérification formelle.
- De plus, une validation statistique est nécessaire, surtout lorsque la vérification formelle n'est pas utilisable en raison de problèmes de scalabilité pour le cas d'usage spécifique. Cela peut être vérifié par des essais avec des volumes de données ou des quantités de pièces plus importantes.
- Les incertitudes sous-jacentes aux décisions des réseaux neuronaux doivent également être identifiées et quantifiées.
- Pendant le fonctionnement, les systèmes doivent être constamment surveillés, par exemple via un monitoring en ligne. Il est important de collecter les entrées et sorties – c'est-à-dire les données des capteurs et les décisions qui en découlent.

Les cinq critères pourraient constituer la base d'une évaluation standardisée à l'avenir, souligne Wu : »Au IPA, nous avons déjà rassemblé pour chacun de ces points différents algorithmes et méthodes permettant de vérifier concrètement la fiabilité des systèmes d'IA. Nous avons également déjà effectué de telles vérifications pour certains de nos clients.«

La transparence crée la confiance

La deuxième condition préalable à une utilisation sûre des systèmes d'IA est leur transparence. Selon les directives éthiques du »High-Level Expert Group on Artificial Intelligence« de la Commission européenne, abrégé HLEG AI, cette transparence est l'un des éléments clés pour la mise en œuvre d'une IA digne de confiance. Contrairement aux critères permettant de vérifier la fiabilité au niveau algorithmique, cette transparence concerne uniquement l'interaction avec l'humain au niveau systémique. Trois points sont résumés dans les directives du HLEG AI, que doit remplir une IA transparente : Premièrement, les décisions prises par les algorithmes doivent être compréhensibles. Deuxièmement, il doit être possible, pour les humains, d'expliquer ces décisions à un niveau compréhensible dans une large mesure.
Et troisièmement, les systèmes d'IA doivent communiquer avec l'humain et l'informer sur leurs capacités et leurs limites.

»Ce n'est qu'en réussissant à tester la fiabilité des systèmes d'IA auto-apprenants et autonomes avec des méthodes standardisées, tout en prenant en compte les aspects éthiques, que les utilisateurs pourront faire confiance à l'IA – que ce soit dans la circulation routière ou dans l'usine«, prédit Wu. »Lorsque cette confiance sera établie, le fossé entre la recherche et l'application se comblera.«

La étude »IA fiable – Utiliser l'IA dans des applications industrielles critiques pour la sécurité« est disponible en téléchargement à l'adresse : https://www.ki-fortschrittszentrum.de/de/studien/zuverlaessige-ki.html