Contrôle indépendant de l'IA : Fraunhofer IPA examine le système d'apprentissage automatique d'Experian

Un audit du Fraunhofer IPA (deuxième étape dans le graphique) confirme que la composante ML de la solution de détection de fraude d'Experian a été développée correctement et produit des résultats compréhensibles. © Experian

Le Fraunhofer-Institut pour la technologie de la production et l'automatisation IPA a soumis la composante d'apprentissage automatique « Transaction Miner » du fournisseur de services d'information Experian à un audit. Le Transaction Miner est une composante clé de la solution de prévention de la fraude AI:drian d'Experian. L'audit a confirmé que le développement du Transaction Miner a été réalisé correctement et conformément aux bonnes pratiques pertinentes, et que le modèle conduit à des résultats compréhensibles.

L'apprentissage automatique (ML) est la méthode la plus utilisée de l'intelligence artificielle (IA). Les systèmes ML apprennent de manière largement autonome à reconnaître certains motifs ou régularités à partir d'exemples. Cependant, les relations causales dans un modèle entraîné ne sont pas toujours transparentes, c'est-à-dire que la logique selon laquelle une information de départ est utilisée pour déduire un résultat est souvent difficile à voir. C'est pourquoi la métaphore de la boîte noire est fréquemment utilisée dans le débat public. Cela implique que les systèmes ML ne sont pas seulement évalués positivement, mais aussi de manière critique, ce qui constitue un obstacle supplémentaire à une utilisation plus large de cette technologie.

Analyse détaillée de la solution ML

Comme pour toute utilisation de modèles, une gestion responsable et conforme aux règles est particulièrement nécessaire avec les systèmes ML. Le progrès technique a permis de nouvelles possibilités, de sorte que la Commission européenne travaille actuellement sur un projet de loi pour réguler l'utilisation de l'IA. Afin que les clients puissent utiliser la solution de prévention de la fraude AI:drian en toute sécurité, Experian a mandaté le Fraunhofer IPA pour évaluer si la composante ML Transaction Miner a été développée en respectant toutes les bonnes pratiques et obligations légales, et si elle fournit des résultats compréhensibles. L'examen s'est basé, outre le projet de loi de l'UE, sur un livre blanc de TÜV Austria ainsi qu'un catalogue d'audit IA du Fraunhofer-Institut für Intelligente Analyse- und Informationssysteme IAIS, qui sont déterminants pour les futurs standards du marché. Après une phase d'examen très détaillée de quatre mois, cette étude a abouti à un résultat positif.

« Nous constatons que de plus en plus de systèmes ML sont utilisés dans des domaines que la Commission européenne a définis comme critiques, par exemple dans les voitures autonomes ou – comme dans ce cas – pour vérifier les intentions de fraude et la solvabilité des consommateurs », explique le professeur Marco Huber, chef du département Cyber Cognitive Intelligence (CCI) au Fraunhofer IPA. « Toutes les détails de la législation européenne à venir ne sont pas encore connus. Cependant, la manière dont doivent être conçus les algorithmes pour fournir des résultats équitables, explicables et compréhensibles n'est pas triviale, mais ce n'est pas non plus de la magie. L'examen du Transaction Miner d'Experian nous a permis de jeter un œil sous le capot d'un produit déjà en utilisation pratique, et de travailler sur une procédure standardisée qui sera utilisable dès que la législation de l'UE sera juridiquement contraignante. »

Gain de temps de plus de 95 pour cent

Le Transaction Miner, examiné par le Fraunhofer IPA, est la composante centrale de la solution de prévention de la fraude AI:drian, que Experian a récemment lancée sur le marché de la région DACH. Grâce aux algorithmes ML utilisés, AI:drian est capable de détecter plus fiablement les tentatives de fraude en ligne que les systèmes précédents. Lors d’un client pilote dans le secteur du commerce électronique, 99,9 % des transactions identifiées par le Transaction Miner comme légitimes lors de son entraînement n’étaient pas frauduleuses et n’ont donc pas été rejetées. Au lieu d’environ 7 000 demandes de commande mensuelles, seules 300 devaient désormais être vérifiées manuellement – ce qui représente un gain de temps de plus de 95 pour cent.

« Les nouvelles avancées comme l'apprentissage automatique sont surveillées de manière critique par le public », commente Martina Neumayr, vice-présidente senior en gestion du risque de crédit et des services de fraude chez Experian DACH. « Il existe aussi des exemples où les systèmes ML donnent des résultats douteux. Avec le Transaction Miner, nous avons développé une composante ML particulièrement performante, qui peut également être utilisée là où la Commission européenne estime qu'une réglementation stricte est nécessaire, par exemple dans le secteur financier. C’est pourquoi il était très important pour nous d’agir en toute transparence et de faire vérifier la technologie de manière indépendante. Nous croyons que l’utilisation de nouvelles technologies ne peut être acceptée que si elle est soumise à des contrôles indépendants comme ceux du Fraunhofer IPA. Mieux encore, grâce à cette démarche pionnière, nous avons ouvert la voie à une procédure standardisée pour l’avenir. »

Une offre variée autour de la « Fiabilité de l'IA »

Les audits comme celui décrit sont l’un des principaux services de la division CCI du Fraunhofer IPA. L’un des axes de recherche principaux est le thème de la « Fiabilité de l'IA ». Dans ce contexte, les experts de l’IPA développent notamment des méthodes pour rendre l’IA explicable et sécurisée. Cela inclut également la réalisation d’audits et la validation ou la qualification des systèmes d’IA en tant que produits indépendants et conformes à la législation. Les offres de services sont indépendantes du secteur et conviennent aussi bien aux start-ups qu’aux grandes entreprises.

À propos du Fraunhofer IPA

Le Fraunhofer-Institut für Produktionstechnik und Automatisierung IPA, ou Fraunhofer IPA, compte près de 1200 employés et est l’un des plus grands instituts de la société Fraunhofer. Le budget total s’élève à 82 millions d’euros. Les tâches organisationnelles et technologiques liées à la production sont des axes de recherche de l’institut. Des méthodes, composants et appareils, jusqu’à des machines et installations complètes, sont développés, testés et mis en œuvre. 19 départements spécialisés travaillent de manière interdisciplinaire, coordonnés par 6 domaines d’activité, principalement dans les secteurs de l’automobile, de la machine-outil, de l’électronique et de la microtechnologie, de l’énergie, de la médecine et de la biotechnologie, ainsi que de l’industrie des procédés. La recherche de l’institut vise à favoriser une production économiquement viable de produits durables et personnalisés.

À propos d’Experian DACH

Experian est un leader mondial dans les services d’information et de technologie de l’information. Experian aide ses clients à utiliser leurs données en toute confiance. L’entreprise soutient les particuliers dans la maîtrise de leurs finances et l’accès aux services financiers. Elle accompagne également les entreprises dans la prise de décisions intelligentes et favorables à la croissance. Elle assiste les emprunteurs dans leur gestion responsable des crédits. Les organisations disposent des outils nécessaires pour se protéger contre la fraude à l’identité et la criminalité. Dans la région DACH, Experian offre aux entreprises de toutes tailles et de tous secteurs, comme les e-commerçants, les assureurs, les prestataires de services financiers et les opérateurs de télécommunications, la meilleure base pour leur gestion des risques, de la fraude et de l’identité.