Verifica indipendente dell'IA: Fraunhofer IPA esamina il sistema di apprendimento automatico di Experian

Un audit del Fraunhofer IPA (seconda fase nel grafico) conferma che la componente ML per la soluzione di rilevamento delle frodi di Experian ha uno sviluppo corretto e risultati tracciabili. © Experian

Il Fraunhofer Institute for Production Technology and Automation IPA ha sottoposto a audit la componente di Machine Learning »Transaction Miner« del fornitore di servizi informativi Experian. Il Transaction Miner è una componente chiave della soluzione di prevenzione delle frodi AI:drian di Experian. L'audit ha confermato che lo sviluppo del Transaction Miner è stato eseguito correttamente e in conformità alle pratiche migliori rilevanti, e che il modello produce risultati comprensibili.

Il Machine Learning (ML) è il metodo più utilizzato dell'Intelligenza Artificiale (IA). I sistemi ML apprendono in modo abbastanza autonomo a riconoscere determinati schemi o regolarità sulla base di esempi. Tuttavia, le relazioni causali in un modello addestrato non sono sempre visibili, cioè la logica con cui si deriva un risultato dalle informazioni di partenza è spesso poco chiara. Per questo motivo, nella discussione pubblica si usa spesso la metafora della scatola nera. Ciò implica che i sistemi ML vengono valutati non solo positivamente, ma anche criticamente, il che rappresenta un ostacolo aggiuntivo per un impiego più ampio di questa tecnologia.

Analisi dettagliata della soluzione ML

Come per ogni utilizzo di modelli, in particolare con i sistemi ML è necessaria una gestione responsabile e conforme alle regole. Il progresso tecnico ha portato a nuove possibilità, tanto che anche la Commissione Europea sta lavorando a una proposta di legge per regolamentare l'uso dell'IA. Per garantire che i clienti siano protetti anche nell'uso della soluzione di prevenzione delle frodi AI:drian, Experian ha incaricato l'Istituto Fraunhofer IPA di valutare se la componente ML Transaction Miner sia stata sviluppata seguendo tutte le migliori pratiche e le normative vigenti, e se produca risultati comprensibili. La verifica si è basata, oltre al progetto di legge dell'UE, su un White Paper di TÜV Austria e su un catalogo di controlli sull'IA dell'Istituto Fraunhofer per Sistemi di Analisi e Informazione Intelligente IAIS, che sono orientamenti fondamentali per gli standard di mercato futuri. Concludendo un approfondito periodo di verifica di quattro mesi, questa indagine ha portato a un risultato positivo.

«Osserviamo che sempre più sistemi ML vengono impiegati in settori che la Commissione Europea ha definito critici, ad esempio nelle auto a guida autonoma o – come in questo caso – nel controllo delle intenzioni di frode e dell'affidabilità creditizia dei consumatori», spiega il Professor Marco Huber, responsabile del Dipartimento di Cyber Cognitive Intelligence (CCI) presso Fraunhofer IPA. «Non tutti i dettagli della futura normativa UE sono già noti. Tuttavia, come devono essere gli algoritmi che producono risultati equi, spiegabili e comprensibili, non è un compito trivial, ma nemmeno un'impresa impossibile. La verifica del Transaction Miner di Experian ci ha dato l'opportunità di dare un'occhiata a un prodotto già in uso pratico, e di lavorare su una procedura standardizzata che sarà utilizzabile non appena la normativa UE diventerà legalmente vincolante.»

Risparmio di lavoro superiore al 95%

Il Transaction Miner, verificato da Fraunhofer IPA, è il componente centrale della soluzione di prevenzione delle frodi AI:drian, recentemente lanciata da Experian nella regione DACH. Grazie agli algoritmi ML utilizzati, AI:drian è in grado di individuare con maggiore affidabilità tentativi di frode online rispetto ai sistemi precedenti. In un cliente pilota del settore e-commerce, il 99,9% delle transazioni identificate dal Transaction Miner come legittime, sulla base del suo addestramento, non erano fraudolente e quindi non sono state rifiutate. Di conseguenza, invece di circa 7.000 richieste di ordine mensili, ne sono state controllate manualmente solo 300 – un risparmio di lavoro superiore al 95%.

«Nuove innovazioni come il Machine Learning sono osservate con attenzione critica dal pubblico», commenta Martina Neumayr, Senior Vice President Credit Risk & Fraud Services di Experian DACH. «Ci sono anche esempi di sistemi ML che producono risultati discutibili. Con il Transaction Miner, abbiamo sviluppato una componente ML particolarmente potente, che può essere impiegata anche dove la Commissione Europea vede la necessità di regolamentazioni stringenti, ad esempio nel settore finanziario. Per questo motivo, ci è sembrato importante agire in modo trasparente e far verificare indipendentemente la tecnologia. Crediamo che l'uso di nuove tecnologie possa essere accettato solo se ci sono controlli indipendenti come quelli condotti dal Fraunhofer IPA. È ancora meglio se, grazie a questa iniziativa pionieristica, si apre la strada a procedure standardizzate future.»

Offerta diversificata intorno a »Affidabile IA«

Audits come quello descritto sono uno dei principali servizi del Dipartimento CCI del Fraunhofer IPA. Uno dei focus di ricerca è il tema »IA affidabile«. In questo contesto, gli esperti dell'IPA sviluppano tra l'altro metodi per spiegare e garantire i sistemi di IA. Ciò include anche la conduzione di audit e la validazione o qualificazione di sistemi di IA come indipendenti e conformi alle normative. Le offerte di servizi sono indipendenti dal settore e adatte a aziende di ogni dimensione, dal startup alla grande impresa.

Informazioni sul Fraunhofer IPA

Il Fraunhofer Institute for Production Technology and Automation IPA, comunemente Fraunhofer IPA, è uno dei più grandi istituti della Gesellschaft Fraunhofer, con circa 1200 dipendenti. Il bilancio totale ammonta a 82 milioni di euro. Le attività di ricerca si concentrano su compiti organizzativi e tecnologici della produzione. Vengono sviluppati, testati e implementati metodi, componenti e dispositivi, fino a macchine e impianti completi. 19 dipartimenti interdisciplinari collaborano, coordinati da 6 settori di attività, principalmente nei settori Automotive, macchine e impianti, elettronica e microsistemi, energia, medicina e biotecnologia, e industria dei processi. La ricerca dell'IPA si orienta alla produzione economica di prodotti sostenibili e personalizzati.

Informazioni su Experian DACH

Experian è leader mondiale nei servizi informativi e IT. Aiuta i clienti a utilizzare i dati con sicurezza. Supporta le persone fisiche nel prendere il controllo delle proprie finanze e nell'accesso ai servizi finanziari. Aiuta le aziende a prendere decisioni intelligenti e di crescita. Assiste i mutuatari nel gestire responsabilmente i prestiti. Fornisce alle organizzazioni gli strumenti necessari per proteggersi da frodi di identità e criminalità. Nella regione DACH, Experian offre alle aziende di ogni settore, come operatori e-commerce, assicurazioni, servizi finanziari e aziende di telecomunicazioni, le migliori basi per la gestione del rischio, delle frodi e dell'identità.