Onafhankelijke AI-beoordeling: Fraunhofer IPA onderzoekt machine learning-systeem van Experian

Een audit van het Fraunhofer IPA (tweede stap in de grafiek) bevestigt dat de ML-component voor de fraudedetectieoplossing van Experian een correcte ontwikkeling en traceerbare resultaten heeft. © Experian

Het Fraunhofer-Institut voor productie- en automatiseringstechniek IPA heeft de machine learning-component »Transaction Miner« van de informatiedienstverlener Experian onderworpen aan een audit. De Transaction Miner is een kerncomponent van de fraudebeschermingsoplossing AI:drian van Experian. De audit heeft bevestigd dat de ontwikkeling van de Transaction Miner correct en volgens relevante best practices heeft plaatsgevonden en dat het model tot traceerbare resultaten leidt.

Machine learning (ML) is de meest gebruikte methode binnen kunstmatige intelligentie (KI). ML-systemen leren grotendeels zelfstandig op basis van voorbeelden om bepaalde patronen of regelmatigheden te herkennen. De werkingsverbanden in een getraind model liggen echter niet in elk geval open, dat wil zeggen dat de logica waarmee uit de uitgangsinformatie een resultaat wordt afgeleid vaak nauwelijks zichtbaar is. Daarom wordt in de publieke discussie vaak de metafoor van de Black Box gebruikt. Dit gaat gepaard met dat ML-systemen niet alleen positief, maar ook kritisch worden beoordeeld, wat een extra barrière vormt voor een breder gebruik van de technologie.

Uitgebreide analyse van de ML-oplossing

Zoals bij elk gebruik van modellen is vooral met ML-systemen een verantwoordelijke en regelconforme omgang noodzakelijk. De technologische vooruitgang heeft hier geleid tot nieuwe mogelijkheden, zodat ook de EU-Commissie momenteel werkt aan een wetsvoorstel om het gebruik van KI te reguleren. Om ervoor te zorgen dat klanten ook bij het gebruik van de fraudebeschermingsoplossing AI:drian veilig zijn, heeft Experian het Fraunhofer IPA opdracht gegeven te beoordelen of de ML-component Transaction Miner volgens alle best practices en wettelijke voorschriften is ontwikkeld en traceerbare resultaten oplevert. Aan de beoordeling lagen naast het ontwerp van de EU een white paper van TÜV Austria en een KI-keuringscatalogus van het Fraunhofer-Institut für Intelligente Analyse- und Informationssysteme IAIS ten grondslag, die richtinggevend zijn voor toekomstige marktstandaarden. Na een zeer uitgebreide vier maanden durende beoordelingsfase is dit onderzoek tot een positief resultaat gekomen.

»We zien dat steeds meer ML-systemen worden ingezet in gebieden die door de EU-Commissie als kritisch zijn gedefinieerd, bijvoorbeeld in zelfrijdende auto's of – zoals in dit geval – bij het controleren van de fraude- en kredietwaardigheid van consumenten«, legt professor Marco Huber uit, hoofd van de afdeling Cyber Cognitive Intelligence (CCI) bij Fraunhofer IPA. »Niet alle details van de komende EU-wetgeving zijn al bekend. Hoe algoritmen eruit moeten zien die eerlijke, uitlegbare en traceerbare resultaten leveren, is echter niet triviaal, maar ook geen toverkunst. De beoordeling van de Transaction Miner van Experian gaf ons de gelegenheid om eens onder de motorkap van een product te kijken dat al in de praktijk wordt gebruikt, en te werken aan een gestandaardiseerde procedure die bruikbaar is zodra de EU-wetgeving rechtsgeldig wordt.«

Werkverlichting met meer dan 95 procent

De door Fraunhofer IPA geteste Transaction Miner is de centrale component in de fraudebeschermingsoplossing AI:drian, die Experian onlangs op de markt heeft gebracht in de DACH-regio. Met behulp van de gebruikte ML-algoritmen is AI:drian in staat om online fraude pogingen betrouwbaarder te herkennen dan eerdere systemen. Bij een pilot-klant uit de e-commerce sector waren 99,9 procent van de transacties die de Transaction Miner op basis van zijn training als legitiem identificeerde, niet frauduleus en werden dienovereenkomstig niet afgewezen. In plaats van ongeveer 7.000 bestellingsaanvragen per maand hoefden slechts 300 handmatig te worden gecontroleerd – een werkverlichting van meer dan 95 procent.

»Nieuwe ontwikkelingen zoals Machine Learning worden door het publiek kritisch gevolgd«, aldus Martina Neumayr, Senior Vice President Credit Risk & Fraud Services bij Experian DACH. »Er zijn ook voorbeelden waarbij ML-systemen twijfelachtige resultaten opleveren. Met de Transaction Miner hebben we een bijzonder krachtig ML-component ontwikkeld dat ook daar kan worden ingezet waar de EU-Commissie sterke regelgeving ziet, bijvoorbeeld in de financiële sector. Daarom was het voor ons een bijzondere zaak dat we transparant handelen en de technologie onafhankelijk laten controleren. We geloven dat het gebruik van nieuwe technologieën alleen op acceptatie kan rekenen als er onafhankelijke controles zijn, zoals die door het Fraunhofer IPA. Hoe beter dat we met deze pioniersprestatie de weg hebben geëffend voor een toekomstig gestandaardiseerd proces.«

Veelzijdig aanbod rond »Betrouwbare KI«

Audits zoals de beschreven zijn een van de kernactiviteiten van de afdeling CCI bij Fraunhofer IPA. Een van de onderzoeksspecialisaties daar is het thema »Betrouwbare KI«. In dit kader ontwikkelen de IPA-experts onder andere methoden voor de uitlegbaarheid en beveiliging van KI-systemen. Dit omvat ook het uitvoeren van audits en het valideren of kwalificeren van KI-systemen als onafhankelijk en rechtsconform. De diensten zijn branche-onafhankelijk en geschikt voor bedrijven van start-ups tot multinationals.

Over Fraunhofer IPA

Het Fraunhofer-Institut für Produktionstechnik und Automatisierung IPA, kortweg Fraunhofer IPA, is met ongeveer 1200 medewerkers een van de grootste instituten van de Fraunhofer-Gesellschaft. De totale begroting bedraagt 82 miljoen euro. Organisatorische en technologische taken uit de productie vormen de onderzoeksspecialisaties van het instituut. Methoden, componenten en apparaten tot en met volledige machines en installaties worden ontwikkeld, getest en geïmplementeerd. Negenentwintig vakafdelingen werken interdisciplinaire samen, gecoördineerd door zes bedrijfsvelden, vooral met de sectoren automotive, machine- en installatiebouw, elektronica en microsystemen, energie, medische en biotechnologie en procesindustrie. De focus van het onderzoek ligt op de economische productie van duurzame en gepersonaliseerde producten.

Over Experian DACH

Experian is wereldleider op het gebied van informatiediensten en IT-diensten. Experian helpt zijn klanten om data zelfverzekerd te gebruiken. Experian ondersteunt particulieren bij het krijgen van controle over hun financiën en toegang tot financiële diensten. Bedrijven helpt Experian bij het nemen van slimme, groeibevorderende beslissingen. Het bedrijf begeleidt kredietnemers bij verantwoord omgaan met leningen. Organisaties krijgen het benodigde gereedschap om zich te beschermen tegen identiteitsfraude en criminaliteit. In de DACH-regio biedt Experian bedrijven van alle groottes en sectoren, zoals e-commercebedrijven, verzekeraars, financiële dienstverleners en telecommunicatiebedrijven, de beste basis voor hun risico-, fraude- en identiteitsbeheer.