Nezávislá kontrola AI: Fraunhofer IPA zkoumá systém strojového učení od Experian

Audit Fraunhofer IPA (druhý krok v grafice) potvrzuje, že ML komponenta pro řešení detekce podvodů od Experian je správně vyvíjena a poskytuje srozumitelné výsledky. © Experian

Fraunhofer-Institut für Produktionstechnik und Automatisierung IPA provedl audit komponenty strojového učení »Transaction Miner« od poskytovatele informačních služeb Experian. Transaction Miner je klíčovou součástí řešení proti podvodům AI:drian od Experian. Audit potvrdil, že vývoj Transaction Minera byl proveden správně a v souladu s relevantními osvědčenými postupy a že model přináší srozumitelná a vysvětlitelná výsledky.

Strojové učení (ML) je nejčastěji používanou metodou umělé inteligence (AI). ML systémy se na základě příkladů učí do značné míry samostatně rozpoznávat určitá vzory nebo zákonitosti. Vztah příčin a následků v trénovaném modelu však není vždy zcela otevřený, tj. logika, jak je z výchozích informací odvozen výsledek, je často téměř nepostřehnutelná. Proto se v veřejné diskusi často používá metafora černé skříňky. To znamená, že ML systémy jsou hodnoceny nejen pozitivně, ale i kriticky, což představuje další překážku pro širší nasazení této technologie.

Podrobná analýza řešení ML

Jako u každého použití modelů je zvláště u ML systémů nutný odpovědný a pravidly v souladu s nimi řízený přístup. Technický pokrok zde přinesl nové možnosti, a proto Evropská komise právě pracuje na návrhu zákona, který má regulovat používání AI. Aby zákazníci mohli při používání řešení proti podvodům AI:drian být v bezpečí, zadal Experian Fraunhofer IPA, aby zhodnotil, zda byla komponenta ML Transaction Miner vyvinuta v souladu se všemi osvědčenými postupy a legislativními požadavky a zda přináší srozumitelné výsledky. K posouzení byly kromě návrhu EU použity také white paper TÜV Austria a katalog kontrol AI od Fraunhofer-Institutu für Intelligente Analyse- und Informationssysteme IAIS, které určují směr pro budoucí standardy na trhu. Po dokončení velmi podrobného čtyřměsíčního období testování dospělo toto šetření k pozitivnímu výsledku.

„Všimli jsme si, že stále více systémů ML je nasazováno v oblastech, které Evropská komise označila za kritické, například v autonomních vozidlech nebo – jak je tomu v tomto případě – při kontrole podvodných úmyslů a úvěrové způsobilosti spotřebitelů,“ vysvětluje profesor Marco Huber, vedoucí oddělení Cyber Cognitive Intelligence (CCI) na Fraunhofer IPA. „Ne všechny detaily budoucí evropské legislativy jsou již známy. Jak však mají algoritmy vypadat, aby poskytovaly spravedlivé, vysvětlitelné a srozumitelné výsledky, není sice trivialní, ale ani žádná čarodějnice. Kontrola Transaction Minera od Experian nám umožnila nahlédnout pod kapotu produktu, který je již v praktickém nasazení, a pracovat na standardizovaném postupu, který bude použitelný, jakmile se evropská legislativa stane právně závaznou.“

Práce usnadněna o více než 95 procent

Ověřený Transaction Miner od Fraunhofer IPA je klíčovou součástí řešení proti podvodům AI:drian, které nedávno Experian uvedl na trh v regionu DACH. Díky použitým algoritmům ML je AI:drian schopen spolehlivěji odhalovat online podvody než dosavadní systémy. U pilotního zákazníka z oblasti e-commerce bylo 99,9 procent transakcí, které Transaction Miner na základě svého tréninku označil za legitimní, skutečně ne podvodných, a proto nebyly odmítnuty. Místo přibližně 7 000 objednávek měsíčně tak bylo nutné manuálně zkontrolovat pouze 300 – což představuje práci usnadněnou o více než 95 procent.

„Nové vývoje, jako je strojové učení, jsou veřejností kriticky sledovány,“ komentuje Martina Neumayr, senior viceprezidentka pro kreditní riziko a služby proti podvodům ve společnosti Experian DACH. „Existují i příklady, kdy systémy ML přinášejí pochybná výsledky. S Transaction Minerem jsme vyvinuli obzvlášť výkonnou ML komponentu, kterou lze použít i tam, kde Evropská komise považuje za nutné přísné regulace, například v oblasti financí. Proto nám velmi záleželo na transparentnosti a nezávislém ověření technologie. Věříme, že nasazení nových technologií může být přijato pouze tehdy, pokud existují nezávislé kontroly, například ty od Fraunhofer IPA. A ještě lépe, pokud jsme touto průkopnickou prací položili základy pro budoucí standardizované postupy.“

Rozmanitá nabídka kolem „Spolehlivá AI“

Auditní kontroly, jako je popsaná, jsou jednou ze základních služeb oddělení CCI na Fraunhofer IPA. Jedním z hlavních výzkumných témat je zde „Spolehlivá AI“. V rámci tohoto tématu vyvíjejí experti z IPA mimo jiné metody vysvětlitelnosti a zabezpečení AI systémů. To zahrnuje také provádění auditů a validaci nebo kvalifikaci AI systémů jako nezávislých a právně v souladu s předpisy. Nabídky služeb jsou nezávislé na odvětví a jsou vhodné pro firmy od startupů po koncerny.

O Fraunhofer IPA

Fraunhofer-Institut für Produktionstechnik und Automatisierung IPA, zkráceně Fraunhofer IPA, je s přibližně 1200 zaměstnanci jedním z největších institutů společnosti Fraunhofer. Celkový rozpočet činí 82 milionů eur. Organizační a technologické úkoly v oblasti výroby jsou hlavními výzkumnými směry tohoto institutu. Vyvíjí, testuje a zavádí metody, komponenty a zařízení, až po kompletní stroje a zařízení. 19 odborných oddělení pracuje interdisciplinárně, koordinovaných 6 obchodními oblastmi, především s odvětvími automotive, strojírenství, elektronika a mikrosystémy, energetika, medicína a biotechnologie či průmyslové procesy. Výzkum je zaměřen na efektivní výrobu udržitelných a personalizovaných produktů.

O Experian DACH

Experian je celosvětovým lídrem v oblasti informačních a IT služeb. Pomáhá svým klientům využívat data sebevědomě. Podporuje soukromé osoby v získání kontroly nad svými finančními záležitostmi a přístupu ke finančním službám. Firmám pomáhá dělat chytrá a růst podněcující rozhodnutí. Poskytuje podporu při zodpovědném zacházení s úvěry. Organizace získávají potřebné nástroje k ochraně před identitními podvody a kriminalitou. V regionu DACH nabízí Experian firmám všech velikostí a odvětví, například e-commerce operátorům, pojišťovnám, finančním institucím a telekomunikačním společnostem, nejlepší základ pro řízení rizik, podvodů a identit.