Niezależne badanie AI: Fraunhofer IPA bada system uczenia maszynowego firmy Experian

Audyt Fraunhofer IPA (drugi krok na grafice) potwierdza, że komponent ML dla rozwiązania wykrywania oszustw od Experian jest poprawnie opracowany i daje możliwe do zrozumienia wyniki. © Experian

Fraunhofer-Institut für Produktionstechnik und Automatisierung IPA przeprowadził audyt komponentu uczenia maszynowego »Transaction Miner« dostawcy usług informacyjnych Experian. Transaction Miner jest kluczowym elementem rozwiązania Experian w zakresie zapobiegania oszustwom AI:drian. Audyt potwierdził, że rozwój Transaction Minera przebiegał poprawnie i zgodnie z odpowiednimi najlepszymi praktykami, a model prowadzi do wyników możliwych do zrozumienia.

Uczenie maszynowe (ML) jest najczęściej wykorzystywaną metodą sztucznej inteligencji (SI). Systemy ML uczą się na podstawie przykładów, w dużej mierze samodzielnie, rozpoznając określone wzorce lub prawidłowości. Powiązania przyczynowo-skutkowe w wytrenowanym modelu nie zawsze są jawne, tzn. logika, na podstawie której z danych wyjściowych wyprowadzany jest wynik, często jest trudna do zrozumienia. Dlatego w publicznej dyskusji często używa się metafory czarnej skrzynki. Wiąże się to z tym, że systemy ML są oceniane nie tylko pozytywnie, ale także krytycznie, co stanowi dodatkową barierę dla szerszego zastosowania tej technologii.

Szczegółowa analiza rozwiązania ML

Jak w przypadku każdego użycia modeli, szczególnie w przypadku systemów ML, konieczne jest odpowiedzialne i zgodne z przepisami postępowanie. Postęp techniczny umożliwił pojawienie się nowych możliwości, dlatego Komisja UE pracuje nad projektem ustawy regulującej stosowanie SI. Aby klienci korzystający z rozwiązania zapobiegania oszustwom AI:drian byli pewni, że komponent ML Transaction Miner został opracowany zgodnie z najlepszymi praktykami i przepisami prawa, firma Experian zleciła Fraunhofer IPA ocenę, czy został on odpowiednio opracowany i czy dostarcza wyniki możliwe do zrozumienia. Podczas audytu uwzględniono opracowanie UE, White Paper TÜV Austria oraz katalog kontroli SI Fraunhofer IAIS, które wyznaczają kierunki przyszłych standardów rynkowych. Po bardzo szczegółowym czteromiesięcznym etapie badawczym, ta analiza zakończyła się pozytywnym wynikiem.

„Obserwujemy, że coraz więcej systemów ML jest wykorzystywanych w obszarach, które Komisja UE określiła jako krytyczne, na przykład w samochodach autonomicznych lub – jak w tym przypadku – przy weryfikacji zamiarów oszustwa i wiarygodności kredytowej konsumentów”, wyjaśnia profesor Marco Huber, kierownik działu Cyber Cognitive Intelligence (CCI) w Fraunhofer IPA. „Nie wszystkie szczegóły przyszłej legislacji UE są już znane. Jak jednak powinny wyglądać algorytmy, które dostarczają uczciwe, wyjaśnialne i możliwe do zrozumienia wyniki, nie jest trudne do zrozumienia, choć wymaga pracy. Audyt Transaction Minera od Experian dał nam okazję zajrzeć pod maskę produktu, który już działa w praktyce, i pracować nad ustandaryzowanym procesem, który będzie użyteczny, gdy legislacja UE stanie się prawnie wiążąca.”

Praca ułatwiona o ponad 95 procent

Przeanalizowany przez Fraunhofer IPA Transaction Miner jest centralnym elementem rozwiązania zapobiegania oszustwom AI:drian, które firma Experian niedawno wprowadziła na rynek w regionie DACH. Dzięki zastosowanym algorytmom ML AI:drian jest w stanie skuteczniej wykrywać próby oszustw online niż wcześniejsze systemy. W ramach pilotażowego klienta z branży e-commerce, 99,9 procent transakcji, które Transaction Miner na podstawie swojego treningu uznał za legalne, nie było oszukańczych i nie zostały odrzucone. W związku z tym, zamiast około 7 000 zamówień miesięcznie, trzeba było ręcznie sprawdzić jedynie 300 – co oznacza pracę ułatwioną o ponad 95 procent.

„Nowe technologie, takie jak uczenie maszynowe, są krytycznie obserwowane przez społeczeństwo”, komentuje Martina Neumayr, starszy wiceprezes ds. ryzyka kredytowego i usług zapobiegania oszustwom w Experian DACH. „Istnieją również przykłady, że systemy ML dostarczają wątpliwych wyników. Z Transaction Miner opracowaliśmy szczególnie wydajny komponent ML, który można stosować tam, gdzie Komisja UE widzi potrzebę silnych regulacji, na przykład w finansach. Dlatego szczególnie zależało nam na tym, aby działać transparentnie i niezależnie poddać technologię ocenie. Uważamy, że stosowanie nowych technologii może odnieść sukces tylko wtedy, gdy istnieją niezależne kontrole, takie jak te przeprowadzane przez Fraunhofer IPA. Tym lepiej, jeśli dzięki temu pionierskiemu działaniu wyznaczamy drogę do przyszłych, ustandaryzowanych procedur.”

Różnorodna oferta wokół »Wiarygodnej SI«

Audity, takie jak opisany, są jednym z głównych elementów oferty działu CCI w Fraunhofer IPA. Jednym z głównych obszarów badań jest temat »Wiarygodnej SI«. W tym kontekście eksperci z IPA opracowują między innymi metody wyjaśnialności i zabezpieczenia systemów SI. Do tego należy również przeprowadzanie audytów i niezależne, zgodne z prawem walidacje lub kwalifikacje systemów SI. Oferta jest niezależna od branży i odpowiednia dla firm od startupów po korporacje.

O Fraunhofer IPA

Fraunhofer-Institut für Produktionstechnik und Automatisierung IPA, znany jako Fraunhofer IPA, jest jednym z największych instytutów Fraunhofer-Gesellschaft, zatrudniającym około 1200 pracowników. Całkowity budżet wynosi 82 mln euro. Zadania organizacyjne i technologiczne związane z produkcją są głównymi obszarami badań instytutu. Opracowuje on metody, komponenty i urządzenia, aż po kompletne maszyny i linie produkcyjne, które są testowane i wdrażane. 19 działów interdyscyplinarnie współpracuje, koordynowanych przez 6 jednostek biznesowych, głównie z branżami motoryzacyjną, maszyn i urządzeń, elektroniką i mikrosystemami, energetyką, medycyną i biotechnologią oraz przemysłem procesowym. Instytut skupia się na badaniach mających na celu ekonomiczną produkcję zrównoważonych i spersonalizowanych produktów.

O Experian DACH

Experian jest światowym liderem na rynku usług informacyjnych i IT. Pomaga swoim klientom pewnie korzystać z danych. Wspiera osoby prywatne w uzyskaniu kontroli nad swoimi finansami i dostępie do usług finansowych. Firmom pomaga podejmować mądre decyzje rozwojowe. Kredytobiorcom towarzyszy w odpowiedzialnym korzystaniu z kredytów. Organizacjom dostarcza narzędzi niezbędnych do ochrony przed oszustwami tożsamości i przestępczością. W regionie DACH Experian oferuje firmom różnej wielkości i branżom, takim jak e-commerce, ubezpieczenia, usługi finansowe i telekomunikacja, najlepszą podstawę do zarządzania ryzykiem, zapobieganiem oszustwom i tożsamościami.