Ovládnout umělou inteligenci

© Fraunhofer IPA

© Fraunhofer IPA

Umělá inteligence má většinou charakter black-box. Jen transparentnost však může vytvořit důvěru. K vysvětlení jednotlivých řešení existují speciální softwary. Studie Fraunhofer IPA nyní porovnala a zhodnotila různé metody, které činí strojové učení vysvětlitelným.

Umělá inteligence, která před několika desetiletími ještě patřila do oblasti science fiction, je nyní součástí každodenního života. Ve výrobě rozpoznává anomálie ve výrobním procesu, v bankách rozhoduje o půjčkách a na Netflixu najde vhodný film pro každého zákazníka. Za tím stojí vysoce složité algoritmy, které působí skrytě. Čím složitější je problém, tím složitější je model AI – a tím je také méně průhledný.

Nicméně uživatelé chtějí zejména u kritických aplikací pochopit, jak bylo rozhodnutí učiněno: Proč byl kus vyřazen jako vadný? Čím je způsobena opotřebení mého stroje? Pouze tak je možné provádět zlepšení, která se stále více týkají i bezpečnosti. Navíc evropské nařízení o ochraně osobních údajů nutí, aby byla rozhodnutí transparentní.

Srovnání softwaru pro xAI

Pro řešení tohoto problému vzniklo celé výzkumné pole: „Explainable Artificial Intelligence“, tedy vysvětlitelná umělá inteligence, zkráceně xAI. Na trhu je nyní k dispozici řada digitálních nástrojů, které činí složitá řešení AI vysvětlitelná. Například označují v obrázku ty pixely, které vedly k vyřazení vadných dílů. Experti z Fraunhoferova ústavu pro výrobu a automatizaci IPA ve Stuttgartu nyní porovnali devět běžných vysvětlovacích metod – jako jsou LIME, SHAP nebo Layer-Wise Relevance Propagation – a zhodnotili je na základě ukázkových aplikací. Při tom byly důležité především tři kritéria:

- Stabilita: Při stejné úloze by program měl vždy poskytnout stejná vysvětlení. Nemůže být například, že za anomálii ve výrobním stroji je jednou zodpovědný senzor A a podruhé senzor B. To by narušilo důvěru v algoritmus a ztížilo rozhodování o opatřeních.
- Konzistence: Současně by měly podobná vstupní data vést k podobným vysvětlením.
- Věrohodnost: Zejména je důležité, aby vysvětlení skutečně odrážela chování modelu AI. Nemůže se stát, že vysvětlení zamítnutí bankovní půjčky uvádí příliš vysoký věk klienta, když skutečným důvodem bylo nízké příjmy.

Klíčovým faktorem je případ použití

Závěr studie: Všechny zkoumané metody vysvětlování se ukázaly jako užitečné. „Ale neexistuje jedna dokonalá metoda,“ říká Nina Schaaf, která je v Fraunhofer IPA odpovědná za studii. Velké rozdíly jsou například v době běhu, kterou metoda potřebuje. Výběr nejlepšího softwaru závisí také na konkrétním úkolu. Například Layer-Wise Relevance Propagation a Integrated Gradients jsou obzvláště vhodné pro obrázková data. „A koneckonců je vždy důležitá i cílová skupina vysvětlení: vývojář AI chce a měl by dostávat vysvětlení jinak než výrobní manažer, protože oba od nich odvozují různé závěry,“ shrnuje Schaaf.

Studie „Vysvětlitelná AI v praxi“ je k dispozici zdarma na následujícím odkazu: https://www.ki-fortschrittszentrum.de/de/studien/erklaerbare-ki-in-der-praxis.html