Jak připravit KI na bezpečnostně kritické aplikace

© Fraunhofer-Gesellschaft

Plánování výroby, logistika, údržba, kontrola kvality – v průmyslové výrobě existuje mnoho oblastí využití umělé inteligence. V praxi však dosud není využívána příliš často. Důvodem je, že spolehlivost je těžko ověřitelná. Nová kritéria certifikace mohou AI připravit na bezpečnostně kritické aplikace.

Očekávání jsou téměř nesplnitelná: umělá inteligence má flexibilizovat výrobu, plánovat údržbu předvídavě, optimalizovat tok zboží, automatizovat logistiku, automatizovat kontroly kvality. »V posledních letech – i na Fraunhoferově IPA – bylo vyvinuto mnoho slibných algoritmů a architektur AI, například pro počítačové vidění, rozhraní člověk-stroj nebo propojenou robotiku«, uvádí Xinyang Wu z Centra pro kyber-kognitivní inteligenci na IPA. Co nyní chybí, je praktická realizace. »Mezi výzkumem a aplikací je propast. V průmyslu jsou nové AI aplikace využívány jen váhavě. Považují se za nedostatečně spolehlivé pro bezpečnostně kritické použití.«

Obavy uživatelů zná Wu z první ruky: »Když mluvíme s našimi partnery z průmyslu, rychle je jasné, že například autonomní a samoučící se roboty chtějí využívat jen tehdy, pokud budou naprosto spolehliví, a pokud lze s jistotou říct, že stroje nepředstavují hrozbu pro člověka.«

To přesně zatím nelze dokázat. Neexistují žádné normy ani standardizované testy. Ty jsou však naléhavě potřeba, zdůrazňuje Wu: »Cílem musí být certifikace a transparentnost rozhodnutí, která činí algoritmy. Například musí být zajištěna sledovatelnost: když stroj činí samostatná rozhodnutí, musím – alespoň zpětně – být schopen zjistit, proč v určité situaci udělal chybu. Jen tak lze zabránit jejímu opakování. Černé skříňky, u nichž nelze rozhodnutí algoritmů zpětně sledovat, podle našeho názoru nejsou pro bezpečnostně kritické aplikace přímo vhodné – pokud model není certifikován správnou metodou.«

Ale jak ověřit umělou inteligenci? Tým IPA navrhl pro tento účel strategii a o stavu příslušné techniky informuje v bílém dokumentu »Spolehlivá AI – využití AI v bezpečnostně kritických průmyslových aplikacích«: Strategie je založena na certifikovatelnosti a transparentnosti.

Katalog kritérií pro větší bezpečnost

»V první řadě jsme se snažili najít pravidla, která umožní posoudit spolehlivost strojového učení a s tím související AI«, uvádí Wu. Výsledkem tohoto výzkumu je pět kritérií, která by měly AI systémy splnit, aby byly považovány za bezpečné:

- Všechna rozhodnutí algoritmů musí být srozumitelná pro člověka.
- Funkce algoritmů musí být před nasazením ověřena metodami formální verifikace.
- Dále je nutná statistická validace, zvláště pokud formální verifikace není kvůli škálovatelnosti využitelná pro daný případ použití. To lze ověřit testováním na větších množstvích dat nebo na větším počtu kusů.
- Také nejistoty, které jsou základem rozhodnutí neuronových sítí, musí být zjištěny a kvantifikovány.
- Během provozu musí být systémy neustále kontrolovány, například prostřednictvím online monitoringu. Důležité je zaznamenávání vstupů a výstupů – tedy senzorových dat a rozhodnutí od nich odvozených.

Tato pětice kritérií by mohla tvořit základ pro budoucí standardizované ověřování, zdůrazňuje Wu: »V IPA jsme již shromáždili různé algoritmy a metody, které umožňují skutečně ověřit spolehlivost AI systémů. Některé z našich testů jsme již provedli i u některých našich zákazníků.«

Transparentnost buduje důvěru

Druhou základní podmínkou bezpečného nasazení AI systémů je jejich transparentnost. Ta je podle etických směrnic »High-Level Expert Group on Artificial Intelligence« Evropské komise, zkráceně HLEG AI, jedním z klíčových prvků pro realizaci důvěryhodné AI. Tato transparentnost se, na rozdíl od kritérií, která lze ověřit na úrovni algoritmu, týká výhradně interakce s člověkem na systémové úrovni. Tři body, které podle směrnic HLEG AI musí transparentní AI splňovat, jsou shrnuty takto: Za prvé, rozhodnutí algoritmů musí být srozumitelná. Za druhé, musí být možné na základě komplexního lidského porozumění vysvětlit rozhodnutí.

A za třetí, musí AI systémy komunikovat s člověkem a informovat ho o schopnostech algoritmů a jejich limitech.

»Pouze pokud se podaří testovat spolehlivost samoučících se, autonomních AI systémů pomocí standardizovaných metod a zároveň zohlednit i etické aspekty, budou uživatelé AI důvěřovat – ať už v dopravě nebo v továrně«, předpovídá Wu. »Když toto důvěru získáme, překleneme propast mezi výzkumem a praxí.«

Studie »Spolehlivá AI – využití AI v bezpečnostně kritických průmyslových aplikacích« je ke stažení na adrese: https://www.ki-fortschrittszentrum.de/de/studien/zuverlaessige-ki.html