Certifikace a zabezpečení KI z pohledu firem

Bílá kniha »Certifikace a zabezpečení AI v kontextu nařízení EU o AI« je dostupná zdarma na internetu na adrese https://doi.org/10.24406/publica-1875

Nasazení umělé inteligence (AI) v soukromém a profesním prostředí se neustále zvyšuje. Současně se na evropské úrovni diskutuje o regulacích prostřednictvím certifikace a zajištění AI. Instituty Fraunhofer IAO a IPA proto analyzovaly aktuální regulační opatření a shrnuly požadavky a potřeby firem v novém whitepaperu.

V posledních letech se význam umělé inteligence (AI) výrazně zvýšil jak v soukromém, tak v pracovním životě. AI má potenciál transformovat řadu průmyslových odvětví a oblastí naší společnosti tím, že zlepšuje efektivitu a kvalitu v různých aplikačních případech. Nicméně s nasazením AI jsou spojena i značná rizika a nejistoty, jako jsou algoritmické chyby, rizika odpovědnosti, diskriminace a narušení ochrany osobních údajů. Pokud systémy založené na AI nejsou vyvíjeny, provozovány a kontrolovány podle jednotných bezpečnostních standardů, mohou ohrozit bezpečnost produktů a služeb.

Pro řešení těchto výzev představila Evropská unie (EU) v roce 2021 návrh zákona o EU AI, jehož cílem je regulace AI. V červnu 2023 se EU Komise a Evropský parlament dohodly na návrhu a aktuálně jednají o jeho implementaci s členskými státy EU. AI zákon jako klíčový prvek certifikace a zajištění AI je také zásadní pro Inovační park umělé inteligence, který buduje největší evropský ekosystém pro vývoj AI. »V našem ekosystému Ipai chceme podporovat AI aplikace, které jsou nejen inovativní a efektivní, ale také bezpečné a eticky odpovědné. Praktické porozumění evropským standardům z AI zákona pro zajištění AI nám a našim členům pomůže přijmout všechna nezbytná opatření«, zdůrazňuje Moritz Gräter, generální ředitel Ipai.

V přípravě na nadcházející AI zákon EU IAO a Fraunhofer Institut für Produktionstechnik und Automatisierung IPA proto analyzovaly pohled firem. Výzkumný tým zmapoval aktuální stav legislativních opatření týkajících se zajištění AI. Na základě výsledků rozhovorů s odborníky tým rovněž formuloval požadavky firem, výzkumných a vzdělávacích institucí na implementaci procesů zajištění a certifikace systémů AI.

Chybějící předpisy pro zajištění AI jako nejistota pro firmy

Podle aktuálního návrhu zákona o EU AI je plánováno rozdělení AI aplikací do různých úrovní rizika, přičemž každá úroveň podléhá odlišným požadavkům. Provozovatelé vysokorizikových AI systémů budou povinni ověřit shodu s těmito požadavky prostřednictvím vlastního posouzení a následně mohou používat certifikát CE. Povinné kontroly třetí stranou by měly být vyhrazeny pouze pro specifické oblasti, například zdravotnictví.

Ačkoliv tyto požadavky jasně ukazují, jak by měl vypadat v souladu s EU AI zákonem použití AI, je zatím nejasné, jak toho dosáhnout. Chybí konkrétní opatření k ověření splnění požadavků. »Firmy mají například potíže odhadnout, za jakých podmínek je jejich AI transparentní nebo jaká míra chyb je tolerovatelná«, vysvětluje Janika Kutz, vedoucí týmu v výzkumném a inovačním centru Kognitivní službové systémy KODIS Fraunhofer IAO. Stejně tak panuje obava, že náklady na certifikaci, zejména zdroje start-upů a menších a středních podniků, by mohly být nad jejich možnosti. Obává se, že bude potřeba právní znalosti k úplnému a správnému splnění požadavků a že to povede ke zvýšení vývojových časů a nákladů, což by mohlo evropským firmám zabránit konkurovat s mezinárodní konkurencí.

Firmy formulují jasné požadavky na certifikaci AI

Jedním z důležitých výsledků rozhovorů je, že certifikace musí být proveditelná pro firmy všech velikostí. Zabezpečit a certifikovat každý případ zvlášť je náročné a vyžaduje značné zdroje, proto firmy kladou důraz na jasná pravidla pro zajištění AI. Zejména je důležité transparentnost a proveditelnost certifikačních procesů, jasné role úřadů a institucí a zachování inovační schopnosti. »Dotazované firmy se shodují, že při certifikaci AI by měl být vždy kladen důraz na přidanou hodnotu pro koncové uživatele«, shrnuje Prof. Dr. Marco Huber, vedoucí oddělení Cyber Cognitive Intelligence v Fraunhofer IPA, výsledky rozhovorů.

Externí podpůrné nabídky pro firmy jsou žádané

Na základě odpovědí respondentů se zdá, že většina firem není dostatečně připravena na nadcházející regulace prostřednictvím EU AI zákona. Firmy tak mohou těžit z informací, transferu znalostí a budování sítí a mají zájem o individuální poradenské služby či praktické metody a nástroje na podporu zajištění a certifikace systémů založených na AI. Pravidelná výměna informací mezi regulačními úřady, průmyslem, výzkumnými institucemi a širokou veřejností umožní rozvoj komplexního porozumění příležitostem a výzvám při využívání AI. To povede k vývoji AI systémů, které budou efektivnější, bezpečnější a více orientované na praxi.

Whitepaper „Certifikace a zajištění AI v kontextu EU AI zákona“ je dostupný zdarma online na: https://doi.org/10.24406/publica-1875