KI geschikt maken voor veiligheidskritische toepassingen

© Fraunhofer-Gesellschaft

Productieplanning, logistiek, onderhoud, kwaliteitscontrole – in de industriële productie zijn er veel toepassingsgebieden voor Kunstmatige Intelligentie. In de praktijk worden KI-modellen tot nu toe echter nog maar weinig gebruikt. De reden: de betrouwbaarheid is moeilijk te testen. Nieuwe certificeringscriteria kunnen KI geschikt maken voor veiligheidskritische toepassingen.

De verwachtingen zijn nauwelijks te overtreffen: Kunstmatige Intelligentie moet de productie flexibeler maken, het onderhoud voorspellend plannen, de goederenstroom optimaliseren, de logistiek automatiseren, de kwaliteitscontroles automatiseren. »In de afgelopen jaren – ook aan het Fraunhofer IPA – zijn talrijke veelbelovende KI-algoritmen en -architecturen ontwikkeld, bijvoorbeeld voor computervisie, mens-machine interfaces of verbonden robotica«, meldt Xinyang Wu van het Centrum voor Cyber Cognitive Intelligence aan het IPA. Wat nu ontbreekt, is de praktische implementatie. »Tussen onderzoek en toepassing bestaat een kloof. In de industrie worden de nieuwe KI-toepassingen slechts traag geïntroduceerd. Ze worden als niet betrouwbaar genoeg beschouwd voor veiligheidskritische toepassingen.«

De bezwaren van gebruikers kent Wu uit eerste hand: »Als we met onze partners uit de industrie spreken, wordt snel duidelijk dat de bedrijven bijvoorbeeld autonome en zelflerende robots alleen willen gebruiken als deze absoluut betrouwbaar werken, en als men met honderd procent zekerheid kan zeggen dat de machines geen gevaar voor de mens vormen.«

Dat kan tot nu toe niet worden bewezen. Er zijn noch normen noch gestandaardiseerde tests. Deze zouden echter dringend nodig zijn, benadrukt Wu: »Het doel moet zijn om de beslissingen die door algoritmen worden genomen, gecertificeerd en transparant te maken. Zo moet bijvoorbeeld de traceerbaarheid gewaarborgd zijn: Als een machine zelfstandig beslissingen neemt, moet ik – al is het maar achteraf – kunnen achterhalen waarom hij in een bepaalde situatie een fout heeft gemaakt. Alleen zo kan worden voorkomen dat dit opnieuw gebeurt. Black-box-modellen, waarbij men de beslissing van de algoritmen niet kan volgen, zijn volgens onze inschatting niet direct geschikt voor gebruik in veiligheidskritische toepassingen – tenzij het model wordt gecertificeerd door de juiste methode.«

Maar hoe controleer je Kunstmatige Intelligentie? Het IPA-team van het Centrum voor Cyber Cognitive Intelligence heeft daarvoor nu een strategie voorgesteld en rapporteert in het white paper »Betrouwbare KI – KI inzetten in veiligheidskritische industriële toepassingen« over de stand van de betreffende techniek: De strategie is gebaseerd op certificeerbaarheid en transparantie.

Criteria-kader voor meer veiligheid

»In de eerste plaats ging het ons er eerst om regels te vinden waarmee de betrouwbaarheid van Machine Learning en de bijbehorende KI kan worden beoordeeld«, meldt Wu. Het resultaat van dit onderzoek zijn vijf criteria waaraan KI-systemen moeten voldoen om als veilig te worden beschouwd:

- Alle beslissingen van de algoritmen moeten voor mensen begrijpelijk zijn.
- De werking van de algoritmen moet vóór het gebruik worden getest met methoden van formele verificatie.
- Daarnaast is een statistische validatie noodzakelijk, vooral wanneer de formele verificatie vanwege schaalbaarheid niet bruikbaar is voor de specifieke toepassing. Dit kan worden gecontroleerd door testruns met grotere datasets of stukgewijze aantallen.
- Ook de onzekerheden die ten grondslag liggen aan de beslissingen van neurale netwerken, moeten worden vastgesteld en gekwantificeerd.
- Tijdens de bedrijfsvoering moeten de systemen continu worden gecontroleerd, bijvoorbeeld door online monitoring. Belangrijk daarbij is het vastleggen van input en output – dus van sensordata en de uit die data afgeleide beslissingen.

De vijf criteria zouden de basis kunnen vormen voor een – toekomstige – gestandaardiseerde toetsing, benadrukt Wu: »Bij het IPA hebben we voor elk van deze punten verschillende algoritmen en methoden verzameld waarmee de betrouwbaarheid van KI-systemen ook daadwerkelijk kan worden gecontroleerd. Bij enkele van onze klanten hebben we dergelijke tests al uitgevoerd.«

Transparantie schept vertrouwen

De tweede basisvoorwaarde voor een veilige inzet van KI-systemen is hun transparantie. Deze is volgens de ethische richtlijnen van de »High-Level Expert Group on Artificial Intelligence« van de Europese Commissie, kort HLEG AI, een van de sleutelelementen voor de realisatie van betrouwbare KI. Deze transparantie heeft, anders dan de criteria waarmee de betrouwbaarheid op algoritmisch niveau kan worden gecontroleerd, uitsluitend betrekking op de interactie met de mens op systematisch niveau. Drie punten worden hiervoor samengevat op basis van de richtlijnen van de HLEG AI, die transparante KI moet vervullen: Ten eerste moeten de door de algoritmen genomen beslissingen traceerbaar zijn. Ten tweede moet het voor mensen op een breed niveau van menselijk begrip mogelijk zijn om de beslissingen uit te leggen.

En ten derde moeten KI-systemen communiceren met de mens en hem informeren over welke vaardigheden de algoritmen hebben en waar ze grenzen tegenkomen.

»Alleen als het lukt om de betrouwbaarheid van zelflerende, autonome KI-systemen te testen met gestandaardiseerde procedures en daarbij ook ethische aspecten te betrekken, zullen de KI-gebruikers vertrouwen krijgen – of het nu in het wegverkeer of in de fabriekshal is«, voorspelt Wu. »Als dat vertrouwen er is, zal de kloof tussen onderzoek en toepassing worden gedicht.«

De studie »Betrouwbare KI – KI inzetten in veiligheidskritische industriële toepassingen« is te downloaden via: https://www.ki-fortschrittszentrum.de/de/studien/zuverlaessige-ki.html