Preparar la IA para aplicaciones críticas de seguridad

© Sociedad Fraunhofer

Planificación de la producción, logística, mantenimiento, control de calidad – en la fabricación industrial hay muchos campos de aplicación para la inteligencia artificial. En la práctica, los modelos de IA todavía se utilizan poco. La razón: la fiabilidad es difícil de verificar. Nuevos criterios de certificación pueden preparar la IA para aplicaciones críticas en seguridad.

Las expectativas son casi insuperables: la inteligencia artificial debe flexibilizar la producción, planificar el mantenimiento de forma predictiva, optimizar el flujo de mercancías, automatizar la logística, automatizar los controles de calidad. »En realidad, en los últimos años – también en el Fraunhofer IPA – se han desarrollado numerosos algoritmos y arquitecturas de IA prometedores, por ejemplo, para visión por computadora, interfaces humano-máquina o robótica en red«, informa Xinyang Wu del Centro de Ciber-Cognitiva Inteligencia en el IPA. Lo que falta ahora es la implementación práctica. »Entre la investigación y la aplicación existe una brecha. En la industria, las nuevas aplicaciones de IA se utilizan con retraso. Se consideran poco fiables para aplicaciones críticas en seguridad.«

Wu conoce de primera mano las reticencias de los usuarios: »Cuando hablamos con nuestros socios de la industria, rápidamente se hace evidente que las empresas solo quieren utilizar robots autónomos y autoaprendientes si trabajan de manera absolutamente fiable, y si se puede decir con seguridad del 100% que las máquinas no representan peligro para las personas.«

Eso exactamente no se puede demostrar hasta ahora. No existen normas ni pruebas estandarizadas. Sin embargo, Wu enfatiza que son urgentemente necesarias: »El objetivo debe ser certificar y hacer transparentes las decisiones tomadas por los algoritmos. Por ejemplo, debe garantizarse la trazabilidad: cuando una máquina toma decisiones de forma autónoma, al menos en retrospectiva, tengo que poder averiguar por qué cometió un error en una situación determinada. Solo así se puede evitar que vuelva a ocurrir. Los modelos de caja negra, en los que no se puede entender la decisión de los algoritmos, no son adecuados para aplicaciones críticas en seguridad, a menos que el modelo sea certificado mediante el método correcto.«

Pero, ¿cómo se verifica la inteligencia artificial? El equipo del IPA en el Centro de Ciber-Cognitiva Inteligencia ha propuesto una estrategia y, en el White Paper »IA confiable – Uso de IA en aplicaciones industriales críticas en seguridad«, informa sobre el estado de la tecnología correspondiente: La estrategia se basa en la certificabilidad y la transparencia.

Catálogo de criterios para mayor seguridad

»En primer lugar, nuestro objetivo fue encontrar reglas que permitan evaluar la fiabilidad del aprendizaje automático y la IA relacionada«, explica Wu. El resultado de esta investigación son cinco criterios que los sistemas de IA deben cumplir para considerarse seguros:

- Todas las decisiones de los algoritmos deben ser comprensibles para las personas.
- La función de los algoritmos debe ser verificada antes de su uso mediante métodos de verificación formal.
- Además, es necesaria una validación estadística, especialmente cuando la verificación formal no es factible debido a la escalabilidad en el caso de uso específico. Esto puede verificarse mediante pruebas con conjuntos de datos o cantidades de piezas mayores.
- También deben determinarse y cuantificarse las incertidumbres que subyacen a las decisiones de las redes neuronales.
- Durante la operación, los sistemas deben ser verificados de forma permanente, por ejemplo, mediante monitoreo en línea. Es importante registrar la entrada y la salida, es decir, los datos de sensores y las decisiones resultantes de su análisis.

Estos cinco criterios podrían servir como base para una evaluación estandarizada futura, enfatiza Wu: »En el IPA ya hemos recopilado diferentes algoritmos y métodos para cada uno de estos puntos, con los que también se puede verificar realmente la fiabilidad de los sistemas de IA. Ya hemos realizado algunas de estas pruebas con algunos de nuestros clientes.«

La transparencia genera confianza

La segunda condición fundamental para un uso seguro de los sistemas de IA es su transparencia. Según las directrices éticas del »High-Level Expert Group on Artificial Intelligence« de la Comisión Europea, conocido como HLEG AI, esta es uno de los elementos clave para la implementación de una IA confiable. Esta transparencia, a diferencia de los criterios que permiten verificar la fiabilidad en el nivel algorítmico, se refiere exclusivamente a la interacción con el ser humano en el nivel sistemático. Tres puntos resumen las directrices de la HLEG AI que una IA transparente debe cumplir: Primero, las decisiones tomadas por los algoritmos deben ser comprensibles. Segundo, debe ser posible explicar las decisiones a las personas en un nivel comprensible y completo.

Y en tercer lugar, los sistemas de IA deben comunicarse con las personas y informarles sobre las capacidades de los algoritmos y sus límites.

»Solo si se logra probar la fiabilidad de los sistemas de IA autónomos y autoaprendientes con procedimientos estandarizados, considerando también aspectos éticos, los usuarios confiarán en la IA – ya sea en el tráfico vial o en la fábrica«, predice Wu. »Cuando exista esa confianza, se cerrará la brecha entre investigación y aplicación.«

El estudio »IA confiable – Uso de IA en aplicaciones industriales críticas en seguridad« está disponible para su descarga en: https://www.ki-fortschrittszentrum.de/de/studien/zuverlaessige-ki.html