Dominar la inteligencia artificial

© Fraunhofer IPA

© Fraunhofer IPA

La inteligencia artificial suele tener carácter de caja negra. Sin embargo, solo la transparencia puede generar confianza. Para explicar el camino de solución correspondiente, existen programas específicos. Un estudio del Fraunhofer IPA ha comparado y evaluado diferentes métodos que hacen explicables los procedimientos de aprendizaje automático.

La inteligencia artificial, que hace pocas décadas era ciencia ficción, ya forma parte de la vida cotidiana. En la fabricación, detecta anomalías en el proceso de producción; en los bancos decide sobre créditos; y en Netflix encuentra la película adecuada para cada cliente. Detrás hay algoritmos altamente complejos que operan en secreto. Cuanto más desafiante sea el problema, más complejo será el modelo de IA, y por lo tanto, también más inescrutable.

Pero los usuarios quieren, especialmente en aplicaciones críticas, entender cómo se toma una decisión: ¿Por qué se descartó la pieza como defectuosa? ¿Qué causa el desgaste de mi máquina? Solo así es posible realizar mejoras, que cada vez afectan más a la seguridad. Además, el Reglamento General de Protección de Datos de la Unión Europea obliga a hacer las decisiones comprensibles.

Comparativa de software para xAI

Para resolver este problema, ha surgido todo un campo de investigación: la «Inteligencia Artificial Explicable», o xAI, en abreviatura. En el mercado ya existen numerosas ayudas digitales que hacen explicables los caminos complejos de la IA. Por ejemplo, marcan en una imagen los píxeles que llevaron a que se descartaran piezas defectuosas. Expertos del Instituto Fraunhofer para Tecnología de Producción y Automatización IPA de Stuttgart han comparado nueve métodos explicativos comunes —como LIME, SHAP o Propagación de Relevancia en Capas— y los han evaluado mediante aplicaciones de ejemplo. Para ello, se consideraron principalmente tres criterios:

- Estabilidad: Para la misma tarea, el programa debe ofrecer siempre la misma explicación. No debe suceder que, ante una anomalía en la máquina de producción, una vez se atribuya a Sensor A y otra vez a Sensor B. Esto destruiría la confianza en el algoritmo y dificultaría la derivación de acciones a tomar.
- Consistencia: Al mismo tiempo, datos de entrada ligeramente diferentes deberían generar explicaciones similares.
- Fidelidad: Es especialmente importante que las explicaciones reflejen realmente el comportamiento del modelo de IA. No debe suceder que la explicación para la denegación de un crédito bancario indique una edad demasiado alta del cliente, cuando en realidad fue su bajo ingreso lo que causó la rechazo.

El caso de uso es decisivo

Conclusión del estudio: todos los métodos de explicación analizados demostraron ser útiles. «Pero no existe un método perfecto», dice Nina Schaaf, responsable del estudio en el Fraunhofer IPA. Hay grandes diferencias, por ejemplo, en el tiempo que tarda un método en dar una respuesta. La elección del mejor software también depende en gran medida de la tarea específica. Por ejemplo, Layer-Wise Relevance Propagation e Integrated Gradients son especialmente adecuados para datos de imágenes. «Y, finalmente, también importa mucho quién es el público objetivo de la explicación: un desarrollador de IA quiere y debe recibir una explicación diferente a la del gerente de producción, ya que ambos sacan conclusiones distintas de las explicaciones», resume Schaaf.

El estudio «Inteligencia Artificial Explicable en la Práctica» está disponible gratuitamente en el siguiente enlace: https://www.ki-fortschrittszentrum.de/de/studien/erklaerbare-ki-in-der-praxis.html