SAFEXPLAIN
Participantes
- Barcelona Supercomputing Center (BSC)
- IKERLAN S. Coop.
- AIKO SRL
- RISE RESEARCH INSTITUTES OF SWEDEN AB
- NAVINFO EUROPE BV
- EXIDA DEVELOPMENT SRL
Duración
2022 - 2025
Presupuesto
3 891 875 €
Programa
Programas europeos: Horizon Europe
SAFEXPLAIN tiene como objetivo reducir la brecha fundamental actual entre los requisitos de seguridad funcional (FUSA) de los sistemas basados en inteligencia artificial autónoma crítica (IA) y la naturaleza compleja de las soluciones de aprendizaje profundo (DL). La falta de transparencia (principalmente explicabilidad y trazabilidad) y la naturaleza estocástica y dependiente de los datos del software DL contrastan con la necesidad de soluciones de software deterministas, verificables y basadas en pruebas de aprobación/rechazo para sistemas críticos.
SAFEXPLAIN aborda este desafío al proporcionar un enfoque novedoso y flexible para trabajar hacia la certificación (adopción) de soluciones basadas en DL en sistemas críticos, al diseñar soluciones de DL transparentes que permitan explicar por qué satisfacen los requisitos de seguridad funcional, con trazabilidad de extremo a extremo, con enfoques específicos para explicar si se puede confiar en las predicciones y con estrategias para alcanzar (y probar) el funcionamiento correcto, de acuerdo con los estándares de certificación. SAFEXPLAIN también diseñará patrones de seguridad de diseño de seguridad funcional alternativos y cada vez más complejos para diferentes niveles de uso de DL (es decir, con diferentes requisitos de seguridad) que permitirán usar DL en un amplio conjunto de sistemas críticos, para diferentes niveles de criticidad y tolerancia a fallas.
Nuestra aportación
IKERLAN participará con un equipo multidisciplinar de ingenieros de seguridad funcional, especialistas en Analítica de Datos e Inteligencia Artificial e ingenieros de software con alta experiencia en el ámbito ferroviario.
Este equipo cubrirá varios aspectos del proyecto, incluido el liderazgo del paquete de trabajo de evaluación de la seguridad, cuyo objetivo es identificar las necesidades y crear los diseños y argumentos necesarios para construir una solución segura basada en DL. Este trabajo se complementa con el estudio y adaptación de modelos y librerías de DL que faciliten el cumplimiento de los estándares de seguridad funcional. Finalmente, todo este trabajo se evaluará en un caso de estudio ferroviario que tiene como objetivo evitar la colisión de trenes autónomos con objetos o personas en la vía con algoritmos de detección de objetos basados en DL.
