Por Varun Prasad, CISA, CISM, CCSK, CIPM, PMP. Tomado de ISACA.org
A medida que más empresas y consumidores adoptan aplicaciones basadas en IA, es cada vez más crítico garantizar la responsabilidad y la confiabilidad de la inteligencia artificial (IA). Las agencias gubernamentales y organizaciones intergubernamentales están promulgando rápidamente regulaciones y publicando marcos para aumentar la supervisión, la responsabilidad y la transparencia en el uso de la IA. Por ejemplo, la Ley de IA de la UE exige que los desarrolladores de sistemas de IA de alto riesgo cumplan con varias normativas, como evaluaciones de modelos, gestión de riesgos sistémicos y pruebas adversariales (incluyendo sistemas de IA generativa) para cumplir con los requisitos de transparencia. En los Estados Unidos, el principio clave de la Carta de Derechos de la IA es la protección contra la discriminación algorítmica, que establece que los algoritmos y sistemas deben ser utilizados y diseñados equitativamente. Esta carta exige evaluaciones de equidad proactivas, el uso de datos representativos y pruebas continuas para mitigar disparidades.
Aunque existen varios elementos en los marcos de gobernanza de IA, la auditoría de algoritmos subyacentes a las aplicaciones de IA es un componente esencial y obligatorio. Es crucial entender el funcionamiento interno de un sistema de IA a través de estas auditorías algorítmicas, que proporcionan información sobre aspectos como los datos de entrenamiento, el desarrollo y entrenamiento de modelos, y la lógica subyacente de los sistemas de IA. Esta información refuerza la confianza en los resultados de los sistemas de IA al verificar el cumplimiento de otros principios de IA responsable.
Auditorías algorítmicas y desafíos
La auditoría algorítmica se refiere al proceso de evaluar la funcionalidad de las aplicaciones de aprendizaje automático (ML), incluyendo el contexto y propósito de la máquina para evaluar su utilidad y equidad. Estas auditorías ayudan a entender sistemáticamente el surgimiento de sesgos en cada paso del proceso de construcción de modelos. Aunque la auditoría algorítmica puede ser una palabra de moda en el ámbito de la auditoría de TI, la auditoría de sistemas basados en análisis de datos y ML ha sido estudiada por reguladores gubernamentales desde hace algún tiempo. Por ejemplo, la Comisión Australiana de Competencia y Consumo (ACCC) realizó una auditoría de un motor de búsqueda de hoteles popular, donde encontró que el algoritmo favorecía injustamente a los hoteles que pagaban comisiones más altas en su sistema de clasificación. La Corte Federal ordenó a la empresa pagar sanciones por representaciones engañosas sobre las tarifas de habitaciones de hotel en su sitio web y en publicidad televisiva, destacando la importancia de auditar algoritmos para revelar la lógica que impulsa los resultados de las aplicaciones basadas en IA.
El mayor obstáculo para auditar algoritmos es la falta de un marco maduro que detalle los subprocesos de IA en los que basar las auditorías. La ausencia de precedentes ampliamente adoptados para manejar casos de uso de IA es otro desafío. Además, las técnicas específicas utilizadas por investigadores y reguladores varían considerablemente en términos de aspectos técnicos auditados y procedimientos de auditoría, lo que puede dar lugar a resultados de auditoría inconsistentes y poco confiables.
A pesar de estos desafíos, es importante señalar que el campo de la auditoría algorítmica aún está en sus primeras etapas. A medida que los profesionales digitales continúen refinando su comprensión de estas herramientas, se espera que los procedimientos y controles establecidos se perfeccionen. Esto no solo mejorará la consistencia de los resultados de auditoría, sino también su confiabilidad y utilidad.
Entradas del sistema: Controles de datos
Los datos son el motor que impulsa los modelos subyacentes a los algoritmos. En el desarrollo de IA, la relevancia de los datos es fundamental en cada fase; contar con los conjuntos de datos adecuados y crear flujos de datos apropiados es sumamente importante. Por esta razón, la auditoría debe abordar controles en torno a diversas fuentes de datos, como precisión, preparación y protección. Además de los atributos de calidad de datos, los auditores deben asegurarse de que los conjuntos de datos sean diversos, inclusivos y representativos de las poblaciones de usuarios que utilizarán el sistema. Los auditores necesitarán colaborar con los ingenieros de datos del equipo de ingeniería de IA para comprender mejor las fuentes de datos de entrenamiento y los pasos tomados para abordar el riesgo de privacidad.
Pruebas adversariales de IA
Varias regulaciones exigen que los desarrolladores de sistemas de IA de alto riesgo y gran alcance sometan sus modelos a pruebas de robustez mediante ataques simulados, como la inyección de datos erróneos. La prueba adversarial se refiere a la evaluación de resistencia de los modelos de aprendizaje, alimentándolos con entradas incorrectas para intentar inducir errores. Cualquier auditoría algorítmica debe incluir una evaluación de cómo una organización aborda las pruebas adversariales, y debe existir una política separada que describa el proceso completo de pruebas adversariales de algoritmos para mejorar la seguridad y precisión de los modelos.
Monitoreo de modelos de IA
Después de que las aplicaciones de IA se implementan en producción, es necesario monitorear continuamente su rendimiento. Las auditorías algorítmicas deben involucrar una revisión de parámetros de rendimiento de los modelos, un análisis en profundidad de los procesos de observabilidad implementados por los desarrolladores y cubrir áreas como la selección de métricas para el monitoreo y la capacidad de detectar problemas rápidamente.
Desarrollo de modelos de IA
El desarrollo de modelos de IA es un concepto familiar para los profesionales de auditoría de TI debido a sus similitudes con el ciclo de vida de desarrollo de sistemas (SDLC). Una auditoría de los procesos de desarrollo de modelos de IA incluiría una revisión de los controles generales de TI en torno al ciclo de vida del desarrollo de sistemas de IA y los procesos de gestión de cambios.
Conclusión
Las auditorías de algoritmos son una herramienta efectiva para ayudar a garantizar la seguridad, la equidad, la explicabilidad y la seguridad de las tecnologías de IA. El estándar ISO/IEC 42001:2023, publicado recientemente, contiene un conjunto de controles requeridos que pueden ser utilizados por empresas y auditores como referencia. A medida que estas prácticas maduren y se adopten más ampliamente, se espera que se apliquen de forma común.
