Por: Belinda Mueller. Tomado de la nota original de https://www.isaca.org/
A pesar de que la IA forma parte de la vida cotidiana, a menudo no hay un entendimiento común de lo que significa la IA. Las percepciones de lo que es la IA varían desde verla como una colección de algoritmos sofisticados pero inofensivos hasta considerarla como el fin de la humanidad. Además, existen opiniones muy diferentes sobre si la IA posee más o menos cualidades deseadas, como la imparcialidad, la precisión y la robustez, en comparación con los humanos o el software basado en reglas tradicionales.
¿Cuánta confianza se puede depositar en la salida de ChatGPT? ¿Pueden las organizaciones depender de la IA para tomar decisiones de contratación? ¿Qué deberían pensar las personas de una herramienta de IA que determina su límite de crédito? La falta de claridad en torno al uso de la IA ha llevado a que los reguladores comiencen a presentar propuestas de marcos legales. En particular, el Acta de la UE sobre IA, que tiene como objetivo regular la implementación ética y segura de la IA en la Unión Europea, podría implementarse pronto. En diciembre de 2022, el Consejo Europeo llegó a un consenso sobre un mandato de negociación con respecto a la propuesta del Acta de la UE sobre IA.
Además del riesgo que preocupa a muchos sistemas de TI desplegados, como la falta de seguridad y protección de datos, también existe un riesgo específico que es único para los sistemas de IA (es decir, basados en aprendizaje automático). Actualmente, no existen técnicas establecidas disponibles para evaluar y mitigar este riesgo. Por lo tanto, es necesario comprender qué hace que la IA sea tan diferente de los sistemas basados en reglas tradicionales y cómo abordar estas diferencias. Hay tres características de los sistemas de IA que son particularmente relevantes al compararlos con los sistemas basados en reglas: la explicabilidad, la imparcialidad y la robustez.
Explicabilidad: Un sistema de IA es explicable si su salida y el razonamiento detrás de ella pueden ser comprendidos y confiados por un ser humano. No poder explicar los resultados de un sistema de IA dificulta controlar su exactitud y falta de sesgo. Mientras que los algoritmos basados en reglas pueden ser comprendidos y explicados según reglas predefinidas, muchos modelos de IA se consideran cajas negras. De hecho, el funcionamiento interno de algunos de los modelos más complejos es difícil de entender incluso para sus desarrolladores. A medida que la IA se utiliza de manera más generalizada y para fines críticos, como diagnósticos médicos o decisiones de contratación, la explicabilidad se volverá indispensable.
Para cumplir con los requisitos de explicabilidad, una opción es utilizar modelos de IA muy simples que puedan ser fácilmente interpretados. Sin embargo, para muchos casos de uso, estos modelos simples no son suficientes. Para los modelos más complejos, los investigadores y profesionales están desarrollando métodos tanto agnósticos como específicos del modelo. En particular, grandes empresas tecnológicas como IBM, Microsoft y Google ofrecen herramientas de IA explicativa, como AI Explainability 360 e InterpretML.
Imparcialidad: Recientemente, ha habido protestas de personas que se sienten discriminadas por sistemas de IA. Garantizar la imparcialidad en un sistema de IA implica asegurar su neutralidad y prevenir la discriminación basada en atributos protegidos, como raza, género y edad. Dado que la IA se entrena con datos del mundo real, refleja los sesgos que aprende de estos datos (por ejemplo, sesgos sociales e históricos). En ese sentido, no se puede acusar a la IA de ser más sesgada que la sociedad que genera los datos de entrenamiento.
Un sistema basado en reglas no necesariamente está libre de sesgos, ya que sus desarrolladores pueden haber infundido sus sesgos de manera inconsciente en el sistema. Sin embargo, dado que los sistemas de IA pueden operar a gran escala (por ejemplo, ChatGPT) y afectar a grandes poblaciones, pueden perpetuar y amplificar sistemáticamente sesgos y patrones discriminatorios.
Para mitigar la falta de imparcialidad en los modelos de IA, los investigadores y profesionales trabajan para identificar el sesgo a través de métricas de imparcialidad y mitigarlo con algoritmos de corrección de sesgo. Sin embargo, elegir las métricas de imparcialidad adecuadas está lejos de ser trivial, ya que la interpretación de la imparcialidad es subjetiva y varía entre las personas. De hecho, las consideraciones de imparcialidad en la IA implican una reflexión ética sustancial antes de traducir un entendimiento común de la imparcialidad en requisitos técnicos. Por lo tanto, la imparcialidad de los modelos de IA no es solo una cuestión técnica, sino también una cuestión ética que requiere experiencia.
Robustez: La robustez de un modelo de IA se refiere a su capacidad para resistir los desafíos de un entorno nuevo y de entradas imprevistas. Por ejemplo, un modelo de IA puede sufrir una falta de robustez si aprendió demasiado de cerca de los datos de entrenamiento (sobreajuste) o si los datos de entrenamiento eran estadísticamente diferentes de los datos en los que se prueba el modelo cuando se implementa (cambio en la distribución de datos). Los sistemas de IA también están en riesgo de que actores maliciosos exploten vulnerabilidades específicas del modelo al introducir datos corruptos o engañosos en el conjunto de datos de entrenamiento (intoxicación de datos) o al engañar al sistema con datos perturbados (ataques adversarios). Por ejemplo, un sistema de reconocimiento de imágenes podría categorizar la imagen de una manzana como “manzana”, pero si un atacante pone una pegatina en la manzana que dice “iPod”, podría categorizar la imagen como un iPod. La robustez también se ve disminuida por el llamado “aprendizaje de atajos”, donde un modelo de IA no comprende los conceptos subyacentes en los datos y solo aprende características superficiales. En consecuencia, por ejemplo, un modelo de clasificación de imágenes podría categorizar un objeto correctamente la mayor parte del tiempo, pero no si se presenta de una manera inusual, o al revés. En comparación con los sistemas basados en reglas, es más difícil validar los modelos de IA. Mejorar la robustez de los modelos de IA se puede lograr mediante pruebas exhaustivas en diversos escenarios y un monitoreo continuo del modelo para detectar cambios en su rendimiento. Además, el entrenamiento del modelo con datos representativos desde el principio ayuda a hacerlo más robusto.
Evaluación del riesgo: La explicabilidad, la imparcialidad y la robustez son solo una selección de las características requeridas en los sistemas de IA. Se deben abordar muchas más para evaluar completamente el perfil de riesgo específico de la IA. Para evitar puntos ciegos, se pueden aplicar marcos como el Marco de Auditoría de AI de Eraneos. Este marco se basa en experiencias en la auditoría de casos de uso de AI y en la investigación de fallas de AI. Distingue entre la perspectiva de una organización que utiliza un sistema de IA y la de un caso de uso específico. Con base en las preguntas de evaluación de riesgos y las medidas de mitigación de riesgos que define el marco, se pueden evaluar la gobernanza y las áreas de riesgo específicas de la IA en todo el ciclo de vida del sistema.
Diferencia entre privacidad de datos y seguridad de datos
En comparación con los marcos de TI clásicos, el marco de Auditoría de AI de Eraneos está adaptado a la IA y es más exploratorio. Para muchas de las características definidas, como la explicabilidad y la robustez, no existen controles establecidos. Pueden surgir nuevos requisitos para nuevos modelos de IA, en cuyo caso el marco deberá adaptarse. Por ejemplo, actualmente existen debates en curso sobre la veracidad de ChatGPT. Aunque el marco se puede aplicar a cualquier modelo de IA, es importante considerar que algunas de las áreas de riesgo específicas del caso de uso son más relevantes que otras según el tipo de modelo. Por ejemplo, la explicabilidad se puede abordar fácilmente para un modelo de regresión lineal, pero es más difícil de abordar para un sistema de reconocimiento de voz basado en modelos de aprendizaje profundo (es decir, modelos muy complejos). En este sentido, es fundamental realizar una evaluación de riesgos e identificar las áreas de riesgo relevantes para cualquier sistema de IA antes de llevar a cabo una auditoría.
Conclusión: A medida que los modelos de IA se vuelven más sofisticados y se adoptan más ampliamente en diversas industrias, las estrategias de mitigación de riesgos deben adaptarse continuamente. Por ahora, es importante tener en cuenta lo siguiente:
A medida que la IA está alterando la vida cotidiana y el trabajo y las regulaciones están en camino, es el momento de prepararse para la evaluación de riesgos y la mitigación.
El perfil de riesgo de la IA es diferente del software basado en reglas tradicionales. En particular, en los sistemas de IA, la explicabilidad, la imparcialidad y la robustez son necesarias.
Para evitar puntos ciegos durante la evaluación de riesgos, se pueden utilizar marcos exploratorios.
