Carlos B Fernández. La rápida proliferación de los sistemas de inteligencia artificial empieza a hacer difícil conocer las diferentes tipologías y finalidades de los mismos. Esta dificultad de clasificación complica a su vez la definición de las políticas regulatorias y de gobernanza de cada uno de ellos.
Para contribuir a paliar esta dificultad, la Organización para la Cooperación y el Desarrollo Económicos (OCDE), un organismo de cooperación internacional compuesto por 38 estados, cuyo objetivo es coordinar sus políticas económicas y sociales, ha aprobado un marco para la clasificación de los sistemas inteligentes (OECD framework for the classification of AI systems), orientado a ayudar a los responsables políticos, reguladores, legisladores y otros actores implicados en estas tareas, a caracterizar los sistemas de IA desplegados en contextos específicos, desde una perspectiva de políticas públicas.
Este marco puede aplicarse a toda la gama de sistemas de IA y permite su valoración en las siguientes dimensiones: Personas y Planeta (People & Planet); Contexto económico (Economic Context); Datos y entradas (Data & Input); Modelo de IA (AI model) y Tareas y resultados (Task & Output).
Cada una de estas dimensiones del marco tiene un subconjunto de propiedades y atributos para definir y evaluar las implicaciones políticas de cada sistema y orientar un enfoque innovador y fiable de la IA, como se indica en los Principios de la IA de la OCDE.
Fundamento de la propuesta
La IA cambia la forma en que las personas aprenden, trabajan, juegan, interactúan y viven. A medida que la IA se extiende por una diversidad de sectores, los diferentes tipos de sistemas de IA aplicados ofrecen diferentes beneficios, riesgos y retos políticos y regulatorios. No hay más que pensar en las diferentes implicaciones del uso de un asistente virtual, de un vehículo autoconducido o de un algoritmo que recomienda vídeos para niños.
En este contexto, la OCDE ha querido desarrollar un marco de fácil uso para que los responsables políticos, reguladores, legisladores y otros actores puedan caracterizar los sistemas de IA para proyectos y contextos específicos. El marco vincula las características de los sistemas de IA con los Principios de IA de la OCDE, que fue el primer conjunto de normas de IA que los gobiernos se comprometieron a incorporar en sus políticas públicas para promover el uso innovador y confiable de la IA.
Utilización del marco
El marco permite a los usuarios poner el foco en los riesgos específicos que son típicos de la IA, como el sesgo, la explicabilidad y la robustez, desde un punto de vista genérico, facilitando un debate político matizado y preciso. El marco también puede ayudar a desarrollar políticas y reglamentos, ya que las características de los sistemas de IA influyen en las medidas técnicas y procedimentales que se necesitan para su aplicación. En particular, el marco proporciona una base para:
- Promover una comprensión común de la IA, permitiendo identificar las características de los sistemas de IA que más importan, ayudando a los gobiernos y a otros actores implicados en las políticas públicas a adaptar las políticas a las aplicaciones específicas de la IA y ayudar a identificar o desarrollar métricas para evaluar criterios más subjetivos (como el impacto en el bienestar).
- Informar sobre registros o inventarios de estos sistemas, ayudando a describir los sistemas y sus características básicas en inventarios o registros de algoritmos o sistemas de decisión automatizados.
- Apoyar los marcos sectoriales específicos, proporcionando la base para una de catálogos de criterios específicos del sector, en sectores como la sanidad o las finanzas.
- Apoyar la evaluación de riesgos, proporcionando la base para el trabajo relacionado con el desarrollo de un marco de evaluación de riesgos para ayudar a reducirlos y mitigarlos, y para desarrollar un marco común para informar sobre los incidentes de IA que facilite la coherencia global y la interoperabilidad en la notificación de incidentes.
- Apoyar la gestión de riesgos, ayudando a informar sobre el trabajo relacionado con la mitigación, el cumplimiento y la aplicación a lo largo del ciclo de vida del sistema de IA, incluyendo los aspectos relativos a la gobernanza corporativa.
Dimensiones clave del marco
Como hemos indicado, el marco clasifica los sistemas y aplicaciones de IA según las siguientes dimensiones: Personas y Planeta, Contexto Económico, Datos y Entradas, Modelo de IA y Tarea y Salida. Cada una de ellas tiene sus propias propiedades y atributos o subdimensiones relevantes para evaluar las consideraciones políticas de determinados sistemas de IA.
- Personas y planeta:
Considera el potencial de los sistemas de IA aplicados para promover una IA centrada en el ser humano y de confianza que beneficie a las personas y al planeta. En cada contexto, identifica a los individuos y grupos que interactúan con un sistema de IA aplicada o se ven afectados por él. Las características principales incluyen a los usuarios y a las partes interesadas en el sistema, así como el carácter opcional o no de la aplicación y el modo en que repercute en los derechos humanos, el medio ambiente, el bienestar, la sociedad y el mundo del trabajo.
- Contexto económico:
Describe el entorno económico y sectorial en el que se implanta un sistema de IA aplicada. Suele referirse a una aplicación concreta de IA más que a un sistema de IA genérico, y describe el tipo de organización y el área funcional para el que se desarrolla un sistema de IA. Las características a valorar incluyen el sector en el que se despliega el sistema (por ejemplo, sanidad, finanzas, fabricación), su función y modelo de negocio; su naturaleza crítica (o no crítica); su despliegue, impacto y escala, y su madurez tecnológica.
- Datos e información:
Describe los datos y/o las aportaciones de los expertos con los que un modelo de IA construye una representación del entorno. Las características incluyen la procedencia de los datos y las entradas, el método de recopilación de los datos de la máquina y/o del ser humano, la estructura y el formato de los datos y sus propiedades. Las características de los datos y las entradas pueden referirse a los datos utilizados para entrenar un sistema de IA ("en el laboratorio") y a los datos utilizados en la producción ("sobre el terreno").
- Modelo de IA:
Se trata de una representación computacional de todo o parte del entorno externo de un sistema de IA, que abarca, por ejemplo, los procesos, los objetos, las ideas, las personas y/o las interacciones que tienen lugar en ese entorno. Las características principales son el tipo de técnica, la forma en que se construye el modelo (utilizando conocimientos de expertos, aprendizaje automático o ambos) y cómo se utiliza el modelo (con qué objetivos y utilizando qué medidas de rendimiento).
- Tarea y resultado:
Se refiere a las tareas que realiza el sistema, por ejemplo, personalización, reconocimiento personalización, reconocimiento, previsión u optimización por objetivos; sus resultados; y la(s) acción(es) resultante(s) que influye(n) en el contexto general. contexto. Las características de esta dimensión incluyen la(s) tarea(s) del sistema; la autonomía de acción; los sistemas que combinan tareas y acciones, como los vehículos autónomos; áreas de aplicación básicas, como la visión por ordenador; y los métodos de evaluación.
Aplicabilidad del marco "en el laboratorio" o "sobre el terreno"
Los autores del método explican que algunos criterios del marco son más aplicables a contextos de IA "sobre el terreno" que a contextos de IA "en el laboratorio", y viceversa.
La noción de IA "en el laboratorio" se refiere a la concepción y el desarrollo del sistema de IA, antes de su despliegue. Es aplicable a las dimensiones de Datos y entradas (por ejemplo, la calificación de los datos), al modelo de IA (por ejemplo, el entrenamiento del modelo inicial) y a la tarea y los resultados (por ejemplo, para una tarea de personalización) del marco. Es especialmente relevante para los enfoques y requisitos de gestión de riesgos ex ante.
Por su parte, la IA "sobre el terreno" se refiere al uso y la evolución de un sistema de IA tras su despliegue y es aplicable a todas las dimensiones. Es relevante para los enfoques y requisitos de gestión de riesgos ex post.
Clasificación y ciclo de vida del sistema de IA
El ciclo de vida del sistema de IA puede servir como estructura complementaria para comprender las características técnicas clave del mismo. El ciclo de vida abarca las siguientes fases que no son necesariamente secuenciales: planificación y diseño; recopilación y procesamiento de datos; construcción y uso del modelo; verificación y validación; despliegue; y funcionamiento y seguimiento. Las dimensiones del Marco de la OCDE para la Clasificación de los Sistemas de Inteligencia Artificial puede asociarse con las etapas del ciclo de vida del sistema de IA para identificar los actores relevantes de una de las dimensiones a valorar, lo cual es relevante para la rendición de cuentas (accountability).
Evaluación del marco
El Marco de IA de la OCDE está diseñado para clasificar la aplicación de los sistemas de IA en contextos específicos del mundo real. Para evaluar la eficacia de su metodología, los expertos de la red OECD.AI utilizaron cuatro sistemas diferentes de IA (sistemas de clasificación crediticia, el programa de Go AlphaGo Zero, el sistema de gestión de fabricación Qlector.com y el sistema generativo GPT-3) e invitó a un amplio abanico de partes interesadas de la administración, las empresas, la sociedad civil y el mundo académico a probar la utilidad y solidez del marco mediante una encuesta en línea y una consulta pública, en la que los encuestados utilizaron el marco para clasificar una selección de sistemas de IA o crear una clasificación de sistemas de IA de su elección.
Las conclusiones clave de las respuestas obtenidas de la encuesta se sintetizan de la siguiente manera:
- El marco se adapta mejor a las aplicaciones específicas de los sistemas de IA que a los sistemas de IA genéricos; por lo tanto, clasificar un sistema de IA utilizando el marco requiere más información sobre la aplicación, el contexto de su uso, etc.
- Cuanto más específicas sean las aplicaciones (por ejemplo, el sistema de puntuación de créditos o AlphaGo Zero), más coherentes serán las respuestas de la encuesta, ya que muchos de los criterios pertenecen a áreas de aplicación específicas. Por el contrario, cuanto más generales sean los sistemas (p. ej., asistente de voz, motor de recomendación), las respuestas son menos coherentes.
- Los encuestados clasificaron mucho mejor los criterios de las dimensiones Gente y Planeta y Contexto Económico Contexto económico que los criterios de las otras dimensiones más técnicas.
- La clasificación de las características técnicas requiere más información de la que suele haber sobre un sistema de IA y tienden a generar muchas respuestas inciertas o en blanco.
Mejora del método
- Perfeccionamiento de los criterios de clasificación basados en pruebas reales
En un esfuerzo por añadir valor al marco y hacerlo más práctico y significativo para las partes interesadas que buscan incorporar un sistema de IA en sus actividades, los próximos pasos del Grupo de Trabajo de Expertos de la OCDE incluyen completar el actual sistema de clasificación con sistemas de IA reales y perfeccionar los criterios de clasificación específicos basándose en estas pruebas.
El proceso de perfeccionamiento incluye la identificación o el desarrollo de métricas o sustitutos para ayudar a evaluar criterios subjetivos como el impacto en los derechos humanos y el bienestar.
Los impulsores del método consideran que es importante señalar que puede haber una disyuntiva entre el desarrollo de una evaluación sencilla y fácil de usar (que era el objetivo del ejercicio inicial del marco de clasificación) y una evaluación muy precisa, ya que esta última puede requerir una importante información en profundidad sobre un sistema de IA que puede ser desconocida para el usuario medio. Algunos contextos pueden requerir preguntas de seguimiento más detalladas para evaluar los sistemas de IA que no son relevantes en otros. Si los impactos potenciales son grandes, puede ser necesario centrarse en los posibles sesgos de los datos o del proceso de modelización y el enfoque, o en la representatividad de los datos, es decir, si esos datos pueden afectar al sistema de toma de decisiones. Por ejemplo, si la etnia del propietario de un coche puede influir en la evaluación de una reclamación de seguros, si el modelo debe pasar a un estado no examinado, etc.
- Seguimiento de los incidentes de la IA
Otro paso a dar es desarrollar un marco común para informar de los incidentes de IA, especialmente los que son negativos o perjudiciales, o las controversias. El marco de incidentes aprovecharía el marco de clasificación y ayudaría a garantizar la coherencia e interoperabilidad global en la notificación de incidentes. Formará parte de un de sistema global de incidentes de IA en la OCDE (Global AI Incidents Tracker), con las contribuciones de las instituciones asociadas, para construir la base de pruebas sobre los riesgos que se han materializado en incidentes o casi incidentes.
- Desarrollo de un marco de evaluación de riesgos
El marco de clasificación presentado en este informe describe los aspectos clave de un sistema de IA aplicado incluyendo los diversos contextos en los que incide en el mundo real, la naturaleza y el tipo de datos y entradas, los distintos modelos de IA, y los tipos de tareas que ejecuta y los resultados que produce. La información derivada de este marco de trabajo para un caso de uso específico, ampliada con información sobre los procesos de gobernanza y mitigación de riesgos, podría ser útil para evaluar los riesgos éticos y sociales asociados a un sistema de IA aplicado, que puede que puede tener una importancia práctica considerable para las partes interesadas en numerosos contextos: elaboración de políticas, empresas, etc.