La propuesta de Reglamento europeo de inteligencia artificial (también conocido como Ley de IA, Artificial Intelligence Act o AIA), presentada por la Comisión Europea el 21 de abril de 2021, es uno de los primeros intentos de regulación horizontal de la IA para armonizar las normas para el desarrollo, la comercialización y el uso de los sistemas que la utilizan.
Siguiendo un enfoque basado en el riesgo que pueda suponer el uso de esos sistemas, la propuesta plantea diferentes obligaciones en función del sistema de IA de que se trate: así, prohíbe determinados tipos de sistemas que considera que plantean un riesgo inaceptable para las personas o sus derechos; regula bajo un régimen de alto riesgo aquellos que suponen una amenaza para los derechos fundamentales y seguridad, y pone restricciones voluntarias a los sistemas menos arriesgados.
Sin embargo, tal como ya denunciaron en junio de 2021 el Comité y el Supervisor Europeos de Protección de Datos, la propuesta plantea una serie de obligaciones divergentes según que los usuarios de estos sistemas sean agentes públicos y privados. Unas diferencias que pueden implicar variadas consecuencias, según el sujeto de que se trate.
Para analizar en detalle estos casos y proponer medidas que puedan paliar sus consecuencias, el Panel for the Future of Science and Technology (STOA) del Parlamento Europeo, ha elaborado un informe titulado “Divergencias regulatorias en la propuesta de Reglamento de Inteligencia Artificial – diferencias entre el sector público y el privado (Regulatory divergences in the draft AI act Differences in public and private sector obligations).
Este estudio identifica y examina las fuentes de divergencia normativa que contiene la propuesta de ley de IA (AIA) en cuanto a las obligaciones y limitaciones que recaen sobre diferentes agentes del sector público y privado al utilizar determinados sistemas de IA, reflexiona sobre las posibles repercusiones y consecuencias de estas divergencias, y sugiere al Parlamento Europeo una serie de opciones políticas que podrían responder a esas divergencias.
El estudio se centra específicamente en tres áreas de aplicación de la IA: la IA manipulativa, los sistemas de puntuación o scoring social y los sistemas biométricos de IA. Se analizan diferentes supuestos ejemplos de estas tres áreas de aplicación, tanto por parte de actores públicos como privados, contextualizando las diferentes obligaciones potencialmente divergentes que se establecen en virtud de la propuesta.
Así, por ejemplo, el art. 5(1)(c) de la AIA prohíbe el uso de sistemas de puntuación social (scoring) por parte de las autoridades públicas, pero no prohíbe su uso por agentes privados. Sin embargo, en la actualidad, estos sistemas supervisan los flujos financieros, las pólizas y reclamaciones de seguros, las solicitudes de vivienda, etc. y controlan como tales el acceso a servicios esenciales (de tipo estatal), a los que los individuos no pueden renunciar. Pese a ello, los sistemas de puntuación utilizados por los proveedores privados de tales servicios están sujetos a normas menos estrictas que las de servicios de similar magnitud en el sector público.
Otro ejemplo lo encontramos en la prohibición del art. 5(1)(d) de la propuesta, relativo al reconocimiento facial biométrico en tiempo real, por parte de las fuerzas del orden. Un uso prohibido para estos organismos pero que, sin embargo, se permite a otras autoridades públicas y al sector privado. Y ello pese a que los usuarios privados cada vez utilizan más las cámaras de reconocimiento de imágenes en combinación con la tecnología biométrica para facilitar el acceso a tiendas, bancos, etc., o para evaluar de forma instantánea la reacción de una persona ante un producto o una situación, y lograr así una mejor posición para inducir el comportamiento deseado del consumidor.
A mayor abundamiento, junto a las implicaciones más obvias de vigilancia indiscriminada de los consumidores o la posible discriminación contra determinados grupos de población hacia los que el algoritmo podría ser menos sensible, el uso de sistemas de identificación biométrica afecta estructuralmente a la forma en que nos relacionamos con los acontecimientos cotidianos o a la hora de dar nuestro consentimiento.
Convergencia de riesgos en el uso de los sistemas de IA en los sectores públicos y privados
El estudio precisa que, aunque no todos los sistemas de IA suponen un daño potencial para las personas, se pueden identificar diferentes ejemplos de uso de sistemas de IA, tanto en el sector público como en el privado, que han causado daños directos o indirectos. La cuestión, por tanto, se advierte, es saber si la propuesta de AIA puede mitigar esos riesgos causados por el uso de la IA por el sector público o privado, y cómo se solapa o entrelaza su aplicación con la de otras fuentes del Derecho de la UE.
En este sentido, el estudio concluye que existe una convergencia de riesgos entre el uso de la IA en el sector público y en el privado. Y dado que los límites entre los proveedores de servicios y los usuarios se están difuminando, y que la IA forma parte cada vez más de un "sistema de sistemas", la realización de evaluaciones de riesgo bien definidas de los sistemas de IA será cada vez más difícil. Además, el estudio documenta algunos casos de tensiones entre los enfoques normativos generales y sectoriales.
La AIA propone pasos procedimentales hacia la autorregulación de la IA, muy en línea con la configuración del Reglamento General de Protección de Datos (RGPD) (LA LEY 6637/2016), al tiempo que propone medidas sustanciales en forma de, por ejemplo, una lista de aplicaciones de IA prohibidas. El estudio concluye que la gobernanza de esta lista y la clasificación de las aplicaciones o sistemas de alto riesgo pueden dar lugar a interpretaciones y desarrollos divergentes de los sistemas de IA.
Es más, la evaluación de riesgos específica propuesta en la AIA puede dar lugar a clasificaciones de riesgo divergentes en relación con, por ejemplo, con las evaluaciones de riesgo que deban realizarse conforme al RGPD para ese mismo sistema de IA. En este sentido, se concluye que podría lograrse la coherencia normativa mediante una alineando mejor los esfuerzos de evaluación de riesgos en los sistemas digitales y en los basados en la IA.
Prácticas prohibidas y sistemas de IA de alto riesgo
El estudio documenta y analiza las divergencias que la propuesta de AIA presenta en relación con el uso de sistemas de IA por los agentes públicos y por agentes privados.
Sistemas de IA manipuladores
El estudio señala que el uso de herramientas de IA por las fuerzas de seguridad para detectar Deep-fakes (sistemas informáticos que permiten, mediante técnicas de inteligencia artificial, desarrollar vídeos manipulados extremadamente realistas, según la Fundeu) se consideran de alto riesgo, mientras que las propias Deep fakes en sí, entran en la categoría de bajo riesgo. Se trata de una peculiar divergencia que parece basarse en la suposición de que las Deep fakes (empleadas principalmente hasta ahora por actores privados) suponen menos riesgos que los sistemas de IA en manos de un actor público con el fin de detectar las falsificaciones profundas.
En relación con esta incoherencia normativa interna de la propuesta, el estudio llama la atención respecto de la discrepancia de esta con la Directiva 2005/29/CE, de 11 de mayo de 2005 (LA LEY 6058/2005), sobre prácticas comerciales desleales. En este caso, se advierte, la divergencia se refiere al alcance de la prohibición del uso de sistemas de IA manipuladores por parte de los agentes públicos frente al alcance de la prohibición para los agentes privados según la Directiva.
Así, en contraste con el artículo 5(2) de la Directiva, que atiende a la protección de los grupos vulnerables más allá de los estrictamente enumerados en el artículo 5(3) de la misma, la prohibición de determinados sistemas de manipulación descrita en el artículo 5(b) de la AIA se centra únicamente en las vulnerabilidades debidas a la edad y a la discapacidad física o mental.
Por tanto, al no ofrecer una alternativa análoga, la Propuesta de AIA presenta una importante laguna en la protección de las personas que podrían ser objeto de manipulación por medio de la IA sobre la base de otras características protegidas en virtud de la ley de calidad de la UE, como la etnia, la religión, la raza, el sexo, etc. Además, el AIA requiere una intención para que la prohibición sea aplicable, mientras que el art. 5 (3) de la Directiva protege a los grupos vulnerables definidos de las prácticas comerciales que también se dirigen a ellos de forma no intencionada.
Una última incoherencia de la propuesta de la AIA con el resto de la legislación de la UE se aprecia, según el informe, en el estrecho alcance de la definición de daño (daño físico o psicológico), que no se encuentra en ninguna otra parte de la legislación de la Unión. La legislación de la UE suele hablar de daño de forma genérica, sin detallar los tipos de daño que se incluyen en ella. El estrecho alcance del daño es, por tanto, divergente del derecho general de la Unión.
Puntuación o scoring social
Las divergencias entre las obligaciones que afectan al sector público y al privado en este tipo de aplicaciones de la IA tienen que ver con el hecho de que 1) la prohibición del scoring social para las autoridades públicas no se extiende al sector privado; y 2) desde el punto de vista de los datos, los motivos de prohibición para el sector público son más detallados, pues incluyen categorías de las que no se pueden derivar los datos) que los relativos al uso para los agentes privados; estos últimos sólo están obligados a examinar la calidad de los datos y la gobernanza de los mismos.
Según los autores del estudio, este último punto lleva a la incoherencia normativa de la AIA en relación con el régimen de protección de datos de la UE. Desde el punto de vista externo, el uso de los marcadores sociales por parte de los agentes privados crea problemas entre el artículo 10 de la AIA, los artículos 22 (LA LEY 6637/2016) y 35 del RGPD (LA LEY 6637/2016) y los artículos 6 y 7 del proyecto de reglamento sobre la privacidad electrónica (ePrivacy). No está claro cómo el artículo 10 de la propuesta de AIA interactúa y se concilia con los derechos de protección de datos relativos al consentimiento y al derecho a no ser sometido a una toma de decisiones automatizada y a la elaboración de perfiles, por nombrar sólo algunos.
Uso de sistemas biométricos
La Propuesta de AIA distingue las actividades policiales en espacios de acceso público que emplean sistemas de identificación biométrica en tiempo real, del uso de estos sistemas en tiempo real por parte de actores del sector privado. El enfoque de la AIA respecto a la prohibición del artículo 5 (LA LEY 6637/2016)(1)(d) difiere del del RGPD, que no distingue entre responsables del tratamiento de datos públicos y privados. Además, la prohibición del artículo 5(1)(d) de la AIA se centra en los SBI en ''espacios de acceso público'' y parece estar en directa contradicción con el considerando (6) de la propuesta de AIA, que al aclarar la noción de sistemas de IA se refiere explícitamente a sus efectos "[...] en una dimensión física o digital". Por último, aunque el despliegue de los sistemas de categorización biométrica y de los sistemas de reconocimiento de emociones como sistemas de IA de bajo riesgo entraña meras obligaciones de transparencia, no se aplican a su uso por las fuerzas policiales. En cuanto a los sistemas que pueden ser tan intrusivos como los SBI (y que también están prohibidos para las fuerzas del orden), las fuerzas del orden ni siquiera tienen aquí obligaciones de información o divulgación.
Propuestas
- Abordar la incoherencia en la evaluación de riesgos e introducir criterios de riesgo explícitos
La propuesta de AIA se diferencia de otras iniciativas legislativas recientes de la UE, como el RGPD, en el sentido de que el enfoque normal basado en el riesgo para regular una tecnología ha pasado de ser una obligación procedimental a convertirse en una parte sustancial.
En este sentido, la propuesta propone una clasificación de los riesgos dividiendo las aplicaciones de la IA en tres categorías: prohibidas, de alto riesgo y de bajo riesgo. Sin embargo, como demuestran las divergencias señaladas, estas categorías de riesgo no siempre se aplican de forma coherente cuando se trata de agentes públicos o privados y de las obligaciones que les atañen para mitigar dichos riesgos.
Por tanto, por lo que se refiere a la evaluación de riesgos, una opción política sería dejar muy claro de qué se trata precisamente la evaluación de riesgos y proporcionar una delimitación clara o puntos de corte sobre qué parte del sistema necesita ser evaluada.
Además, proporcionar directrices sobre cómo la evaluación de riesgos propuesta por la AIA interactúa con otras obligaciones de evaluación de riesgos presentadas en muchos de los reglamentos y directivas de la UE que tratan de la digitalización (por ejemplo, la evaluación de impacto de la protección de datos en el RGPD) sería un paso hacia la armonización.
- Considerar la posibilidad de reforzar las obligaciones de información y divulgación con derechos de desistimiento
En la propuesta de AIA, la transparencia no está vinculada a un derecho subjetivo y permanece como tal a nivel de principio o aspiración política. Además, como obligación de información no es aplicable a las fuerzas de seguridad, lo que limita aún más las posibilidades de protección individual.
Una opción para superar esta insatisfactoria situación en el marco de la Propuesta de AIA sería 1) aclarar y estipular directamente en la Propuesta cómo se aplican los derechos y recursos del RGPD a los destinatarios de los sistemas de IA, especialmente cuando están implicados los derechos sobre los datos; y 2) evaluar de forma más crítica la conexión entre las obligaciones de transparencia de la Propuesta de AIA y los mecanismos de reparación, reforzando las obligaciones de información y divulgación con los derechos de supresión.
- Considerar modos no lineales de gobernar y estrategias de corregulación
El actual enfoque de gobierno de la AIA es jerárquico (centrado en la ley) combinado con formas de autorregulación (tecnocéntrico). Las obligaciones que no se aclaran de forma descendente se dejan a los organismos de normalización de la industria, lo que rompe los canales de comunicación. Y lo que es más importante, este enfoque se centra en gran medida en las características materiales de los sistemas de IA, omitiendo incorporar de forma más coherente los cambios sociotécnicos subyacentes o emergentes y sus impactos reales sobre los individuos y la sociedad.
El informe considera que la AIA no ofrece medidas claras para supervisar estos efectos regulatorios, excepto la evaluación de riesgos ex ante y quizás los enfoques "por diseño" a través de los "sandboxes" regulatorios. Pero, en la actualidad se carece de una medición de los efectos a largo plazo y de los cambios sociotécnicos resultantes del uso del sistema de IA mediante evaluaciones de impacto ex-post.
La AIA puede reevaluarse de este modo para considerar 1) la trayectoria y la distribución de los sistemas de IA, incluidos los factores que impulsan su proliferación en diferentes sectores; 2) la viabilidad política de la regulación y cómo ciertas características afectan a las percepciones de las partes interesadas; y 3) las posibles vías de apalancamiento regulatorio.
Esto permitiría a los legisladores, reguladores y responsables políticos considerar las cuestiones derivadas de los sistemas de IA, así como las actividades y el papel de las partes privadas que están detrás de ellos de una manera holística.