La propuesta de Reglamento de inteligencia artificial, o Artificial Intelligence Act según su nombre oficial, continúa recabando interesantes sugerencias de mejora.
Una de las más recientes ha sido la elaborada por un grupo de expertos alemanes de la Robotics & IA Law Society (RAILS), que dirige el profesor de la Universidad Humboldt de Berlín, Martin Ebers y publicado por el Multidisciplinaray Scientific Journal.
En su estudio “The European Commission’s Proposal for an Artificial Intelligence Act—A Critical Assessment by Members of the Robotics and AI Law Society (RAILS)”, este grupo de estudio hace una valoración en general positiva de la propuesta, pues, “a pesar de algunos defectos y de la necesidad de introducir algunas aclaraciones”, “tiene muchos elementos innovadores y, en general, está bien diseñada”. En particular, su “enfoque normativo basado en el riesgo [que impone obligaciones a sus destinatarios sólo cuando un sistema de IA pueda plantear riesgos elevados para los derechos fundamentales y la seguridad] no sólo es adecuado, sino que es el más práctico” para abordar esta materia. Por ello, consideran que la propuesta es una medida adecuada para crear un entorno normativo seguro y fiable para la IA en Europa.
Pero, por la parte a mejorar, el documento considera que la propuesta plantea diversos aspectos de mejora, entre los que destaca “una definición muy amplia” de IA que genera “el riesgo de regular en exceso sistemas, que normalmente no suponen ningún peligro”.
Una segunda crítica importante se refiere a la estructura de (auto)aplicación propuesta, que se basa principalmente en los controles internos realizados por el proveedor de IA. Según los autores de este informe, en la mayoría de los casos, la propuesta no contempla ningún tipo de supervisión externa. Además, sus disposiciones relativas a las normas y criterios de conformidad parecen a menudo fragmentarias e imprecisas. En contraste con la que considera posible sobrerregulación derivada de la amplia definición de IA a la que nos hemos referido, el enfoque de autoaplicación suscita la preocupación de una posible infrarregulación de esta tecnología.
Finalmente, en el apartado de críticas al proyecto, el estudio señala como uno de sus puntos más cruciales el hecho de que aunque la propuesta de reglamento pretende proteger los derechos fundamentales de los ciudadanos, carece de recursos para que los estos puedan solicitar una reparación por el incumplimiento de las obligaciones que establece el reglamento. En particular, el proyecto no prevé ningún mecanismo para facilitar el recurso de los individuos contra la toma de decisiones impulsada por la IA. En opinión de los autores del informe, esta circunstancia “puede estar en consonancia con el enfoque regulador de la seguridad de los productos, pero puede cuestionar fundamentalmente ese enfoque”. Por ello considera que, “en cualquier caso, los derechos individuales [que eventualmente se reconocieran] deberían estar bien coordinados con los derechos existentes”.
Con mayor detalle, el informe destaca los siguientes aspectos de la propuesta:
Una definición excesivamente amplia de "sistemas de IA"
Los expertos que han analizado la propuesta de reglamento consideran que la definición que esta ofrece de los Sistemas de inteligencia artificial, como “el software que se desarrolla empleando una o varias de las técnicas y estrategias que figuran en el anexo I y que puede, para un conjunto determinado de objetivos definidos por seres humanos, generar información de salida como contenidos, predicciones, recomendaciones o decisiones que influyan en los entornos con los que interactúa”, plantea un ámbito de aplicación sustantivo excesivamente amplio, que puede resultar problemático.
En su opinión, esta definición del art. 3 (1) de la propuesta, junto con su remisión al contenido del Anexo I (1), abarcaría casi todos los programas de ordenador, con “un enfoque tan amplio enfoque puede generar inseguridad jurídica para los desarrolladores, operadores y usuarios de sistemas de IA”.
En este sentido es importante distinguir la inteligencia artificial como técnica de aprendizaje automático de las máquinas y de los simples procesos de automatización, en los que se ejecutan reglas preprogramadas de acuerdo con un razonamiento lógico. Esta diferencia tiene su importancia en relación con los considerados sistemas de IA de alto riesgo, en relación con los cuales, la amplia serie de requisitos obligatorios previstos para los mismos en el Título III, Capítulo 2, se basan en la observación de que una serie de derechos fundamentales pueden verse afectados negativamente por determinadas características del Machine Learning, como son la opacidad, la complejidad, la dependencia de los datos o el comportamiento autónomo. Unas características que no están presentes, o lo están sólo parcialmente, en los algoritmos simples (basados en la lógica).
Por otra parte, según los autores del informe, la propuesta tampoco aclara cómo deben tratarse los distintos componentes de los sistemas de IA que pueden incluir sistemas de IA preentrenados de diferentes fabricantes, pero que forman parte de un mismo sistema de IA. Por lo tanto, debe aclararse si los componentes separados de sistemas de IA estarían obligados individualmente a ajustarse al Reglamento y cuáles serían las implicaciones en relación con las responsabilidades que pudieran derivarse cuando estos componentes no sean conformes.
Igualmente aprecian un defecto normativo con respecto a la investigación académica y el software de código abierto (OSS). A diferencia del art. 89 del RGPD (LA LEY 6637/2016), la propuesta no prevé ninguna excepción para los fines de investigación. Por lo tanto, en situaciones en las que los investigadores colaboran con la industria y publican su modelo con fines académicos, pueden correr el riesgo de ser considerados proveedores que "desarrollan un sistema de IA" con vistas a "ponerlo en servicio" (Art. 3(2) de la propuesta), es decir, suministrar el sistema "para su primer uso directamente al usuario o para su propio uso" (art. 3(11) de la propuesta).
Este riesgo se ve agravado por el hecho de que el software de código abierto (OSS) es una parte importante del ecosistema de investigación. Por lo tanto, clasificar cualquier lanzamiento de un OSS como "puesta en el mercado/en servicio" e imponerle requisitos de evaluación de conformidad será sencillamente será perjudicial para todo el ecosistema de la investigación científica.
Ámbito territorial
Los expertos acogen con satisfacción el amplio alcance territorial del futuro Reglamento, “que pretende evitar la migración de la innovación a países no europeos”.
Sin embargo, consideran de suma importancia una aclaración de la expresión “que se encuentren en la Unión” a que se hace referencia en el Art. 2(1)(b) de la propuesta AIA, que, en su opinión, se refiere --o al menos debería referirse-- a la ubicación del usuario o del proveedor y no a la ubicación del sistema de IA, porque esa interpretación haría cada vez más difícil determinar la ubicación específica del sistema de IA, especialmente con el aumento del uso de las tecnologías de computación en la nube. Aunque estos expertos entienden que el considerando 11 de la propuesta apoya claramente su posición adoptada, consideran que sería preferible una aclaración al respecto en la parte vinculante del reglamento.
Además, entienden que limitar el ámbito geográfico del Reglamento solo a los casos en los que el sistema de IA "se utilice en la Unión" (art. 2(1)(c)) excluye los casos en los que el desarrolle, venda o exporten sistemas de IA de alto riesgo o incluso sistemas de IA prohibidos en la UE, pero se utilicen fuera de ella. Según se indica en el informe, esta previsión crea graves problemas jurídicos y éticos para los usuarios de sistemas de IA situados fuera de la UE. Sin embargo, teniendo en cuenta que la propuesta se basa en la cláusula del mercado interior (art. 114 del TFUE (LA LEY 6/1957)), la disposición parece justificada, ya que es difícil imaginar cómo podría contribuir el Reglamento al mercado interior si un sistema de IA sólo se desarrolla en la UE, pero nunca se pone en funcionamiento en la misma.
Clasificación de los sistemas de IA de alto riesgo
Aunque el informe valora positivamente el enfoque basado en el riesgo adoptado por la Comisión Europea, sus autores se muestran convencidos de que podría ser necesaria una clasificación más detallada del riesgo para que la industria pueda realizar la autoevaluación de los riesgos asociados a sus productos que se establece.
De acuerdo con el texto de la propuesta, esta generaliza los niveles de riesgo para diversas aplicaciones de IA, lo que puede no identificar los riesgos específicos de los sistemas de IA, provocando un cumplimiento insuficiente de la normativa. Por ello consideran que una clasificación más granular del riesgo también será propicia para garantizar la seguridad de los sistemas de IA de alto riesgo desarrollados fuera de la UE.
En este sentido abogan porque el Reglamento debería mostrar más flexibilidad y adaptabilidad en su clasificación de los riesgos, permitiendo modificaciones en los ámbitos enumerados en el anexo III y no sólo en los usos específicos dentro de las categorías existentes, junto con la posibilidad de añadir categorías de riesgo completamente nuevas, incluidas las que pueden no estar contempladas actualmente.
La normalización como delegación no justificada del poder normativo
El informe subraya que la extensa lista de requisitos que deben observarse antes de que se comercialice un sistema de IA de alto riesgo está redactada de forma bastante amplia. Se definen los requisitos esenciales y se dejan los detalles en manos de las normas elaboradas por los Organismos Europeos de Normalización (OEN).
La normalización tiene muchos aspectos positivos, permite la transferencia rápida de tecnologías, garantizar la interoperabilidad de los sistemas y allanar el camino para establecer requisitos uniformes que apoyen la aplicación de los requisitos legales y valores éticos.
Sin embargo, en opinión de los autores del informe, la propuesta suscita preocupación por la excesiva delegación de poder regulador a las OEN privadas. Dicha delegación de poder es problemática, sobre todo por la falta de control democrático, la ausencia de posibilidades de que las partes interesadas (organizaciones de la sociedad civil, asociaciones de consumidores) influyan en la elaboración de las normas, y la falta de medios judiciales para controlarlas una vez adoptadas.
En su opinión, la normalización de los sistemas de IA no es una cuestión de decisiones puramente técnicas, sino que más bien requiere la adopción de una serie de decisiones jurídicas y éticas, que no deben ser subcontratadas a las OEN privadas, sino que requieren un debate político que implique a toda la sociedad. El proceso de normalización europeo debe reflejar los valores europeos y los derechos fundamentales incluida la protección del consumidor, concediendo a las organizaciones europeas interesadas derechos derechos de participación.
Por lo tanto, la Comisión Europea debería reconsiderar su enfoque. En lugar de delegar decisiones fundamentales en las OEN, debería establecer disposiciones jurídicamente vinculantes sobre los requisitos esenciales de los sistemas de IA de alto riesgo, incluyendo las cuestiones relativas a qué formas de discriminación algorítmica deben prohibirse; qué tipo y grado de transparencia deben tener los sistemas de IA o cómo deben explicarse las decisiones y predicciones basadas en la IA de forma comprensible.
Transparencia e información a los usuarios
Los requisitos de transparencia de los sistemas de IA de alto riesgo establecidos en el art. 13 de la propuesta de Reglamento son ciertamente un paso en la dirección correcta. Sin embargo, los autores consideran que resulta bastante problemático que esta norma sólo formule requisitos generales sin especificarlos.
En su opinión, la propuesta no se pronuncia sobre las medidas específicas que hay que para garantizar que los sistemas de IA sean suficientemente transparentes. En su lugar, esta cuestión se deja en gran medida a merced de la autoevaluación del proveedor, que debe garantizar que el sistema se somete a un procedimiento adecuado de evaluación de la conformidad antes de su comercialización o puesta en en servicio (art. 16(a) y (e)).
Por ello, el informe recomienda que se modifique la propuesta para incluir una obligación de explicar las predicciones o decisiones basadas en la IA a las personas afectadas, con la finalidad de salvaguardar los derechos y libertades de las personas.
Medias de supervisión humana
En opinión de estos expertos, la disposición relativa a la supervisión humana (art. 14 de la propuesta) está llena de aspectos que la hacen impracticable.
En primer lugar, el requisito de que un humano comprenda plenamente las capacidades y de un sistema de IA de alto riesgo (art. 14(4)(a)) es actualmente inviable para algunos sistemas de sistemas de IA y, en consecuencia, podría llevar a una prohibición indirecta de dichos sistemas.
Si esta es la intención de la propuesta, su texto debería señalar al menos que los proveedores de IA no deben utilizar sistemas de IA opacos de alto riesgo.
En segundo lugar, el art. 14 de la Propuesta no especifica cuándo, cómo y en qué fase se requiere la supervisión humana. Curiosamente, tampoco dice nada sobre la obligación de los usuarios de garantizar la supervisión humana. Una supervisión humana completa debe implicar la supervisión del sistema de IA durante todo su ciclo de vida, garantizando medidas de transparencia obligatorias sobre el uso de las aplicaciones de IA, incluyendo estadísticas públicas sobre los despliegues, los objetivos, el alcance y desarrolladores.
Falta de estructuras efectivas de aplicación del Reglamento
En relación con las medidas para hacer efectiva la aplicación del futuro reglamento (enforcement), la propuesta no establece estructuras de aplicación eficaces, ya que se basa principalmente en una autoevaluación interna de los proveedores de los sistemas de IA de alto riesgo, combinada con normas armonizadas que deben ser desarrolladas por el sector privado.
Aunque los Estados miembros están facultados para aplicar normas sobre sanciones, y las autoridades de vigilancia del mercado pueden exigir que un sistema de IA no conforme sea retirado o retirado del mercado, esto puede no ser suficiente para garantizar una aplicación efectiva.
Según los autores, la experiencia con el RGPD muestra que el exceso de confianza en la aplicación por parte de las autoridades nacionales da lugar a niveles de protección muy diferentes en la UE debido a los diferentes recursos de las autoridades, pero también debido a las diferentes opiniones sobre cuándo y cómo (a menudo) tomar medidas.
Además, las autoridades de los Estados miembros carecen de normas sustantivas para evaluar si los proveedores de sistemas de IA de alto riesgo están infringiendo la propuesta, y dado que la propuesta no establece requisitos precisos para los sistemas de IA de alto riesgo, sino que hace depender esta cuestión de la autoevaluación de los proveedores y de las organizaciones de normalización, no hay normas uniformes según las cuales podría aplicarse el Reglamento.
Además, las personas afectadas por los sistemas de IA, las organizaciones de derechos civiles u otras interesados no tienen derecho a reclamar a las autoridades de vigilancia del mercado ni a demandar a un proveedor o usuario por incumplimientos de la ley. Por lo tanto, la propuesta también carece de medios eficaces de aplicación privada para compensar la débil aplicación pública.
Ese déficit en cuanto a las medidas previstas para hacer efectiva la aplicación del Reglamento, tampoco se superaría mediante el "Comité Europeo de Inteligencia Artificial" que prevé la propuesta. Aunque esta tiene como objetivo facilitar la aplicación armonizada de la norma, la propuesta no la confiere ningún poder específico en lo que respecta a la aplicación. Su objetivo principal parece ser el de emitir dictámenes y recomendaciones sobre la aplicación del reglamento, especialmente en materia de normas y especificaciones comunes (art. 58).
Finalmente, a este respecto, el informe destaca que la finalidad de la Comisión Europea de facilitar una aplicación coherente y armonizada del reglamento ofrece dudas, debido a ciertas razones. En primer lugar, el funcionamiento del Comité no parece ser totalmente independiente de cualquier influencia política, en la medida en que se asigna un papel predominante en el mismo a la Comisión Europea, que no sólo la preside, sino que también tiene derecho de veto para la adopción de su reglamento interno. En segundo lugar, no se especifica el mecanismo de cooperación entre las autoridades nacionales de supervisión y los particulares afectados ni en entre diferentes autoridades nacionales de supervisión. Por lo tanto, concluye el informe, es evidente la necesidad de revisar las disposiciones de la propuesta para garantizar una mayor autonomía al nuevo Comité.
NOTA
(1) “Técnicas y estrategias de inteligencia artificial mencionados en el artículo 3, punto 1:
a) Estrategias de aprendizaje automático, incluidos el aprendizaje supervisado, el no supervisado y el realizado por refuerzo, que emplean una amplia variedad de métodos, entre ellos el aprendizaje profundo.
b) Estrategias basadas en la lógica y el conocimiento, especialmente la representación del conocimiento, la programación (lógica) inductiva, las bases de conocimiento, los motores de inferencia y deducción, los sistemas expertos y de razonamiento (simbólico).
c) Estrategias estadísticas, estimación bayesiana, métodos de búsqueda y optimización”.