Carlos B Fernández. Como era previsible, dada la importancia y alcance de la cuestión, la tramitación de la propuesta de Reglamento (Ley) de Inteligencia Artificial (IA) de la Unión Europea (UE), avanza lentamente, por la dificultad de alcanzar un acuerdo entre los Estados miembros sobre sus diversos contenidos.
Pese a las buenas intenciones de la presidencia francesa del Consejo para el primer semestre de este año, el texto no avanzó particularmente durante ese tiempo, más allá de la presentación de un nuevo texto de compromiso. Por eso ahora, la presidencia checa de turno va a tratar de impulsar la tramitación y para ello, durante los últimos meses ha presentado diversas propuestas de textos de consenso.
Así, como informa Luca Bertuzzi en Euroactiv, el pasado mes de junio, antes incluso del comienzo efectivo de su mandato (es decir, sobre la base de la dirección tomada por la Presidencia francesa), la República Checa compartió un documento de debate con los demás gobiernos de la UE sobre los temas más polémicos de la propuesta: la definición de IA, los sistemas de alto riesgo, la gobernanza de la IA y la aplicación de la IA al servicio de la seguridad nacional de los diferentes Estados miembros.
El objetivo de este documento era servir de base al debate en el Grupo de Trabajo de Telecomunicaciones del mes de julio, con el fin de alcanzar un texto de compromiso actualizado y permitir a los Estados miembros que presentasen sus comentarios por escrito sobre el nuevo compromiso antes del 2 de septiembre.
Según dicho documento, se han identificado cuatro cuestiones “que requieren un debate más profundo y en las que recibir indicaciones de los Estados miembros sería crucial para llevar las negociaciones al siguiente nivel".
Este documento se concretó el pasado 15 de julio, mediante una nueva propuesta de la Presidencia checa, que propuso una definición más estricta de la Inteligencia Artificial (IA), junto con una lista revisada y acortada de sistemas de alto riesgo, un papel más importante para el Consejo de IA y una nueva redacción de la exención por seguridad nacional. Este texto se remitió al Grupo de Trabajo de Telecomunicaciones para su consideración en su última reunión antes de las vacaciones de verano.
A la vuelta de esas vacaciones, el 16 de septiembre, la Presidencia checa hizo circular un nuevo texto de compromiso, que profundiza en el concepto de la "capa adicional" que calificaría una IA como de alto riesgo sólo si tiene un impacto importante en la toma de decisiones, e intenta abordar los aspectos pendientes relacionadas con la categorización de los sistemas de alto riesgo y las obligaciones correspondientes para los proveedores de IA.
Para ello, el texto se centra en los primeros 30 artículos de la propuesta y abarca también la definición de IA, el ámbito de aplicación del reglamento y las aplicaciones de IA prohibidas. El documento servirá de base para un debate técnico en la reunión del Grupo de Trabajo de Telecomunicaciones del 22 de septiembre.
Finalmente, hasta el momento, una propuesta de compromiso difundida el 23 de septiembre, completa la tercera revisión de la Ley de IA, que se debatirá en una reunión del Grupo de Trabajo de Telecomunicaciones el 29 de septiembre.
A continuación reseñamos los avances producidos en relación con diferentes contenidos de la propuesta.
Definición de IA
Como hemos apuntado anteriormente, la propia definición de la IA es uno de los aspectos más polémicos de la propuesta de la Comisión.
En particular, ya desde su primer documento la presidencia checa señala que "un gran número" de países de la UE han cuestionado la definición de lo que constituye un sistema basado en la IA, por considerar que la definición inicialmente propuesta es demasiado amplia y ambigua, lo que conlleva el riesgo de incluir también programas de software simple.
Además, una cuestión relacionada con la anterior, es hasta qué punto la Comisión debería poder modificar mediante un acto delegado, el Anexo I del Reglamento, en el que define las técnicas que constituyen la Inteligencia Artificial.
Por ello, desde el primer momento la Presidencia checa ofreció diferentes alternativas al respecto. La opción más conservadora es mantener la propuesta de la Comisión o apostar por la redacción propuesta por la Presidencia francesa, añadiendo algunos elementos de clarificación que incluyan referencias a conceptos como el aprendizaje, el razonamiento y la modelización.
En esta hipótesis, el ejecutivo de la UE mantendría sus poderes delegados o la posibilidad de introducir cambios sólo a través de un procedimiento legislativo ordinario.
Las otras posibilidades de la propuesta checa inicial implicaban una definición más restringida de los sistemas de IA, limitándola a los desarrollados mediante técnicas de aprendizaje automático o bien mediante aprendizaje automático y enfoques basados en el conocimiento.
Como consecuencia, se eliminaría el Anexo I de la propuesta de la Comisión y las técnicas de IA se trasladaban directamente al texto de la norma, ya fuera al preámbulo de la ley o en el artículo correspondiente. La
Comisión sólo tendría la facultad de adoptar actos de ejecución para aclarar las categorías existentes.
En esa línea, el pasado 15 de julio, la Presidencia checa propuso una definición más estricta de la Inteligencia Artificial (IA), junto con una lista revisada y acortada de sistemas de alto riesgo, la atribución de un papel más importante para el Consejo de IA y una nueva redacción de la exención por seguridad nacional.
Este texto se remitió al Grupo de Trabajo de Telecomunicaciones para su consideración en su última reunión antes de las vacaciones de verano ("La Presidencia checa tiene la intención de presentar los cambios introducidos en la segunda propuesta transaccional, que abarcan los cuatro temas presentados en el documento de opciones políticas y que se resumen a continuación, e invita a las delegaciones a aportar opiniones y comentarios de carácter general", rezaba el documento).
En esta segunda propuesta, la definición de IA se redujo significativamente, para hacer referencia a un sistema diseñado con un cierto nivel de autonomía para lograr un conjunto determinado de objetivos definidos por el ser humano utilizando el aprendizaje automático y/o enfoques lógicos o basados en el conocimiento.
Para ello, se añadían en el preámbulo del texto las definiciones de aprendizaje automático y del conocimiento, distinguiendo la IA del software tradicional.
En particular, se subraya que "Se han mantenido los conceptos básicos de la definición de sistema de IA de la OCDE [Organización para la Cooperación y el Desarrollo Económico] y, además, se ha incluido en la definición el concepto de autonomía, según la petición específica de varias delegaciones", señala el documento.
La Presidencia checa incluyó una definición y obligaciones para los sistemas de IA de uso general. Las obligaciones del reglamento se aplicarían en gran medida a este tipo de sistemas, a menos que el proveedor de IA excluya cualquier obligación de alto riesgo.
Además, se ha suprimido el Anexo I sobre técnicas y enfoques de IA, así como la facultad de la Comisión de actualizarlo mediante actos delegados. La Comisión estaría facultada para adoptar actos de ejecución para especificar estas técnicas en función de los avances tecnológicos.
En la propuesta del 16 de septiembre, la Presidencia checa ha mantenido la mayoría de los cambios anteriores en la definición de Inteligencia Artificial, pero ha suprimido la referencia a que la IA debe seguir objetivos "definidos por el ser humano" por considerarla "no esencial".
El texto especifica ahora que el ciclo de vida de un sistema de IA terminaría si es retirado por una autoridad de vigilancia del mercado o si sufre una modificación sustancial, en cuyo caso tendría que ser considerado como un sistema nuevo.
El compromiso también ha introducido una distinción entre el usuario y el controlador del sistema, que puede no ser necesariamente la misma persona afectada por la IA.
A la definición de aprendizaje automático, los checos añadieron que es un sistema capaz de aprender, pero también de inferir datos.
Además, el concepto previamente añadido de autonomía de un sistema de IA se ha descrito como "el grado en que dicho sistema funciona sin influencia externa".
Actividades de I+D
Praga ha introducido una exclusión más directa de las actividades de investigación y desarrollo relacionadas con la IA, "incluso en relación con la excepción para la seguridad nacional, la defensa y los fines militares", dice la parte explicativa.
Sistemas de IA de propósito general
La forma de abordar la IA de propósito general ha sido un tema muy debatido. Estos sistemas, como los grandes modelos lingüísticos, pueden adaptarse para realizar diversas tareas, lo que significa que el proveedor podría desconocer el uso final de su sistema.
La cuestión es si la IA de propósito general debe respetar la aplicación del reglamento en caso de que pueda utilizarse o integrarse en aplicaciones de alto riesgo. Durante los debates en el Consejo de la UE, varios países lamentaron la falta de evaluación sobre lo que podría suponer la aplicación directa de estas obligaciones en términos de viabilidad técnica y evolución del mercado.
Por ello, en su propuesta del 23 de septiembre la Presidencia checa propuso que la Comisión Europea adaptara las obligaciones pertinentes mediante actos de ejecución en el plazo de un año y medio desde la entrada en vigor del reglamento, realizando una consulta pública y una evaluación de impacto sobre la mejor manera de considerar la naturaleza específica de dicha tecnología.
Sin embargo, para la Presidencia de turno del Consejo, estas futuras obligaciones para los sistemas de IA de propósito general no deberían aplicarse a las PYMES, siempre que no estén asociadas o vinculadas a empresas más grandes.
Además, el ejecutivo de la UE podría adoptar actos de ejecución adicionales que detallen cómo deben cumplir el procedimiento de examen los proveedores de sistemas de propósito general para la IA de alto riesgo.
En los casos en que los proveedores no prevean ninguna aplicación de alto riesgo para su sistema de propósito general, quedarían exentos de los requisitos correspondientes. Si los proveedores tienen conocimiento de algún uso indebido, el compromiso les obliga a tomar medidas proporcionales a la gravedad de los riesgos asociados.
El compromiso redujo la discrecionalidad de la Comisión para adoptar especificaciones técnicas comunes para los sistemas de IA de alto riesgo y de propósito general.
Prácticas prohibidas
La parte relativa a las prácticas prohibidas, un tema sensible para el Parlamento Europeo, no está resultando polémica entre los Estados miembros y no ha sido objeto de mayores modificaciones.
Como matización, en la última propuesta de la Presidencia, el preámbulo del texto define con más detalle el concepto de técnicas manipuladoras habilitadas por la IA como aquellos estímulos que están "más allá de la percepción humana u otras técnicas subliminales que subvierten o perjudican la autonomía de la persona [...] por ejemplo en casos de interfaces máquina-cerebro o realidad virtual".
Sistemas de IA considerados de alto riesgo
El anexo III de la ley de IA incluye una lista de aplicaciones de IA consideradas de alto riesgo para el bienestar humano y los derechos fundamentales. Sin embargo, al igual que sucede con la definición de sistemas de IA, para algunos Estados miembros, la redacción es demasiado amplia, ya que consideran que los supuestos regulados deberían ser únicamente aquellos para los que se ha realizado una evaluación de impacto.
De acuerdo con su primer documento, la opción más conservadora consistía en mantener el texto según el compromiso francés. Como alternativa, los países de la UE pueden abogar por suprimir o añadir determinados casos de uso o precisar la redacción.
Pero la Presidencia checa también propuso añadir una capa, concretamente unos criterios de alto nivel para evaluar lo que es, en la práctica, un riesgo significativo. Los proveedores evaluarían entonces por sí mismos si su sistema cumple esos criterios.
Otra forma de acotar la clasificación sería distinguir si el sistema de IA proporciona una toma de decisiones totalmente automatizada, lo que sería automáticamente de alto riesgo, o si sólo informan de las decisiones humanas.
En este último caso, el sistema sólo se consideraría de alto riesgo si la información generada por la IA fuera importante en la toma de decisiones. Sin embargo, lo que es una aportación considerable tendría que ser aclarado por la Comisión mediante legislación secundaria.
En julio, la Presidencia checa propuso añadir un nivel adicional para determinar si un sistema de IA entraña riesgos elevados, a saber, la condición de que el sistema de alto riesgo tenga que ser un factor importante a la hora de tomar la decisión final.
La idea central es crear más seguridad jurídica y evitar que las aplicaciones de IA que son "puramente accesorias" para la toma de decisiones entren en el ámbito de aplicación. La Presidencia quiere que la Comisión Europea defina el concepto de puramente accesorio mediante un acto de ejecución en el plazo de un año desde la entrada en vigor del reglamento.
En la propuesta del 16 de septiembre se ha eliminado el principio de que un sistema que tome decisiones sin revisión humana se considerará de alto riesgo porque "no todos los sistemas de IA que están automatizados son necesariamente de alto riesgo, y porque tal disposición podría ser propensa a ser eludida poniendo a un humano en medio".
Además, el texto establece que cuando el ejecutivo de la UE actualice la lista de aplicaciones de alto riesgo, tendrá que considerar el beneficio potencial que la IA puede tener para los individuos o la sociedad en general en lugar de sólo el potencial de daño.
Finalmente, la Presidencia no ha modificado las categorías de alto riesgo enumeradas en el Anexo III, pero ha introducido una importante reformulación en las mismas. Además, el texto establece ahora explícitamente que las condiciones para que la Comisión retire las solicitudes de la lista de alto riesgo son acumulativas.
Requisitos para la consideración de los sistemas de alto riesgo
En la sección de gestión de riesgos, la Presidencia ha modificado la redacción para excluir que los riesgos relacionados con los sistemas de alto riesgo puedan identificarse mediante pruebas, ya que esta práctica sólo debe utilizarse para verificar o validar las medidas de mitigación.
Los cambios también dan a la autoridad nacional competente más margen para evaluar qué documentación técnica es necesaria para las PYME que proporcionan sistemas de alto riesgo.
En cuanto a la revisión humana, el proyecto de reglamento exige que al menos dos personas supervisen los sistemas de alto riesgo. Sin embargo, los checos proponen una excepción a los llamados "principios de los cuatro ojos", concretamente para las aplicaciones de IA en el ámbito del control de fronteras cuando la legislación nacional o de la UE lo permita.
En cuanto a las entidades financieras, el compromiso establece que el sistema de gestión de la calidad que tendrían que implantar para los casos de uso de alto riesgo puede integrarse con el que ya existe para cumplir con la legislación sectorial vigente para evitar duplicidades.
Del mismo modo, las autoridades financieras tendrían poderes de vigilancia del mercado en virtud del reglamento sobre IA, incluida la realización de actividades de vigilancia a posteriori que pueden integrarse en el mecanismo de supervisión existente en la legislación de servicios financieros de la UE.
Gobernanza de la IA
Por otra parte, el documento presentado por la presidencia checa señala que varios países de la UE han expresado su preocupación por el hecho de que el "marco de gobernanza excesivamente descentralizado a nivel nacional [previsto en la propuesta] del reglamento podría suponer limitaciones para su aplicación efectiva", sobre todo porque temen no tener la capacidad y los conocimientos suficientes para hacer cumplir las normas sobre IA.
En este sentido, la Presidencia checa señaló inicialmente que la legislación debe proporcionar un "cierto nivel de flexibilidad para la legislación y las especificidades nacionales" y que "delegar las competencias de aplicación a un nivel más central también requiere cuidadosas consideraciones prácticas y de implicaciones presupuestarias".
Tal y como explicó la Presidencia francesa, el actual marco de gobernanza sigue el Reglamento de Vigilancia del Mercado de la UE, con las autoridades nacionales al frente, un Consejo de AI para la coordinación y las intervenciones de la Comisión limitadas a casos extremos.
Otra forma de hacerlo sería apoyar más a los Estados miembros con instalaciones de ensayo de la Unión, un grupo de expertos y un mecanismo de emergencia para acelerar el apoyo.
También podría reforzarse el Consejo de Inteligencia Artificial para que asista a las autoridades nacionales y tenga un mandato más explícito basado en el Reglamento sobre productos sanitarios, orientando y coordinando
las actividades de vigilancia del mercado.
Finalmente, como varios Estados miembros temían que el reglamento sobre IA pudiera abarcar sistemas que no implicaran un riesgo grave de violación de los derechos fundamentales, la Presidencia checa propuso añadir un nivel horizontal a la clasificación de alto riesgo, inspirado en el grupo de expertos de alto nivel sobre IA y en el marco de clasificación de la OCDE.
Este nivel adicional se basaría en la importancia e inmediatez de los resultados del sistema en el proceso de toma de decisiones. En otras palabras, la IA sólo podría considerarse de alto riesgo si es inmediatamente eficaz sin la revisión humana o si no es un mero accesorio de la decisión humana.
De esta manera, la Comisión especificaría la forma en que este resultado se considerará significativo en la toma de decisiones mediante actos de ejecución, que también tendrían que proporcionar directrices para garantizar condiciones de aplicación uniformes.
En esta propuesta, la lista de casos de uso de alto riesgo del Anexo III cambió significativamente, eliminándose las categorías relativas al establecimiento de seguros, la categorización biométrica, la protección del medio ambiente, el control de la contaminación y la detección de falsificaciones en profundidad.
Además, la Comisión ya no podría añadir casos de uso de alto riesgo a la lista, sino también eliminarlos, siempre y cuando ya no planteen riesgos significativos o su supresión no disminuya el nivel global de protección de la salud, la seguridad y los derechos fundamentales.
En su propuesta de julio, la solución checa se basó en dos partes. La primera se refería al Comité Europeo de Inteligencia Artificial, que apoyaría a las autoridades nacionales en la aplicación, especialmente asistiendo a las autoridades de vigilancia del mercado, formando al personal nacional y asesorando a la Comisión en asuntos internacionales relacionados con la IA.
Dado que el Consejo participaría en las actividades de aplicación, su composición se modificó para incluir únicamente a representantes de los Estados miembros, mientras que se proponía introducir como nuevo requisito el establecer un subgrupo permanente que sirva de plataforma para una amplia gama de partes interesadas, que también sería consultado para la redacción de los actos de aplicación.
En segundo lugar, los checos propusieron un nuevo artículo que obligaría a la Comisión a designar una o varias instalaciones de ensayo a nivel de la UE para proporcionar asesoramiento técnico y científico al Comité o a las autoridades de vigilancia del mercado.
Además, la Comisión podría crear un grupo de expertos independientes que apoyarían las actividades de ejecución, como el apoyo a las autoridades nacionales, el asesoramiento en investigaciones transfronterizas y a la Comisión en casos de incumplimiento de prácticas prohibidas.
Uso de la IA con fines de aplicación de la ley (enforcement)
En la última propuesta de la Presidencia checa, del 23 de septiembre pasado, se han incluido una serie de disposiciones en favor de las autoridades policiales y judiciales.
Así, los checos propusieron ampliar el registro en la base de datos pública del proveedor de sistemas de alto riesgo a todos los organismos públicos que utilicen dicha IA, con la notable excepción de las autoridades policiales, de control de fronteras, de migración o de asilo.
Además, la obligación de informar al proveedor de un sistema de alto riesgo de la identificación de incidentes graves o de proporcionar información para el seguimiento posterior a la comercialización no se aplicaría a los datos operativos sensibles relacionados con las actividades policiales.
Del mismo modo, la autoridad de vigilancia del mercado no tendría que revelar información sensible al informar a sus homólogos y a la Comisión de que un sistema de alto riesgo se ha desplegado sin evaluación de la conformidad a través del procedimiento de emergencia.
El artículo que impone la confidencialidad a todas las entidades que participan en la aplicación del reglamento sobre IA se ha ampliado para proteger los procedimientos penales y administrativos y la integridad de la información clasificada en virtud de la legislación de la UE o nacional.
En lo que respecta a las pruebas de la nueva IA en condiciones reales, la obligación de que el sujeto preste su consentimiento informado se ha eximido en el caso de la aplicación de la ley con la condición de que no afecte negativamente al sujeto.
Obligaciones de transparencia
De acuerdo con la propuesta del 23 de septiembre, si un sistema de IA está destinado a la interacción con los seres humanos, la persona debe ser consciente de que se trata de una máquina, a menos que sea obvio "desde el punto de vista de una persona física razonable que esté razonablemente bien informada, sea observadora y perspicaz".
Las mismas obligaciones se aplican a los sistemas de IA de categorización biométrica y de reconocimiento emocional, con la única excepción en todos estos casos de las investigaciones policiales. Aun así, en este caso, el disfraz debe estar "sujeto a las garantías adecuadas para los derechos y libertades de terceros".
Medidas a favor de la innovación
De acuerdo con la propuesta de la presidencia checa de 23 de septiembre, se ha ampliado la la lista de actores del ecosistema de la IA que participan en los "sandboxes" regulatorios, para incluir a "las organizaciones relevantes de las partes interesadas y de la sociedad civil".
En cuanto a las actividades de apoyo que tendrán que poner en marcha los Estados miembros, Praga se inclina por incluir en la organización de la formación originalmente destinada a explicar la aplicación del reglamento de IA a las PYME y a las empresas de nueva creación, así como a las autoridades locales.
Sanciones
Finalmente, según su propuesta del 23 de septiembre, a la hora de fijar las sanciones, los países de la UE tendrán en cuenta el principio de proporcionalidad para los usuarios no profesionales.
El texto de compromiso propuesto especifica que conllevarían una multa administrativa de 20 millones de euros o el 4% del volumen de negocios de una empresa las infracciones de las obligaciones relativas a los proveedores de sistemas de alto riesgo, los importadores, los distribuidores y los usuarios, así como de los requisitos para los organismos notificados y los representantes legales.
El porcentaje se ha reducido para las PYME y las empresas de nueva creación del 3% al 2% del volumen de negocios anual.