Presentación del Congreso
Los pasados días 20 y 21 de abril tuvo lugar en el auditorio de la Universidad de Deusto el I Congreso internacional sobre derecho e inteligencia artificial, organizado conjuntamente por este centro y el despacho Uría Menéndez, bajo la dirección de Inmaculada Herbosa Martínez, profesora titular de Derecho Civil de la Universidad de Deusto, y David Fernández de Retana Gorostizagoiza, socio de Uría Menéndez.
El evento, que contó con figuras de primer nivel, fue un brillante ejemplo de trabajo conjunto entre la universidad y la industria, en este caso jurídica. Una forma de avanzar en el análisis de la problemática que plantean los nuevos avances tecnológicos desde una perspectiva que combina la necesaria perspectiva académica con el imprescindible enfoque práctico derivado del ejercicio riguroso de la profesión.
Así lo explicó en la apertura del congreso la decana de la facultad de Derecho de la Universidad, Gema Tomás, quien expuso que ante la evidencia de que la generalización de la Inteligencia Artificial (IA) ha llegado antes de lo esperado, aumenta la necesidad de generar un debate serio que permita analizar en profundidad los diversos problemas que esta tecnología plantea. Todo ello teniendo en cuenta, concluyó citando al que fuera prepósito general de la Compañía de Jesús, el padre Arrupe, no podemos responder a los problemas de ayer con soluciones de ayer.
I. EL MARCO GENERAL DE LA IA
1. El Derecho privado en la sociedad digital
Se inició la parte técnica del congreso con un recorrido sobre el marco general que caracteriza a la IA en su relación con el Derecho.
Abrió el tema Rafael Verdera Server, Catedrático de Derecho Civil de la Universidad de Valencia, quien expuso la problemática del Derecho privado en una sociedad digital.
Verdera señaló a este respecto que nos encontramos en un momento decisivo, de transición de un antiguo a un nuevo modelo en el que, probablemente, el sentido del Derecho habrá cambiado.
Este cambio viene propiciado por la evidencia de que los ciclos de innovación son cada vez más rápidos, cortos e intensos.
Y este avance afecta directamente a la esencia del Derecho privado, que se basa en la libertad y la responsabilidad, como elementos caracterizadores de la dignidad de la persona. Sin embargo, los más recientes avances, como los de las neurociencias, permiten que prácticamente cualquier acto humano pueda no solo predecirse, sino, lo que es peor, manipularse. Una situación que lleva al profesor Verdera a preguntarse si las personas vamos a poder considerarnos realmente libres y cómo va a poder responder el Derecho ante esas situaciones.
En paralelo, añadió, podemos estar asistiendo a una modificación de la concepción liberal de nuestros ordenamientos jurídicos occidentales, basados en la igualdad de las personas, que determine un paso del Derecho de la persona a un Derecho de las personas. Este se caracterizaría por establecer regulaciones particulares según los rasgos o caracteres concretos de un colectivo, ya sea de consumidores, trabajadores, menores, personas con discapacidad, etc. Es decir, a una posible evolución del Derecho privado a un Derecho de las identidades, por encima del carácter más general de persona, que diese lugar a un nuevo modelo de Derecho estamental.
Una situación que contrasta, a su vez, con el concepto de identidad digital, construido a partir de todo lo que nos singulariza en el entorno on line. La realidad es que nadie sabe más de nosotros que quien controla nuestros datos y ello lleva a plantear si cabría el diseño de un Derecho ajustado a las características de cada persona.
Algo no tan distópico como pueda parecer si se tiene en cuenta, continuó el profesor Verdera, que ya se puede juridificar los deseos, tal como puede apreciarse en normas como la Ley 8/2021, de 2 de junio (LA LEY 12480/2021), por la que se reforma la legislación civil y procesal para el apoyo a las personas con discapacidad, que se refiere a tener en cuenta la voluntad de estas personas; o la causa de desheredación basada en el maltrato psicológico.
Ante este panorama, Verdera se pregunta si debe cambiar el Derecho ante el cambio del modelo social sobre el que se proyecta. Una posibilidad no desdeñable, se responde, teniendo en cuenta que el alcance de las viejas técnicas jurídicas puede quedar como residual. Como ejemplo señaló la reciente atribución de personalidad jurídica a la laguna del Mar Menor por mor de la Ley 19/2022, de 30 de septiembre (LA LEY 20903/2022).
El riesgo de no hacerlo, advirtió, es que el retraso en la regulación genere islas de inmunidad regulatoria.
Esta circunstancia es particularmente relevante ante la evidencia, señaló, del carácter disruptivo de la IA, puesto de manifiesto por la capacidad de tecnologías como el Deep Learning de generar su propio código de programación.
En particular, Verdera citó cuatro áreas en las que la IA va a tener un gran impacto sobre el Derecho: la automatización de tareas; el análisis predictivo; la asistencia por medio de robots conversacionales (chatbots) y la búsqueda de información jurídica.
Este impacto se va a manifestar particularmente en áreas como la legislación (en especial, en lo que tiene que ver con la calidad de las leyes); la judicatura (si llegan a instaurarse las decisiones judiciales automatizadas); la abogacía (mejorando el trabajo humano y facilitando el diseño de estrategias, pero teniendo en cuenta que si llegan a instaurarse las decisiones judiciales automatizadas, los juristas deberán ir a remolque de las mismas) y la enseñanza del Derecho (ofreciendo una formación más adaptada a las necesidades del mercado y dotando a los estudiantes de herramientas de trabajo).
Pero, a la vez, este impacto derivado de la digitalización de la Justicia, no dejará de plantear nuevos problemas, entre los que cabe destacar, en opinión de Verdera, el control de los algoritmos capaces de aprender solos; evitar los sesgos y el hecho de que la IA siempre se basa en datos del pasado y, por tanto, en base a ellos puede ser difícil que evolucione.
Como conclusión destacó que, ante los avances tecnológicoas, previsiblemente el papel de los juristas menguará, por lo que deberán adaptarse a los nuevos tiempos.
2. Los principios generales del Derecho y la propuesta de Reglamento de IA
Seguidamente, Francesco Ricci, Profesor Ordinario de Derecho Privado en la Universidad LUM Giuseppe Degennaro de Bari, abordó el papel que pueden jugar esos principios en la nueva regulación que está elaborando la Unión Europea.
Estos principios, comenzó, responden a unos valores de base que caracterizan al ordenamiento jurídico. Se trata de unos valores abstractos, cuya falta de precisión ante supuestos concretos puede determinar una laguna normativa.
La novedad que plantea la IA es que el ordenamiento debe regular unas consecuencias que pueden ser imprevisibles para el propio diseñador del sistema, generadas por lo que se puede denominar «hecho de una máquina» (fatto da una macchina), una materia que hasta ahora quedaba sometida a la normativa sobre productos defectuosos.
Por otra parte, continuó el profesor Ricci, si las máquinas pueden tomar a decisiones autónomamente, se cuestionan conceptos como la libertad y la responsabilidad individuales, obligando a preguntarse quién responde en esos casos.
Ante esta situación, Ricci plantea si debe acudirse a principios jurídicos o éticos. Desde luego, añadió, la falta de regulación sobre una materia no implica ausencia del Derecho, pero sí que surja la pregunta de cómo rellenar las lagunas, si por medio de la ética o del Derecho.
Europa ha dado respuesta a esta cuestión sentando en primer lugar unos principios éticos definidos en 2019 por un grupo de expertos de alto nivel en IA. Estos principios son los de prevalencia de la autonomía humana, prevención del daño, equidad y explicablidad. Estos principios, cuya concreción en la práctica requiere de un equilibrio entre ellos, se basan en una concepción ética que sitúa a la persona en el centro con el objetivo de preservar su dignidad y prevenirle ante los daños que pueda sufrir tanto por un uso propio como impropio de la tecnología. Todo ello a partir de los conceptos de riesgo aceptable e inaceptable y la casi inevitable existencia, en todo caso, de un riesgo residual.
3. Inteligencia Artificial y defensa de los consumidores
Cerró este primer bloque la Catedrática de Derecho Civil de la Universidad Autónoma de Madrid Carmen Jerez Delgado, quien comenzó destacando, en primer lugar, que ante la Unión Europea los ciudadanos somos personas, no consumidores.
En este sentido, la propuesta de Reglamento de IA no amplía el ámbito de la normativa sobre consumidores, sino que defiende sus derechos a través de los mecanismos de control previstos para los sistemas de IA.
Es decir, aunque la futura norma no reconoce nuevos derechos a los consumidores, el derecho de estos sí prima sobre libertades como las de empresa, arte y ciencia. Por otra parte, la nueva norma prohíbe expresamente las tecnologías tendentes a manipular a las personas.
Por tanto, a nivel nacional, habrá que seguir teniendo en cuenta el Texto Refundido de la Ley General de Defensa de los Consumidores y Usuarios (LA LEY 11922/2007), aprobado por el Real Decreto Legislativo 1/2007, de 16 de noviembre; la Ley de Servicios de Sociedad de la Información y de comercio electrónico (Ley 34/2002, de 11 de julio (LA LEY 1100/2002)) y la Ley 7/1998, de 13 de abril, sobre condiciones generales de la contratación (LA LEY 1490/1998), así como la muy reciente ley europea de servicios digitales (propiamente, el Reglamento (UE) 2022/2065, del Parlamento Europeo y del Consejo, de 19 de octubre de 2022 (LA LEY 22694/2022), Reglamento de Servicios Digitales.
Esta última norma es particularmente relevante pues, dada su plena adaptación al entorno digital, considera la existencia de un contrato entre un prestador de servicios y un consumidor desde el momento en que se clica la opción «Aceptar». Igualmente prevé la exención de responsabilidad del dueño de la plataforma ante el consumidor, salvo que participe en la publicidad del producto o pueda confundirse fácilmente con quien la realiza.
Finalmente, la profesora Jérez se refirió a la IA como posible herramienta de defensa del consumidor, bien sea al margen del conflicto (como la que ofrece Inbenda) o en situaciones de conflicto, como herramienta no decisoria (como puede ser un chatbot) o de resolución de conflictos en línea o el arbitraje de consumo. En todo caso, concluyó, se trata de un campo abierto a herramientas de tipo LegalTech o LawTech que pueden facilitar el desarrollo de políticas públicas en un contexto en el que una ciudadanía activa ha adquirido la categoría de prosumer (productor + consumidor, en el sentido de que es un consumidor que participa en el proceso de diseño de los servicio o productos que desarrolla una organización).
II. DERECHO PÚBLICO E INTELIGENCIA ARTIFICIAL
1. El derecho de acceso al algoritmo utilizado por la Administración Pública. Opacidad versus Transparencia
Uno de los principios que siempre se aplican a los algoritmos es el de transparencia. Y sobre su alcance en el ámbito del Derecho público habló Cristina Arenas Alegría, Profesora Titular de Derecho Administrativo de la Universidad de Deusto. Transparencia, explicó, se refiere a la capacidad de ver y entender el funcionamiento de dicho algoritmo. Un factor singularmente relevante en el ámbito administrativo, si se tiene en cuenta que el recurso a las decisiones automatizadas está sustituyendo cada vez más a las decisiones humanas, incluidas las discrecionales.
Este factor ha generado una diversidad de corrientes doctrinales que tratan de establecer las características del algoritmo en su aplicación al ámbito jurídico. En este sentido, explicó la profesora Arenas, están quienes consideran al algoritmo como un reglamento; los que lo consideran una expresión del derecho débil o soft law y, finalmente los que no los consideran reglamentos, pero sí exigen que estén dotados, al menos, de unas mínimas garantías.
En cualquier caso, lo relevante es que, frente al derecho al derecho al recurso contra una decisión administrativa y el correlativo a la tutela judicial efectiva, resulta imprescindible conocer los fundamentos de dicha decisión. Lo que lleva a la pregunta de si un algoritmo utilizado por la Administración Pública es información pública. Una cuestión que el Consejo de Transparencia ha respondido declarando que un algoritmo así «entra sin lugar a dudas dentro del ámbito del concepto de información pública consagrado en la [Ley 19/2013, de 9 de diciembre, de transparencia (LA LEY 19656/2013)]» (Resolución 058/2021, de 20 de mayo).
Y siendo así, se impone la transparencia de los mismos, como fundamento de su recurribilidad.
Pero dado que la mayor parte de estos algoritmos no pertenecen a la Administración, sino a empresas privadas, la solicitud de transparencia suele chocar con la pretensión de las empresas diseñadoras de los algoritmos de preservar su propiedad industrial y sus secretos empresariales. Sin embargo, concluyó, dado que según el artículo 13 de la Ley de Propiedad Intelectual de 1996 (LA LEY 1722/1996) establece que «No son objeto de propiedad intelectual las disposiciones legales o reglamentarias», si se considera a los algoritmos como tales, quedarían excluidos de la protección de esa ley.
2. Contratación Pública e Inteligencia Artificial
Trató este tema María Burzaco Samper, Profesora Agregada de Derecho Administrativo de la Universidad Pontificia de Comillas (ICADE) quien comenzó recordando que ya las Directivas sobre contratación pública de 2014 (Directivas 2014/23 (LA LEY 4612/2014) UE, 2014/24 UE y 2014/25 UE), establecieron un cambio relevante en la caracterización de la contratación pública, pasando a considerarla una palanca de desarrollo económico y social.
Una idea reforzada, muy recientemente, por la Comunicación de la Comisión «Contratación pública: Un espacio de datos para mejorar el gasto público, impulsar la elaboración de políticas basadas en datos y mejorar el acceso de las pymes a las licitaciones» (2023/C 98 I/01), donde se señala que «Para liberar todo el potencial de la contratación pública, el acceso a los datos y la capacidad de analizarlos son esenciales».
Y es que una de las principales dificultades para el uso de la IA en este y en otros ámbitos es la falta de datos abiertos y reutilizables de calidad. Un obstáculo frente al cual la iniciativa de la Comisión relativa a los datos sobre contratación pública pretende aprovechar el poder de los datos disponibles en toda la UE gracias al Espacio de Datos sobre Contratación Pública. Este espacio de datos revolucionará el acceso a los datos sobre contratación pública y su utilización y «se combinará con un conjunto de herramientas de análisis que incluirá tecnologías avanzadas como la inteligencia artificial (IA), por ejemplo en forma de aprendizaje automático y procesamiento del lenguaje natural (PLN)».
La idea es que la IA puede hacer mucho en el ámbito de la contratación pública, mejorando los procesos de contratación e incluso permitiendo considerar al contrato público como una herramienta de regulación digital.
Como elemento del contrato, la IA puede ser objeto del mismo, pero también puede ser un elemento del propio contrato con objeto distinto.
Y en cuanto a herramienta de regulación digital, cabe considerar al pliego de contratación como un marco regulatorio sujeto a los principios del Derecho público, a los límites éticos (y, en paralelo, al compliance algorítmico), a la obligación de respeto de derechos de las personas como el de protección de datos y a los principios de transparencia y explicabilidad.
Por último, señaló la profesora Burzaco, la IA también puede servir como herramienta de lucha contra la corrupción en la contratación pública, permitiendo el cálculo de los precios de referencia, ayudando a la detección de cárteles y fraudes, aplicando la analítica predictiva para prevenir riesgos y ayudando al canal de denuncias.
3. Inteligencia Artificial y derechos fundamentales
Cerró este bloque temático Elena Atienza Macías, Investigadora Ramón y Cajal del Ministerio de Ciencia e Innovación y profesora de Derecho constitucional de la Universidad de Deusto, quien destacó la relevancia en este ámbito de la Carta ética europea sobre el uso de la inteligencia artificial en los sistemas judiciales y su entorno, adoptada por la Comisión Europea para la Eficiencia de la Justicia (CEPEJ) el 3 y 4 de diciembre de 2018, que establece cinco principios sobre el Uso de Artificial Inteligencia en los sistemas judiciales y su entorno.
Estos principios son: 1. El principio de respeto por los derechos fundamentales; 2. El principio de no discriminación; 3. El principio de calidad y seguridad; 4. el principio de transparencia, imparcialidad y justicia y, 5. el principio «bajo control del usuario».
III. LA INTELIGENCIA ARTIFICIAL Y EL PROCESO PENAL
A continuación, Manuel Marchena, presidente de la Sala Segunda del Tribunal Supremo, impartió una charla magistral sobre la IA y el proceso penal.
Marchena comenzó destacando que los primeros problemas jurídicos relacionados con la IA están surgiendo en el ámbito de la responsabilidad civil. Esto plantea la necesidad, señaló, de que ante tecnologías de vanguardia, hay que aplicar derechos de vanguardia.
El desarrollo de esta tecnología se ha visto favorecido por el hecho de que los ciudadanos llevamos años facilitamos a las redes sociales y demás empresas una cantidad ingente de datos. Una situación, añadió, que ya es irreversible.
Por lo que se refiere a la Justicia, su deterioro actual es tal que se está abriendo camino el concepto de Juez-robot, de una justicia en el que los jueces sean meros autómatas que apliquen los dictados de un sistema algorítmico.
Pero, si bien el uso de la tecnología en la Administración de Justicia ya es una realidad, Marchena considera que hay que tener muchísimo cuidado con la aplicación de la IA en este ámbito.
Hoy ya no se puede dar la espalda a esta tecnología, pero la Justicia ha de conservar siempre un rostro humano, advirtió. Además, la justicia algorítmica siempre se basará en el precedente, pero ello le puede impedir ser capaz de modificarse a sí misma para adaptar sus decisiones a los nuevos tiempos, propiciando la fosilización de la jurisprudencia.
Además, añadió Marchena, no hay que invertir el silogismo tradicional de la justicia: «primero la norma, luego el hecho». La IA siempre se basa en los precedentes, pudiendo completar los vacíos argumentales mediante pura estadística. En estas condiciones, se preguntó ¿cómo podría defenderse el letrado frente a una resolución puramente algorítmica basada en una estadística mayoritaria, frente a sentencias excepcionales, pero aplicables al caso? El recurso en este caso sería frente a una verdad algorítmica simplemente basada en el precedente.
En definitiva, el juez juega un papel de equilibrio y control del poder que no puede controlarse mediante un algoritmo. Por ello, añadió, no podemos, a partir de la descalificación de la Justicia, sustituir el papel del juez por un robot, «porque no es lo mismo y, por ello, un juez nunca debería ser sustituido por un robot». Eso por no mencionar que la incorporación de la algoritmia y la IA a la Justicia dejaría en la calle a muchos profesionales que pasarían a ser innecesarios.
Marchena concluyó señalando que vamos hacia una nueva formulación de derechos, como de trazabilidad del algoritmo y la identidad digital, ante la que los futuros profesionales del derecho, como los que llenaban el auditorio de la Universidad, van a ser la vanguardia de una abogacía que va a establecer los cimientos de una sacudida histórica en el ámbito del Derecho.
IV. RIESGOS ASOCIADOS AL USO DE INTELIGENCIA ARTIFICIAL POR LA EMPRESA. RETOS Y OPORTUNIDADES
En esta mesa, que por razones de agenda no pudimos seguir, fue moderada por Javier Ybarra López-Gómez, Managing Director de Riesgos Financieros y Profesionales de Marsh, empresa patrocinadora del Congreso. En ella intervinieron Javier Basterreche Bengoa, Risk&Insurance Manager de Indra, Francisco Ruiz Ruisueño, Legal Counsel de Ayesa y Koldo Etxeberria Iztueta CIO de Kutxabank.
V. INTELIGENCIA ARTIFICIAL Y PROTECCIÓN DE DATOS
Esta mesa cubrió cinco apartados sucesivos
1. Retos para adaptar las herramientas de Inteligencia Artificial a la protección de los datos personales
En primer lugar, Leticia López-Lapuente, Socia responsable del área de Protección de Datos y Comercio Electrónico de Uría Menéndez, abordó los retos que plantean los sistemas de IA que utilizan datos personales, un problema muy frecuente.
Estos retos se inician con el propio origen de los datos, sobre el que hay que preguntarse, de entrada, si se han obtenido lícitamente, es decir, conforme a los requisitos que establece el RGPD para esa finalidad.
Además, se plantea el de la dificultad para entender el funcionamiento interno de estas herramientas incluso para los propios técnicos, algo que afecta al conocimiento de la lógica del tratamiento efectuado.
En este sentido, López-Lapuente recordó que el RGPD pivota sobre el principio de responsabilidad proactiva o accountability, que implica que todos los tratamientos de datos personales que se realicen deben cumplir con la norma, en particular en lo relativo a los principios de privacidad desde el diseño y por defecto, junto con otros como el de transparencia. Algo generalmente complejo, por cuanto muchas de las herramientas de IA disponibles no se pueden diseñar, pues vienen ya fabricadas de origen y muchos de sus desarrolladores no conocen esos principios.
2. Tutela civil y administrativa frente al tratamiento automatizado de los datos personales
Paloma de Barrón Arniches, Profesora Agregada de Derecho Civil de la Universidad de Lleida, centró su ponencia en el mecanismo de las acciones colectivas de tutela por organismos encargados de la defensa de los derechos de los consumidores regulado por el artículo 80 del RGPD (LA LEY 6637/2016). Una norma que debe ponerse en relación con la Directiva (UE) 2020/1828, de 25 de noviembre de 2020 (LA LEY 23718/2020), relativa a las acciones de representación para la protección de los intereses colectivos de los consumidores y con la sentencia del TJUE de 28 de abril de 2022, asunto C-701/20 (Facebook Ireland vs Federación alemana de Organizaciones y Asociaciones de Consumidores), primera sobre esta materia.
A este respecto, la profesora de Barrón destacó que, si bien la norma es exigente respecto de la admisibilidad de estas reclamaciones, esta exigencia se ve moderada por la opinión del abogado general del TJUE, quien ha señalado que, ante la evidencia de la importancia del control de los datos, se trata de encontrar un equilibrio entre el progreso y la privacidad y la libertad del individuo. Un equilibrio que tiene que venir dado por las autoridades de control y la propia actividad de los ciudadanos. A este respecto, mencionó los criterios establecidos por la jurisprudencia europea, contenidos en las sentencias del TJUE de 20 de diciembre de 2017 (asunto C-434/16 (LA LEY 177514/2017), Peter Nowak y Data Protection Commissioner), que estableció el concepto de dato personal; de 29 de julio de 2019 (asunto C-40/17 (LA LEY 104166/2019), Fashion ID GmbH), sobre las acciones en defensa de los derechos de los consumidores, y 15 de junio de 2021 (asunto C-645/19 (LA LEY 68118/2021), Facebook Ireland), sobre la facultad de iniciar o ejercitar acciones judiciales en defensa de los derechos de los titulares de datos personales.
Finalmente, de Barrón destacó la relevancia que a este respecto están cobrando los denominados datos inferidos, aquellos datos obtenidos a partir del procesamiento analítico de un conjunto amplio de datos entre los que se encuentran datos de múltiples personas usuarias y diversas fuentes, como los describe la AEPD. El tratamiento de estos datos puede vulnerar el derecho a la protección de datos, pero parece dudoso que la infracción de tal derecho pueda dar lugar a una indemnización, ex art. 82 RGPD (LA LEY 6637/2016).
En general, concluyó, debería optarse por dotar de una mayor calidad al consentimiento de los interesados, en base al suministro de una mejor información sobre el tratamiento que se va a realizar de los datos. Lo que, dicho de otra manera, implica que las empresas deben adaptar su lenguaje al del usuario.
3. Tratamiento de datos de solvencia e Inteligencia Artificial
Sobre este específico aspecto, Rebeca Carpí Martín, Profesora Titular de Derecho Civil de la Universidad Ramón Llull (ESADE), comenzó destacando que la combinación de IA con datos de solvencia crediticia se traduce en una clasificación crediticia a efectos de valorar el riesgo de conceder un préstamo a una persona.
En realidad, precisó, ese tipo de análisis se ha hecho siempre y siempre ha tenido sesgos. La novedad procede de la realización de este tipo de evaluaciones mediante mecanismos automatizados.
Este perfilado ofrece las ventajas de basarse en un método científico, permitir un ahorro de costes y aportar eficiencia en la valoración. Por el contrario, plantea los riesgos de una mayor complejidad del proceso, su opacidad y falta de trazabilidad y la posible multiplicación de los sesgos.
Lo fundamental a estos efectos es poder controlar los datos de entrada. Y, en este sentido, los perfilados crediticios suelen buscar datos alternativos, a través de la información disponible en Internet , en las redes sociales y en aplicaciones para dispositivos móviles, que permiten información muy precisa, por ejemplo, sobre hábitos de compra. Sin embargo, además de que su pertinencia a efectos del RGPD parece dudosa, el tratamiento de estos datos implica la necesidad de un consentimiento explícito del interesado.
Por todo ello, Carpí concluyó que la regulación sobre datos personales aplicable a los sistemas de clasificación crediticia y solvencia patrimonial de personas físicas mediante IA requiere tener en cuenta el régimen general de acceso a los datos de solvencia (pues las entidades crediticias tienen la obligación de evaluar la solvencia de los clientes a los que conceden un préstamo) y su régimen general en caso de aplicarse un sistema de decisiones automatizadas
4. Tecnología big data aplicada a la salud y a la investigación biomédica
Concluyó este bloque Aitziber Emaldi Cirión, Profesora Titular de Derecho Constitucional de la Universidad de Deusto, quien comenzó explicando que el uso de bases de datos personales en el ámbito sanitario, remite a una utilización masiva de datos, para llegar a conclusiones que permitan un diagnóstico más preciso, especialmente en el ámbito de la medicina preventiva y la predictiva.
A su vez, estos datos pueden ser personales, anónimos, anonimizados o seudonimizados. Con ellos pueden utilizarse métodos predictivos, descriptivos o de decisión. Esta recopilación de datos para relacionarlos entre sí y obtener patrones, plantea, como advierte el considerando 91 del RGPD, riesgos para las personas.
Dado que estos datos son considerados de categoría especial por el RGPD y que requieren unos requisitos específicos para su posible tratamiento, esto plantea a su vez unos riesgos jurídicos traducidos en la disponibilidad de un exceso de información sobre los pacientes, la pérdida de información potencialmente relevante, el exceso de biomonitorización, la toma de decisiones por el profesional sanitario y la elaboración de perfiles personales.
Por lo que se refiere al tratamiento de datos personales, el principal desafío, en todo caso, es que el mismo requiere un consentimiento expreso del interesado. Si bien, añadió, además del consentimiento, existen otras bases que legitiman el tratamiento de estos datos, como son la habilitación legal, la seudonimización de los datos, la separación de equipos (entre el que seudonimiza y el que investiga) y la reutilización de datos.
A este respecto, explicó Emaldi, existe una corriente que, considerando que el RGPD ofrece una cobertura insuficiente para permitir la investigación, impulsa el posible otorgamiento de un consentimiento abierto, que permita la investigación con estos datos.
VI. INTELIGENCIA ARTIFICIAL, CONTRATACIÓN Y DERECHO MERCANTIL
La segunda jornada del Congreso se inició con esta mesa que abordó, en primer lugar, la problemática relativa a
1. Inteligencia Artificial y Propiedad Intelectual
En ella, Borja Sainz de Aja Tirapu, Socio del área de Propiedad Intelectual e Industrial de Uría Menéndez, comenzó refiriéndose al que es uno de los grandes problemas que plantea el entrenamiento de los sistemas de IA: la utilización de texto y datos que pueden estar sujetos a derechos de propiedad intelectual. Un tema que ha sido ampliamente estudiado tanto por la World Intellectual Property Organization (WIPO) en sus Conversations sobre IA, recogidas en los Revised Issues Paper on Intellectual Property Policy and Artificial Intelligence, como por el Parlamento Europeo, en su Report on intellectual property rights for the development of artificial intelligence technologies.
Se trata de una cuestión sobre la que no existe un consenso claro, ya que países como Japón limitan el uso de materiales protegidos, mientras que otros, como los Estados Unidos aplican el principio del fair use. Por su parte, la Unión Europea, permite la minería de datos por organismos de investigación sin ánimo de lucro.
En torno a este asunto se plantea también el problema de la patentabilidad de la IA. A este respecto hay que tener en cuenta, añadió Sainz de Aja, que, de acuerdo con la legislación sobre propiedad intelectual, los programas de ordenador no se consideran una invención patentable, salvo que formen parte de una invención con carácter técnico. Salvado ese escollo, la IA plantea otros problemas específicos a estos efectos, como son su carácter de caja negra o black box, cuyo conocimiento preciso no se puede conocer, y la exigencia de una altura inventiva, valorable según el estandar de un experto en la materia, pero difícil de apreciar en el ámbito de la IA.
Por tanto, ante la dificultad de proteger por esta vía un algoritmo o una red neuronal, se plantea la posiblidad de otras alternativas, como la protecció del derechos sui géneris aplicado a las bases de datos, y la protección como secreto industrial.
Por otra parte, se plantea también el problema de la protección de los resultados obtenidos con un sistema inteligente, ya que, en principio, si están obtenidos autónomamente por una IA, no se consideran patentables, porque falta el inventor. Sin embargo, este principio está siendo cuestionados en países como el Reino Unido y, además, plantea posibles excepciones en el ámbito de las invenciones en el entorno farmaceútico.
Por todo ello, Sainz de Aja planteó la conveniencia de seguridad jurídica en relación con la protección de las creaciones de la IA. Un principio que debe basarse en la transparencia, la defensa de los derechos de los titulares de los datos utilizados, las posibles limitaciones a la utilización de esos datos y las licencias obligatorias para su uso. Todo ello sin olvidar, concluyó, que las creaciones de IA también pueden plantear nuevas prácticas de competencia desleal ante las que resulte diferenciar la creación humana de la de la máquina.
2. Derecho de Sociedades e Inteligencia Artificial
A continuación, Anselmo Martínez Cañellas, Profesor Titular de Derecho Mercantil de la Universidad de las Islas Baleares, abordó la posibilidad de si una IA podría desempeñar el papel de órgano de gobierno de una sociedad. Una opción hoy por hoy descartada, ya que una IA no puede complir con principios como el deber de lealtad y diligencia de los administradores exigido por el art. 225 de la Ley de Sociedades de Capital. Sí cabría, sin embargo, la posibilidad de que el órgano de administración utilice un sistema inteligente como auxiliar de su toma de decisiones, aunque sin estar obligado a seguir sus recomendaciones.
3. El Derecho del Seguro y la Inteligencia Artificial
Trató este tema Abel Veiga Copo, Profesor Ordinario de Derecho Mercantil de la Universidad Pontificia de Comillas (ICADE), quien abordó los aspectos más relevantes que plantea el uso de la IA en el sector agurador. Un sector, explicó, en el que el riesgo juega un papel determinante en unos contratos caracterizados por su carácter asimétrico, pues en ellos siempre gana la parte más fuerte. Ese riesgo, añadió, se caracteriza por la aleatoriedad del evento dañoso, y no se ve disminuido por el contrato, sino dispersado entre alguien que lo compra (la compañía aseguradora).
Precisamente en este ámbito, la IA permite, a través del análisis de los datos, conocer la intensidad del riesgo. Y, en otra línea, también puede permitir, en base al principio de equidad, evitar sesgos discriminatorios en la contratación, pues el seguro tiene a "antiseleccionar" a sus clientes. El problema es que seguimos pensando en clave analógica, cuando la técnica va por delante del Derecho y las normas de este no se han adaptado a las nuevas circunstancias que permiten las tecnologías. Y ello pese a que dicha tecnología puede afectar a circunstancias tan relevantes como la libertad de contratación o la libertad para fijar el contenido del contrato.
4. Contratación algorítmica y sistemas de reconocimiento de emociones
Cerró este bloque de contenidos Donato Matera, Profesor Ayudante de Derecho Privado de la Universidad LUM Giuseppe Degennaro de Bari, quien explicó que el reconocimiento de emociones es uno de los factores que de forma más relevante pueden condicionar la contratación, en cualquier ámbito de la actividad humana. Y es que, advirtió, hoy en día las máquinas nos pueden entender. Una circunstancia que puede tener consecuencias jurídicas en el momento de la contratación si se aplican herramientas como el reconocimiento facial u otras más sofisticadas deducibles a través de cualquiera de las muchas aplicaciones o dispositivos que utilizamos, como las horas de sueño que llevamos acumuladas o la distribución de nuestra casa.
Como destacó Matera, el ser humano está condicionado por sus emociones. Por eso el ordenamiento jurídico las ha tenido en cuenta a la hora de construir teorías como la del vicio del consentimiento. Y la propuesta de Reglamento de IA prevé que haya que informar al interesado de que se están empleando sistemas de reconocimiento de emociones.
La conclusión de esta regulación es que el reconocimiento de emociones de puede utilizar en la contratación, lo cual, a su vez, plantea no pocos problemas. Entre ellos, destacó Matera, los relacionados con la dignidad humana, la privacidad, o los relacionados con los derechos de los consumidores, en particular ante las posibles prácticas engañosas que merman o limitan la capacidad de elección y decisión de las personas. Todo lo cual se relaciona, a su vez, con el de la exactitud de los datos utilizados.
VII. INTELIGENCIA ARTIFICIAL Y DERECHO DE DAÑOS
1. ¿Son necesarias reglas especiales para los daños causados por sistemas de inteligencia artificial?
La última mesa del Congreso se dedicó al complejo tema de las soluciones jurídicas a los daños causados por los sistemas inteligentes y, en primer lugar, a si para ello son necesarias nuevas reglas. Un tema sobre el que María Luisa Atienza Navarro, Profesora Titular de Derecho Civil de la Universidad de Valencia, comenzó destacando que la IA no aumenta la siniestralidad. Puede provocar nuevos tipos de daños, dada su particular forma de trabajar, pero no aumentar su número o frecuencia.
El temor ante estas tecnologías obedece diversas causas, como la robofobia; los nuevos tipos de daños causados por estos sistemas complejos y autoprogramables, aunque a la vez vulnerables y, en tercer lugar, por una cultura de la reclamación que hace que siempre se espere una compensación por los daños sufridos, según el principio de la equivalencia funcional.
Y sobre la necesidad de nuevas normas para compensar los posibles daños causados, la profesora Atienza se refirió en primer lugar una postura minoritaria, según la cual son suficientes las normas tradicionaes, de responsabilidad por hecho ajeno y de equivalencia funcional, complementadas por la culpa in educando e in vigilando sobre los usuarios distintos del dueño.
El problema de esta postura es que, en el ámbito de la IA, resulta difícil identificar el hecho ajeno, ya que no se ha atribuido, por el momento, personalidad jurídica a las máquinas.
Otra línea doctrinal propone aplicar las reglas de los daños causados por animales, según un criterio de responsabilidad objetiva del proveedor, propietario o usuario del sistema.
El problema, en este caso, es el de la aplicación indiscriminada de las reglas de responsabilidad objetiva. El uso de una IA no convierte, por sí, a una actividad en anormalmente peligrosa.
Por eso, la corriente mayoritaria se inclina por crear un nuevo sistema de responsabilidad, en la línea de las recientes propuestas de la UE. En principio, estas propuestas se basan en la necesidad de armonizar las reglas europeas sobre responsabilidad civil, a fin de evitar que en cada Estado regule esta materia de una manera, perjudicando con la seguridad jurídica.
Sin embargo, la vía elegida, una Directiva sobre responsabilidad extracontractual por los daños causados por la IA, y la modificación de la Directiva sobre productos defectuosos, no parecen ser la mejor forma de armonizar la normativa de los Estados miembros.
Con carácter general, estas propuestas se limitan a introducir determinados mecanismos para facilitar la prueba de los demandantes. Estos mecanismos se concretan en la obligación de explicar cómo ha actuado el sistema de IA y en el establecimiento de una presunción de relación de causalidad entre el uso de la IA y el daño sufrido, en determinados supuestos.
Se trata, por todo ello, de una propuesta armonizadora de mínimos, que permite aplicar reglas más ventajosas por los diferentes estados menos.
En este futuro nuevo marco, el sujeto responsable no es el sistema inteligente, al que no se reconoce personalidad jurídica, siono el usuario o el proveedor. Es decir, se plantea una responsabilidad subjetiva basada en la culpa.
Por su parte, la aplicación de la normativa sobre productos defectuosos plantea una responsabilidad objetiva, con caucas de exoneración que no se pueden excluir. El problema en este caso surge al plantear cuándo aplicar una u otra normativa, pues no está claro. Además, también se plantean dudas en relación con su ámbito de aplicación, en particular con los sistemas de IA "fuerte" y con el de la legitimación activa.
2. Propuesta de Directiva sobre Inteligencia Artificial y Responsabilidad Civil. Trabajos previos
A continuación profundizó sobre ese tema Teresa Rodríguez de las Heras Ballell, Profesora Titular de Derecho Mercantil de la Universidad Carlos III de Madrid, quien explicó con brillantez las principales características de la normativa que se está elaborando. Para ello comenzó señalando que las reglas sobre responsabiliad por productos defectuosos han funcionado hasta ahora con naturalidad, porque se trata de un mecanismo ya conocido por los Estados miembros. Por tanto, la revisión que se ha propuesto trata de ampliar el sistema armonizado, incluyendo a la IA en su ámbito de aplicación y evistando la remisión a otra normativa.
Pero por lo que se refiere a los daños causados por la IA, en la propuesta de Reglamento europeo se aprecian determinadas lagunas, como la forma en la que ejercer una acción de responsabilidad en caso de incumplimiento. Por su parte, la propuesta de Directiva sobre responsabilidad extracontractual de los sistemas de IA aborda principalmente la armonización en materia de carga de la prueba, para adaptarse a las características de la IA.
LA propuesta de reforma de la Directiva actual, se caracteriza por ser una norma de mínimos, centrada en dos ámbitos concretos, las acciones de responsabilidad extracontractual civil por culpa, o por la acción, resultado u omisión de un sistema de IA. Todo ello poniendo sus definiciones en relación con la propuesta de Reglamento de IA.
Entrando en algunos aspectos concretos de esta propuesta, la profesora Rodríguez de la Heras explicó que el incumplimiento de la obligación de exhibición de pruebas implica la presunción de culpa del obligado. En cuanto a la carga de la prueba, se establece una presunción no irrebatible de relación de causalidad entre la culpa y el daño, pero atisbando una posible diferenciación según se trate de sistemas de alto riesgo o no.
Finalmente, señaló que si el sistema de IA se ha utilizado en el ámbito profesional del demandado, su exigencia de responsabilidad se limitará a los casos en que haya interferido sustancialmente en las condiciones de funcionamiento del sistema.
3. Product liability Directive proposal and AI
Finalmente, cerró este bloque Fabian Junge, Legal and Policy Officer, Digital Transformation of Industry de la Comisión Europea, quien, ahondando en lo expuesto en las ponencias anteriores, explicó que los fabricantes de sistemas de IA son responsables por todos los productos no seguros, sean estos tangibles o intangibles, lo que incluye el software y los servicios digitales. Esta responsabilidad alcanza a todo el ciclo de vida de los productos, incluyendo por ello sus posibles actualizaciones e incluso los aspectos relativos a la ciberseguridad. Por su parte, la pérdida o corrupción de datos se consideran daños materiales.
Sobre este tema, las nuevas propuestas mantienen la obligación de carga de la prueba, pero se facilita su práctica. De esta forma, los fabricantes de sistemas inteligentes están obligados a facilitar la información necesaria en juicio, con protección de sus secretos industriales.
Además, se establecen determinadas presunciones de relación de causalidad entre la causa y el daño causado, en los casos en los que no se facilite información por parte del fabricante; el producto no cumpla las exigencias de seguridad; el producto funcione obviamente mal; el daño sea típicamente consistente con el defecto apreciado o cuando la complejidad científica o técnica provoca excesiva dificultad para permitir probar la responsabilidad. Todo ello extendiendo, además, el plazo de prescripción de las reclamaciones por los daños causados por estos sistemas a los 15 años.
VIII. CONFERENCIA DE CLAUSURA. INTELIGENCIA ARTIFICIAL, PERSONALIDAD JURÍDICA Y RESPONSABILIDAD CIVIL
Cerró este intenso congreso el profesor Fernando Pantaleón Prieto, Catedrático de Derecho Civil. Universidad Autónoma de Madrid y Consultor de Uría Menéndez, con una charla magistral sobre responsabidad civil de los sistemas inteligentes y su posible resolución por medio de la atribución de una personalidad jurídica a estos sistemas.
En principio, Pantaleón señaló que los sistemas de responsabilidad objetiva se orientan a la cobertura de daños generales. Por medio de los mecanismos de culpa y negligencia se traslada un daño en el patrimonio del causante al de la víctima. Pero los peligros reales de la IA tienen que ver factores como la discriminación o el derecho a la verdad. Por eso no parece que haga falta un sistema de responsabilidad objetiva para la IA.
La Comisión Europea se mueve hacia una adaptación de la normativa actual a las características de opacidad y complejidad de la IA, aunque resulta difícil definir la etiología del daño y su autonomía, que aporta un importante elemento de incertidumbre.
Pero, advirtió, la reforma de la Directiva de productos defectuosos que se propone, va a dar lugar a una responsabilidad más objetiva que la de la propuesta de Reglamento presentada por el Parlamento Europeo en 2020. Y es que, en su opinión, la responsabilidad objetiva se aplica a actividades extraordinariamente peligrosas, por lo que resulta muy difícilmente explicable en términos de justicia conmutativa. Pero, a la vez, si se facilita la prueba, se rebaja ese concepto de extraordinario peligro, objetivándolo.
Por otra parte, al introducirse también los productos conexos, dentro del ámbito de aplicación, se amplía el ámbito de responsabilidad del fabricante. Si se presupone el defecto por el mero hecho de que el sistema ha funcionado mal, se objetiviza aun más el daño.
Finalmente, el profesor Pantaleón se refirió a la propuesta de atribución de una personalidad jurídica a los robots, señalando que el ámbito de la responsabilidad civil es el peor de los sitios para hablar de ello, salvo, añadió, que se esté pensando en limitar la responsabilidad de los fabricantes o usuarios de los sistemas de IA. En su opinión, solo en aquellos casos en los que la IA pudiese, por su capacidad autónoma, actuar como representante de una persona física, cabría admitir una personalidad jurídica limitada.
En su opinión, concluyó, lo peor de la propuesta que en este sentido formuló el Parlamento Europeo es que propone considerar la atribución de personalidad jurídica a los robots especialmente inteligentes, cuando la dignidad de la persona, que subyace a su personalidad, es independiente de su inteligencia. Algo que se aprecia también en una de las últimas reformas del Código Civil, la de la Ley 8/2021, por la que se reforma la legislación civil y procesal para el apoyo a las personas con discapacidad, que diluye los conceptos de capacidad jurídica y de obrar, “para proteger a aquellos de nosotros que, precisamente, tienen menos inteligencia artificial. Lo cual, nos honra”.