I. Introducción. Aplicación de algoritmos e inteligencia artificial en la actividad administrativa. Acotación del objeto de estudio
Así como la inteligencia artificial (en lo sucesivo, IA) se encuentra todavía en fases embrionarias de desarrollo, también el análisis de su impacto jurídico es todavía un tema en construcción. Aunque en cierto sentido la bibliografía disponible ya es notable (1) , estamos verdaderamente empezando a reflexionar sobre estas cuestiones. Se trata de una labor imprescindible.
Ahora bien, la ausencia –por el momento– de un marco normativo expreso no excluye la aplicación de reglas y principios generales del Derecho. Y la infracción de estos preceptos, en muchos casos de alcance constitucional, puede conllevar la anulación de decisiones, como ya está sucediendo en otros países y veremos más tarde.
En esta aportación pretendo advertir sobre una serie de exigencias que deben reunir las soluciones de IA implantadas para la toma de decisiones y que han de ser chequeadas y revisadas antes de proceder a su implantación: lo que podemos calificar como compliance de la IA. El análisis aborda en particular las exigencias que vinculan al sector público, pero la mayoría de estos requisitos son también predicables de los desarrollos de IA implantados en el sector privado para la toma de decisiones que afectan a derechos e intereses legítimos de terceros, como las que se adoptan en el ámbito laboral.
Para abordar este examen es preciso acotar previamente su objeto. Me referiré exclusivamente a soluciones de inteligencia artificial que afecten a derechos e intereses legítimos de los ciudadanos: en definitiva, que se utilicen en el marco de procedimientos administrativos como soporte a la toma de decisión. Por ejemplo, para elegir el universo de sujetos objeto de inspecciones; para otorgar subvenciones; para conceder el acceso a servicios públicos; e incluso, como se pretende plantear en algunos ámbitos, para la incoación automática de expedientes sancionadores. En este contexto, no solo son aplicables las exigencias en examen a decisiones enteramente automatizadas, en la que es verdaderamente el sistema quien las adopta; sino también, en cuanto que se utilice la IA a lo largo del procedimiento, como un elemento a considerar en la toma de decisión y cuyas determinaciones son en el fondo determinantes de su contenido.
No aludo, por tanto, a otros ámbitos más asépticos de aplicación de la IA, como por ejemplo, la implantación de sistemas de información administrativa (telefónicos o vía chat) automatizados; en materia turística, para analizar el origen de los viajeros y sus preferencias a fin de segmentar mercados y optimizar las actuaciones de promoción del sector; o incluso en otros ámbitos más cercanos a los intereses de los ciudadanos, pero que aún no impactan directamente en el ámbito de sus derechos e intereses legítimos, como la determinación mediante inteligencia artificial de la circulación en las calles o las rutas de transporte urbano, o el emplazamiento idóneo de servicios públicos (centros deportivos, hospitales, etc.).
II. Marco jurídico-administrativo general aplicable a la inteligencia artificial en el derecho español
1. La ausencia de regulación específica no impide la aplicación del marco constitucional y de la legislación básica
La IA y el uso de algoritmos son extraordinariamente útiles. Apoyo decididamente su empleo, que puede aportar importantes ventajas como demuestran ya muchos casos de uso (2) . Pero no se puede acudir a estas soluciones sin medir su impacto sobre los derechos constitucionales, así como preservando las reglas y principios que vinculan la actuación de las Administraciones públicas.
Se suele decir que la IA carece actualmente de un marco normativo específico, lo cual no es de extrañar: el Derecho es un instrumento de ordenación social, y se activa únicamente cuando aparecen problemas que merecen regularse. Por esta razón, el Derecho positivo, generalmente, va a remolque de la sociedad. Esta percepción es cada vez más evidente por lo que respecta a la IA, y algunos países han empezado a tomar cartas en el asunto (3) , así como se esperan importantes iniciativas regulatorias, como es el caso de la Unión Europea, a instancias tanto de la Comisión (4) como del Parlamento (5) .
Ahora bien, como venimos diciendo, hasta que se apruebe un marco normativo específico no significa que la IA sea una actividad al margen del Derecho. Existen principios y reglas generales –algunas de ellas de alcance constitucional– inequívocamente aplicables a la cuestión. La existencia de una laguna no supone ausencia de limitaciones jurídicas, sino la necesidad de integrar el Ordenamiento para determinar el régimen aplicable, siendo evidente que a toda actividad administrativa formalizada se le aplica el marco constitucional y la legislación básica en materia de procedimiento administrativo común y régimen jurídico del sector público.
2. El artículo 41 LRJSP
El principal precepto que establece actualmente determinaciones específicas en relación con la inteligencia artificial en nuestro Derecho, incorporando técnicas de control, es el art. 41 de la Ley 40/2015, de 1 de octubre, de régimen jurídico del sector público (LRJSP) (LA LEY 15011/2015), relativo a la actuación administrativa automatizada, desarrollado por el art. 13 del RD 203/2021, de 31 de marzo, por el que se aprueba el Reglamento de actuación y funcionamiento del sector público por medios electrónicos (LA LEY 6540/2021) (6) . No entro aquí en su análisis detallado, para el que siguen siendo de valía los trabajos de Martín Delgado y de Uríos y Alamillo (7) ; tan solo abordo lo que se refiere a los instrumentos de control (compliance) de la inteligencia artificial. En ese aspecto hemos de hacer dos importantes apreciaciones.
La primera es que el art.41 LRJSP (LA LEY 15011/2015) no sólo resulta aplicable a la toma directa de decisiones mediante procesos automatizados, es decir, a resoluciones definitivas de los procedimientos: en la medida que se refiere a «cualquier acto o actuación [realizado] en el marco de un procedimiento administrativo», también se incluyen en su ámbito de aplicación los actos o actividades que se integran en un procedimiento administrativo para coadyuvar a la toma de decisiones, es decir, elementos que son ponderados para la resolución final del procedimiento e influyen en su contenido.
En segundo lugar, el art.41 LRJSP (LA LEY 15011/2015) no establece directamente que deba existir una supervisión y auditoría del sistema (a las que en lo sucesivo aludiremos); pero sí indirectamente, en la medida que dispone que, antes de implantar la actuación administrativa automatizada, se debe determinar «el órgano u órganos competentes para (…) la supervisión y control de calidad y, en su caso, auditoría del sistema de información y de su código fuente». Por tanto, aunque la norma establezca oblicuamente esta exigencia, si ha de existir un órgano que realice estas funciones, es obvio que estas funciones se deben realizar, y por tanto resulta indudable la exigencia de que los sistemas que utilicen actuaciones automatizadas dispongan de instrumentos de 1) supervisión y control de calidad y 2) auditoría del sistema de información y de su código fuente. En esta misma opinión se mueven Alberto Palomar Olmeda (8) y Remedios Gómez Padilla (9) .
La supervisión del sistema y su auditoría son, por tanto, el primer y muy relevante mecanismo de control que debe existir sobre la inteligencia artificial en el sector público. Dedicamos a esta relevante cuestión atención específica, debido a su importancia para el compliance de implantación de soluciones de inteligencia artificial.
III. Supervisión, control de calidad y auditoría del sistema
El art.41 LRJSP (LA LEY 15011/2015) menciona expresamente la necesidad de que los sistemas de soporte a la actividad automatizada estén sometidos a supervisión, en sentido distinto y adicional a la auditoría, que se menciona aparte y expresamente. Entendemos por ello que «supervisión» y «auditoría» no son estrictamente lo mismo, erigiéndose en dos elementos concurrentes –y no alternativos o excluyentes– de control del sistema.
1. Necesidad de supervisión humana
En cuanto a la supervisión, entiendo que con este término se alude a una exigencia repetidamente reclamada o recordada en la doctrina y en el soft law: la necesidad de que los sistemas basados en IA estén sujetos a supervisión humana.
En efecto, esta es una de las premisas sobre las que descansa la Comunicación de la Comisión Generar confianza en la inteligencia artificial centrada en el ser humano, COM (2019)168, de 8 de abril (p. 4), insistiendo posteriormente en la misma idea con ocasión del Libro blanco de la UE sobre la inteligencia artificial (citado, p. 11). También el Parlamento Europeo se ha hecho eco de ello en sus resoluciones citadas. Es lo que el Juli Ponce Solé llama «reserva de Humanidad» (10) .
En efecto, las máquinas no piensan como nosotros. No son racionales, o al menos, no razonan como los seres humanos. Una deficiente selección de los bancos de datos o de su programación puede inducir a sesgos (es decir, discriminación; aspecto sobre el que volveremos más tarde). Pero además, pueden producirse fallos inesperados. La máquina tiene su manera de pensar (obedece a una lógica en la que no siempre nos es fácil sumergirnos), y es posible que los parámetros que le hayamos suministrado sean erróneos para esa forma de razonar, no permitan a la máquina interpretar adecuadamente las circunstancias y conduzcan a la adopción de decisiones absurdas o descabelladas.
Como ejemplo plástico de ello puede recordarse lo que sucedió en un partido de fútbol de la liga escocesa el pasado verano: para evitar los contagios por COVID-19 se programaron las cámaras de televisión mediante inteligencia artificial, de modo que no tenía que haber operadores humanos en el recinto. Pero nadie contó con que un linier sería completamente calvo. El sistema estaba adiestrado para seguir a un objeto liso y esférico. Y los espectadores se pasaron la retransmisión viendo a linier correr por la banda. El sistema hizo simplemente aquello para lo que estaba programado. Y no había ningún humano al mando para corregir la situación. Así que la experiencia acabó en desastre (por no decir en ridículo).
Es un caso grotesco, pero sin mayor importancia, porque no afecta a derechos e intereses legítimos de los ciudadanos. Cuestión distinta es cuando se trata del tipo de actividades que son objeto de interés para este trabajo: las que afectan a derechos e intereses de los ciudadanos. Para evitarlo –al menos en lo posible– se exige que los sistemas de IA dispongan de supervisión humana.
Esta supervisión humana no se circunscribe al momento inicial de implementación de la solución de IA: debe proyectarse sobre todas las fases de su ciclo de vida. Concretamente, debe tener lugar 1) Con ocasión del diseño del sistema (parámetros de configuración); 2) Verificando su correcto funcionamiento –mediante pruebas y pilotos– antes de su entrada en servicio y aplicación efectiva a casos reales; y 3) Revisando periódicamente el funcionamiento del sistema, actualizando y perfeccionando los datos de que se nutre y observando los resultados para evitar desviaciones (=sesgos=discriminación).
2. Integración de juristas. Implicaciones jurídicas fundamentales
En el contexto de esta supervisión humana, debo llamar concretamente la atención sobre la necesidad de que se configure un equipo multidisciplinar en el que tengan participación juristas especializados en la materia. En efecto, como advierte Fernanda Viègas, diseñadora de Google, en suplemento Retina de El País, de 01/01/2021, «No puede ser el ingeniero quien (exclusivamente) diseñe el algoritmo».
Los técnicos intentarán hacer el mejor trabajo posible desde el punto de vista técnico. Pero no tienen por qué atender a la vertiente jurídica. Si la ejecución del encargo se confía exclusivamente a técnicos (ingenieros, informáticos, matemáticos), ellos realizarán excelentemente su trabajo; pero el resultado no tiene por qué ajustarse a los condicionantes jurídicos que concurren en el desarrollo de soluciones de inteligencia artificial
Por consiguiente, en ese equipo técnico multidisciplinar y humano que realice las funciones de supervisión y control de los desarrollos de IA deben integrarse juristas. A continuación destaco dos implicaciones jurídicas fundamentales que deben ser revisadas por estos especialistas en el marco de la supervisión humana previa a la implantación de soluciones de IA, por su particular afección a los derechos fundamentales:
A) Igualdad y no discriminación
Uno de los principales problemas que puede acarrear la IA es incurrir en sesgos. Por ejemplo, Zhao y otros (11) explicaron hace ya tiempo cómo una de las formas habituales de aprendizaje de los algoritmos (por asociación de imágenes), no solo resultaba en sesgos discriminatorios de género, sino que además el autoaprendizaje del sistema acababa amplificando el sesgo originario (12) . Por ofrecer otro ejemplo, el pasado verano el Gobierno británico implantó un algoritmo alternativo a los exámenes de selectividad que acabó siendo retirado ante las manifestaciones y protestas que tuvieron lugar por los sesgos (discriminatorios) en que incurría su aplicación (13) .
El problema es que estas desviaciones pueden no ser inocuas desde el punto de vista legal, incurriendo en infracción del principio constitucional de igualdad (art. 14 CE (LA LEY 2500/1978)), lo que supone un vicio de alcance invalidante.
Así, el Tribunal de Distrito de La Haya pronunció una sentencia el 5 de febrero de 2020 (ECLI:NL:RBDHA:2020:865), comentada, entre otros, por Lorenzo Cotino Hueso, mediante la que anuló una elaboración de perfiles para la lucha contra el fraude implantada por el Gobierno holandés que únicamente se utilizó en los calificados como «vecindarios problemáticos», concluyendo el Tribunal que ese criterio puede provocar exclusión, discriminación y estigmatización injustificadas. Desde 2013, 26.000 familias fueron injustamente acusadas de fraude y obligadas a devolver las subvenciones que recibieron. El impacto de este asunto ha sido tan alto, que acabó forzando la convocatoria de elecciones en Holanda. Es un importante precedente a considerar: perder de vista el enfoque jurídico en la implantación de desarrollos de IA no solo puede conducir a la anulación de actuaciones administrativas, sino desatar además importantes crisis políticas.
Hay muchos trabajos relativos al enfoque estrictamente jurídico de la discriminación en que puede incurrir la IA; remito, por todos, a la reciente aportación de Alba Soriano y las referencias que cita (14) .
B) Protección de datos
El aprendizaje de los algoritmos y la IA está esencialmente basado en el manejo de big data. Esto expone a infracciones de la estricta normativa de protección de datos.
En esta cuestión, afortunadamente, existen herramientas elaboradas por la AEPD con las que efectuar el compliance: en febrero de 2020: «Adecuación al RGPD de tratamientos que incorporan Inteligencia Artificial. Una introducción». Y más recientemente, febrero de 2021, «Requisitos para auditorías de tratamientos que incluyan inteligencia artificial».
3. Auditoría del sistema
La implantación de una auditoría del sistema de IA también se encuentra prevista por el art.41 LRJSP (LA LEY 15011/2015). Ahora bien, así como la IA es una metodología en desarrollo, sucede lo mismo con otras ciencias circundantes, y eso mismo sucede con sus instrumentos de auditoría.
En efecto, como destaca James Bone (15) en «Auditoría de Inteligencia Artificial» (31/07/2020), aún no parecen claros los parámetros mediante los que desplegar la auditoría de algoritmos e IA. No obstante, comienzan a emerger iniciativas relevantes.
Por ejemplo, la Corte de Auditoría de Holanda ha hecho pública en febrero de 2021 una metodología para la auditoría de algoritmos: Understanding algorithms; una iniciativa interesante (16) . El propio Bone ofrece algunas pautas a tener en cuenta por los auditores de sistemas de IA. Habrá que seguir profundizando en la cuestión, pues lo que no cabe es desistir de la implantación de estas auditorías.
IV. Transparencia: publicidad activa y derecho de acceso
Una de las exigencias más extendidas en relación con la implantación de desarrollos de IA es la necesidad de difundir públicamente los elementos clave del sistema. Sin embargo, considero, al igual que Remedios Gómez Padilla, que ni el art. 39 LAECSP (LA LEY 6870/2007) ni el art.41 LRJSP (LA LEY 15011/2015) obligan a publicar previamente la aprobación de la aplicación y sus características (17) .
En relación con la publicidad activa (que exigiría publicar el código fuente, como control ex ante), no tengo claro el anclaje de esta exigencia en nuestra legislación sobre transparencia. Se debe identificar un precepto que se refiera a los algoritmos o al uso de la inteligencia artificial en la Ley 19/2013, de 9 de diciembre, de transparencia, acceso a la información pública y buen gobierno (LA LEY 19656/2013). La respuesta podría venir de la mano de la identificación de la naturaleza jurídica del algoritmo: ¿El algoritmo es un reglamento? Podría parecer que se trata de una discusión puramente teórico-especulativa, en la que disponemos de las posiciones encontradas (y sólidamente fundamentadas, cada una en su lógica) de Andrés Boix y Alejandro Huergo (18) . Sin embargo, tiene consecuencias prácticas, indudables en la cuestión en examen: si sostenemos que es un reglamento, ha de someterse a ciertas garantías de procedimiento, y en particular, al deber de publicidad activa, pues conforme al art. 7 LTBG, se publicarán en el portal de transparencia «Los proyectos de Reglamentos cuya iniciativa les corresponda». Si el algoritmo es un reglamento, está claro que deberá hacerse público por imperativo de esta disposición; pero si no es un reglamento, la exigencia no parece tan clara. El problema es que la determinación de lo que sea o no un reglamento no es una cuestión en modo alguno pacífica. Existe toda una polémica al respecto, no solo en España, sino en el Derecho comparado. De otro lado, desde el punto de vista de la LTBG, la infracción de la exigencia de publicar este dato no acarrearía consecuencias sobre las decisiones basadas en algoritmos o inteligencia artificial (no determinaría su invalidez) y no es susceptible de imposición de sanciones. Por el contrario, la omisión de publicación de un reglamento determinaría su ineficacia, haciéndolo insusceptible de aplicación, y dejando abierto sine die el plazo de recurso contencioso-administrativo directo contra sus contenidos. Por otra parte, de cara a la protección de secretos comerciales e industriales, Dolors Canals postula que, en lugar de una publicación en abierto, las empresas especializadas creen un repositorio que permita el acceso restringido al código fuente exclusivamente por operadores cualificados (especialmente, la jurisdicción contencioso-administrativa), para poder desplegar su control (19) .
A mi juicio, más recorrido tiene la transparencia en su vertiente de derecho de acceso (arts. 12 ss. LGTB). Por esta vía de control ex post sí se puede instrumentar, indudablemente, un mecanismo para conocer la información. Y por tanto, entiendo, al igual que defienden unívocamente todas las aportaciones al respecto, que la Administración debe disponer de esta información y facilitarla a quien la requiera. Ahora bien, no se nos puede pasar por alto que, en relación con esta dimensión, juega también el deber de motivación de los actos administrativos, en los casos en que es preceptivo, una cuestión hasta cierto punto conectada con la transparencia sobre la que volveremos después, y que, a mi juicio, constituye un instrumento mucho más poderoso de control, puesto que se debe satisfacer de oficio por la Administración al dictar resoluciones sustentadas en algoritmos e inteligencia artificial, sin quedar supeditada a una petición expresa en el marco del derecho de acceso; petición que, por otra parte, en caso de incumplimiento, no tendría consecuencias respecto de la validez del acto administrativo, a diferencia de la omisión de motivación, que sí produce esos efectos invalidantes. Simplemente dejamos consignado ahora que el derecho de acceso exige una actuación activa por parte del interesado, mientras que enfocada la exigencia desde el prisma del deber de motivar, se proyecta esa actitud sobre la Administración: derecho de acceso es posibilidad de obtener, mientras que motivación es deber de dar.
V. Procedimiento administrativo y derecho a la buena administración. En particular, la necesidad de motivar los actos administrativos basados en algoritmos e inteligencia artificial
El ajuste de la aplicación de IA al principio de buena administración (y sus consecuencias) es un lugar común en toda la literatura recaída hasta la fecha (20) , y uno de los aspectos destacados por el informe Artificial Intelligence and Fundamental Rights, de la Agencia de los Derechos Fundamentales de la Unión Europea (2020, pp. 81 ss), que remite esencialmente al art. 41 de la Carta de Derechos Fundamentales de la UE (LA LEY 12415/2007), en el que se desarrolla este principio. Este precepto contiene garantías clásicas en nuestro derecho interno, que tradicionalmente hemos agrupado bajo la denominación conjunta de «principio contradictorio» y «derecho a la defensa», tanto en la vía administrativa como en la judicial. Sin desmerecer otras determinaciones del precepto, nos centramos en un concreto requisito que resulta crucial para nuestro interés: la exigencia de motivación de los actos administrativos.
En otro lugar me he ocupado ampliamente de la cuestión (21) , que sintetizo aquí en sus elementos esenciales.
1. La exigencia de motivar los actos administrativos basados en algoritmos o inteligencia artificial: marco general
El artículo 35 de la Ley 39/2015, de 1 de octubre, de procedimiento administrativo común de las Administraciones públicas (LA LEY 15010/2015) (LPAC (LA LEY 15010/2015)), establece que toda una batería de actos administrativos deben encontrarse motivados: entre otros, los que limiten derechos e intereses legítimos (en este caso, el Tribunal Constitucional tiene establecido que la motivación no es solo una elemental cortesía, sino un riguroso requisito del acto restrictivo de derechos: SSTC 26/1981 (LA LEY 214/1981), 8/1992 (LA LEY 1854-TC/1992), 52/1995 (LA LEY 13052/1995) y 46/2014 (LA LEY 38455/2014)), los que se separen del criterio seguido en actuaciones precedentes, los que se dicten en ejercicio de potestades discrecionales… La amplitud de estos supuestos determina que prácticamente todos los actos administrativos deban motivarse: así lo defiende Rocío Navarro González (22) ; y yo mismo he apuntado (23) que en este momento la cuestión no es ya determinar qué actos deben motivarse, sino cómo y cuánto se deben motivar los actos administrativos.
Recordemos, a los solos efectos de centrar la cuestión, que la motivación es una exigencia meramente formal: la necesidad de que en el propio acto administrativo consten (siquiera sea sucintamente) las razones por las que se dicta. No se trata, por tanto, de que existan motivos para dictar el acto: sino de que esos concretos motivos sean transparentes y visibles, que se hagan constar en el propio acto. No constituye una garantía material o de fondo, sino formal, aunque la exigencia de motivar se establezca para dar soporte a un derecho material como el de no padecer indefensión (más adelante volveremos sobre este punto). En cuanto que requisito de los actos administrativos la motivación se encuadra en su elemento formal.
Aunque en otros países ya se ha establecido que las decisiones basadas en algoritmos deben contar con la correspondiente motivación (24) , nuestro Derecho no dice expresamente en ninguna parte que los actos dictados mediante algoritmos o IA deban motivarse. Porque no hace falta. Ya establece el artículo 35 LPAC (LA LEY 15010/2015) todos los actos que deben motivarse, sin necesidad de especificar su soporte o el proceso mediante el que se dictan. No se establece en ninguna parte una excepción para actos basados en algoritmos o IA y, por tanto, tal excepción no existe. El problema reside entonces en determinar cómo deben motivarse estos actos, no en discutir si deben motivarse o no.
La falta de motivación es una de las causas en las que se sustentó la sentencia del Tribunal de Distrito de La Haya a la que ya hemos aludido, y también las del Consejo de Estado italiano que citaremos después. Esta exigencia también ha sido específicamente destacada por el informe Artificial Intelligence and Fundamental Rights, de la Agencia de los Derechos Fundamentales de la Unión Europea (2020, p. 81), encuadrándolo en el derecho a la buena administración reconocido en la Carta Europea de los Derechos Fundamentales, que menciona expresamente la necesidad de motivar los actos administrativos [artículo 41.2 c)].
La importancia de la motivación de las actuaciones automatizadas ya ha sido especialmente puesta de manifiesto por Martín Delgado (25) , Uríos y Alamillo (26) , Navarro González (27) , Berning Prieto (28) y Cerrillo Martínez (29) , señalando la esencialidad de la programación, y de su público conocimiento, en orden a satisfacer este requisito (30) .
2. Alcance de la exigencia y modo de articulación
Estamos haciendo referencia a decisiones que directa o indirectamente se fundamenten en procesos algorítmicos o inteligencia artificial. En tal caso, la explicación de por qué se ha dictado el acto reside en el instrumento mediante el que se emite la decisión o en el que la misma se sustenta: es el proceso lógico que conduce a adoptar el acto. La motivación, en este tipo de actos, es necesariamente la explicación transparente (aunque pueda ser sucinta), en el propio acto o en algún otro medio a disposición del interesado, del proceso lógico que conduce a la adopción del acto. Se trataría, esencialmente, de la programación del algoritmo, puesta a disposición de los destinatarios del acto, para que puedan verificar su adecuación a Derecho. Conocer los criterios con los que se ha programado la toma de decisión (o uno de los elementos en los que se apoya) es crucial para determinar si se ha incurrido en un sesgo de alcance discriminatorio (31) , o más sencillamente, si los criterios en cuestión son objetivos y no incurren en la arbitrariedad proscrita por los artículos 9.1 (LA LEY 2500/1978) y 103.2 CE. (LA LEY 2500/1978)
En particular, Uríos y Alamillo consideran (32) que la exigencia de motivación supone en este caso «la necesidad de codificar y poder reconstruir, para cada caso singular, las reglas lógicas —ya hemos visto que en una aproximación híbrida, con la aplicación de un método integrado por la lógica de predicados de primer orden, por las lógicas modales, deóntica y refutable aplicables, y por la lógica descriptiva en cuanto a la representación del dominio de conocimiento jurídico— que han sido aplicadas en el acto administrativo automático singular». Como se ve, no se trata tanto de ofrecer una explicación en lenguaje natural, sino de disponer de los medios e instrumentos necesarios para poder justificar adecuadamente los criterios y procesos mediante los que el sistema toma la decisión. Tampoco se alude necesariamente al código fuente, cuyo conocimiento puede ser a menudo decisivo, pero no puede olvidar otros elementos de necesaria consideración. Por ejemplo, desde el momento en que el aprendizaje (y la decisión) del algoritmo se realiza mediante procesamiento de big data, resulta crucial conocer los bancos de datos seleccionados y ofrecidos al sistema.
En este sentido, el Consejo de Estado italiano (equivalente a la Sala de lo Contencioso-Administrativo de nuestro Tribunal supremo), ya ha tenido ocasión de pronunciarse sobre la exigencia de motivación de actuaciones administrativas basadas en algoritmos en dos sentencias que anulan decisiones administrativas que incumplen este requisito. Se trata de las sentencias núm. 2270, de 8 de abril de 2019; y la núm. 8472 de 13 de diciembre de 2019. En esta última se exige, como requisito para la aplicación de algoritmos (33) , el «pleno conocimiento del módulo utilizado y de los criterios aplicados», así como que «este conocimiento del algoritmo debe garantizarse en todos los aspectos: desde sus autores hasta el procedimiento utilizado para su elaboración, el mecanismo de decisión, las prioridades asignadas en el procedimiento de evaluación y toma de decisiones y los datos seleccionados como relevantes (…) a fin de poder verificar que los criterios, condiciones y resultados del procedimiento robótico cumplen con las prescripciones y las finalidades establecidas por la ley o por la propia administración sobre dicho procedimiento y para que queden claras —y, por lo tanto, sean cuestionables— las modalidades y reglas a partir de las que se haya programado».
Por otra parte, el requisito de la motivación no exige estrictamente que ésta se consigne en el propio acto administrativo. El artículo 88.6 LPAC (LA LEY 15010/2015) dispone que «La aceptación de informes o dictámenes servirá de motivación a la resolución cuando se incorporen al texto de la misma»; es lo que se conoce como motivación in alliunde, o por remisión. Ciertamente el precepto restringe ese modo de articular la motivación a la existencia de informes y dictámenes, que además se incorporen al texto del propio acto administrativo; pero la jurisprudencia es más flexible, admitiendo otras formas de motivar, siempre que se permita de alguna manera al interesado conocer suficientemente las razones en las que se ha basado la decisión (34) .
En ese escenario, el propio acto administrativo dictado en aplicación de algoritmos o IA no tiene que incorporar necesariamente los pormenores de la programación del sistema ni la acreditación de su verificación de adecuado funcionamiento, pero sí debe suministrar información suficiente para que el interesado pueda localizar y obtener esos datos, o bien haber dispuesto de ellos durante la tramitación del procedimiento administrativo, constando en el expediente o en otras fuentes de información a su alcance.
3. Límites al empleo de algoritmos derivados de la exigencia de motivación
Cuando la decisión se base en un algoritmo inteligente, que evoluciona en su aprendizaje y decisiones mediante procesos que ignoramos y no somos capaces de explicar, parece claro que no nos resulta cabalmente posible ofrecer una motivación suficiente del acto administrativo: no podría verificarse que se dictó con criterios objetivos y sin incurrir en arbitrariedad.
El caso se puede producir en diferentes tecnologías de inteligencia artificial derivadas del machine learning: en particular, el deep learning, y los algoritmos de caja negra, es decir, sistemas que aprenden por sí solos y cuyo proceso lógico realmente ignoramos, sin que lleguemos a saber por qué optaron por una determinada decisión (sobre estos últimos, sostiene Ansgar Koene que no resulta posible determinar si la decisión que tomó el algoritmo es justa o no (35) ).
Para defender la aplicación de estos algoritmos podría afirmarse que siempre sería posible conocer y difundir pública y conscientemente la programación del proceso, parametrizada (esta sí) con criterios objetivos y transparentes, y aceptando que la decisión (finalmente impredecible y por ello no completamente explicable) la tome la máquina. Es decir, que la motivación en este caso consistiría en explicar el proceso y reconocer abiertamente su impredecibilidad, pero aceptando como premisa de partida que la programación del algoritmo es acertada.
A mi juicio, esto podría superar el listón de la motivación, pero no rebasaría otros diferentes, como el de la objetividad de la decisión: ¿cómo podemos afirmar que es objetiva una decisión que no sabemos por qué se toma, aunque sepamos cómo se toma? Desde el plano técnico se puede objetar que cabe evitar los sesgos discriminatorios mediante una adecuada selección de los datos utilizados para la programación del sistema: si esos bancos de datos no incurren en sesgos, tampoco lo haría el sistema que los utilice. El problema, como ya indiqué más atrás, es que las máquinas no razonan como los humanos, y criterios de programación que no tendrían que parecernos sesgados, son interpretados por el sistema induciendo a tales sesgos. Si la programación es transparente, podremos corregir el sesgo; pero si se articula mediante algoritmos de caja negra, no parece posible hacerlo, o cuando menos, sólo se podría corregir la desviación tras un período suficiente de aplicación del sistema y posterior auditoría y supervisión de sus resultados.
Cuando no resulta posible conocer verdaderamente el funcionamiento del algoritmo, el resultado será la incursión en un vicio susceptible de impugnación, y una eventual anulación judicial de la actuación basada en su funcionamiento. Así acaba de suceder en Italia, en una sentencia relativa a los riders (ciclistas) de Deliveroo: Sentencia del Tribunal Ordinario de Bolonia de 31/12/2020 (36) . Aunque se trata de un pronunciamiento relativo a empresas privadas y no a la Administración pública, es evidente su clara identidad con el problema que analizamos. Y sirve, además, para avalar la advertencia (que ya hicimos inicialmente) de que los requisitos en examen son generalmente aplicables también al sector privado.
4. El incumplimiento del requisito supone indefensión y determina un vicio de invalidez de los actos
El fin de la motivación (o, al menos, el más importante de ellos), es habilitar el derecho a la tutela judicial efectiva de los sujetos cuyos derechos e intereses legítimos puedan verse afectados por la decisión. Solo podemos rebatir un acto administrativo si sabemos por qué se ha dictado. La falta de motivación suprime un elemento clave de control e impide verificar la adecuación a Derecho del acto administrativo.
También Uríos y Alamillo consideran que la omisión de motivación (en los términos expuestos) representa un vicio de invalidez de las decisiones administrativas automatizadas (37) . Debemos extrapolar esa conclusión a las decisiones adoptadas mediante algoritmos e IA, como ha hecho Julián Valero (38) .
La jurisprudencia contencioso-administrativa ha establecido que los actos administrativos carentes de motivación (cuando ésta es preceptiva) generan indefensión (SSTS 1198/2019, de 19 de septiembre (LA LEY 131898/2019); 198/2019, de 19 de febrero (LA LEY 9702/2019); y 10/5/2000, rec. 5.760/1995 (LA LEY 9836/2000), entre otras muchas). Pero además, cuando se encuentra en entredicho un derecho fundamental (derecho de reunión, procedimientos sancionadores), la exigencia de motivación tiene alcance constitucional (SSTC 26/1981 (LA LEY 214/1981), f.j. 14; 236/2007 (LA LEY 165999/2007), f.j. 12; 17/2009 (LA LEY 1148/2009), f.j. 2; y 46/2014 (LA LEY 38455/2014), f.j. 4, entre otras muchas), por lo que determina un vicio de nulidad radical o de pleno Derecho [artículo 47.1 a) LPAC (LA LEY 15010/2015)].
Por tanto, debo insistir en la posición de que, aun cuando actualmente no exista un precepto que exija la motivación de los actos administrativos sustentados en algoritmos o IA, tal requisito es inequívocamente predicable en los supuestos establecidos con carácter general por el artículo 35.1 LPAC (LA LEY 15010/2015); y que, en tales supuestos, la omisión del requisito determina un vicio de invalidez del acto, susceptible de impugnación en vía administrativa y contencioso-administrativa.
Entre nosotros carecemos de jurisprudencia que avale estas afirmaciones, pero en el Derecho comparado contamos con los precedentes citados del Tribunal de Distrito de La Haya y, sobre todo, del Consejo de Estado italiano. Quiero creer que por esos mismos cauces discurrirán en su día nuestros propios tribunales cuando se les presente ocasión para ello.
VI. Compliance (o cumplimiento normativo) y análisis de impacto de desarrollos de inteligencia artificial para la toma de decisiones administrativas
A la vista de lo anterior, debemos resaltar la necesidad de que, antes de implantar soluciones de IA en las Administraciones públicas, se proceda a un cribado que garantice el cumplimiento de todos los requisitos expuestos.
Con un enfoque más amplio, viene hablándose también de la necesidad de un análisis de impacto (impact assessment) previo a la implantación de soluciones de IA en el sector público. Es el caso del informe preparado por Reisman y otros para el AInow Institute de la Universidad de Nueva York; o los trabajos de Moss y otros (2020) (39) , y de Kazim y otros (2021) (40) . Es más, el Gobierno de Canadá ya ha implantado una herramienta (la Algorithmic Impact Assessment Tool), en el marco de su Directiva de Decisiones Automatizadas (41) . Por su parte, Malta ha implantado un sistema voluntario de certificación de IA (42) . Entre nosotros, algo parecido viene reclamando Alexander Zlotnik (43) .
Son técnicas que también han sido implementadas por el sector privado, como es el caso de Facebook o Google (44) . Más allá de la voluntad de preservar los derechos de los usuarios de sus servicios, existe un indudable interés por potenciar la implantación de estas herramientas para evitar el daño reputacional que podría producir cualquier decisión judicial o de los supervisores de protección de datos que declarase ilícito algún sistema de IA implantado por estas compañías.
Estas herramientas centran especialmente su enfoque en la preservación de la legislación de protección de datos (45) , aspecto que hemos abordado más atrás, informando de las herramientas que ha suministrado la AEPD para llevar a cabo este análisis de impacto en las coordenadas de nuestro Ordenamiento jurídico. Pero como he advertido a lo largo del trabajo, existen otras exigencias de inexcusable consideración que determinan la eventual ilicitud de los desarrollos de IA, y que deben ser adecuadamente revisadas antes de su entrada en funcionamiento.
En mi opinión, el compliance o verificación de cumplimiento normativo previo a la implantación de desarrollos de IA en las Administraciones públicas debe tomar en consideración los siguientes aspectos:
- 1. Evitar que se incurra en sesgos (discriminación) y, en definitiva, que se vulnere el derecho fundamental a la igualdad. A este fin es de gran importancia la calidad y cantidad de los datos suministrados al sistema.
- 2. Asegurar que se preserve el régimen de protección de datos personales.
- 3. Articular la explicabilidad del algoritmo, su inteligibilidad, y prever el mecanismo o instrumento mediante el que se podrá difundir esa explicación, si fuera necesario (conexión con motivación). Si ello exige que la Administración deba disponer del código fuente, en el caso de que el desarrollo de IA se externalice tendrá que prever todo ello en las condiciones de contratación.
- 4. Garantizar que se lleve a cabo la auditoría del sistema, con carácter periódico; y asegurar que quedan instrumentos de constancia de que se lleva a cabo esa auditoría de sistema, conservándolo en el expediente (preconstitución de la prueba).
- 5. Garantizar que tenga lugar la supervisión humana del sistema, y que se lleve a cabo mediante equipos multidisciplinares en los que se integren juristas.
Ese control jurídico ha de darse:
- 1. Durante el diseño y programación del algoritmo o sistema de IA.
- 2. En los controles que verifiquen su funcionamiento, tanto al momento de implantarse, como a lo largo de su ciclo de vida, con carácter periódico.
Cuando se proceda a implantar un desarrollo de IA en la Administración pública que no satisfaga estos requisitos, el riesgo que se corre es el de impugnación de las decisiones cuya adopción se haya basado en tal sistema, y como hemos comprobado (por lo acontecido en otros países), esto no solo lleva a la estimación de los recursos y a la anulación de decisiones, sino a un grave daño reputacional de la Administración y del Gobierno, generándose una apreciable conflictividad y reivindicación social que ha llegado incluso a provocar la caída de un Gobierno europeo.
Para la exigencia de estos requisitos no es necesario dictar una norma. Como hemos comprobado, son exigencias que dimanan ya del Derecho vigente. Ahora bien, para mayor claridad y seguridad jurídica, sería deseable la aprobación de un marco jurídico específico para la IA, tanto en el sector público como en el privado, al modo en que se ha hecho en algunos países.
VII. Adenda: la propuesta de la Comisión Europea de Reglamento sobre un enfoque europeo para la inteligencia artificial
Una vez entregado este texto para su publicación se ha conocido el proyecto de normativa que acaba de plantear la Comisión Europea en ejecución del Libro blanco al que aludíamos en el apartado II.1 (nota 4) de este trabajo. El documento, accesible aquí, es una «Propuesta de Reglamento del Parlamento Europeo y el Consejo estableciendo reglas armonizadas sobre inteligencia artificial (Ley de inteligencia artificial) [sic] y modificando determinados actos legislativos de la Unión» (en lo sucesivo, «el Reglamento». Esta propuesta de Reglamento, en cuyo análisis no podemos entrar detalladamente y del que se encuentran disponibles algunos resúmenes (46) , confirma la necesidad de llevar a cabo un análisis de cumplimiento normativo de desarrollos de IA.
El Reglamento establece una categorización de las soluciones de IA, diferenciando entre las que se declaran de riesgo inaceptable artículo 5 que se prohíben, las de alto riesgo artículo 6; detalladas en el Anexo III, las de riesgo limitado y las de riesgo mínimo. Las más relevantes a efectos del compliance son las de alto riesgo, por cuanto que el propio Reglamento establece la necesidad de que tales desarrollos de IA satisfagan una serie de exigencias, de diverso carácter, muchas de las cuales hemos puesto de manifiesto aquí: supervisión humana, respeto de los derechos fundamentales, explicabilidad del funcionamiento del sistema... Entre los sistemas calificados como de alto riesgo se encuentran los que se implanten en áreas como la idenfificación y categorización biométrica de las personas físicas, la gestión y operación de infraestructuras críticas (tráfico, agua, gas, electricidad), el acceso a instituciones de enseñanza, el empleo (acceso o cese), acceso y disfrute de servicios públicos... La necesidad de verificar el cumplimiento normativo de los sistemas de IA de alto riesgo, y de acreditar esta verificación, impregna intensamente el Reglamento, siendo particularmente destacables los artículos 8 y 40 y ss., que regulan pormenorizadamente tanto los aspectos a verificar, como la manera de acreditarlo.
Dado que se trata de un proyecto, lo que corresponde ahora es advertir de su próxima aprobación y entrada en vigor, a partir de cuyo momento será vinculante. Pero interesa a los operadores que apliquen IA tener bien presentes sus determinaciones, para conocer los aspectos requeridos de compliance y alinearse ya con ellos, toda vez que condicionarán decisivamente la implantación de soluciones de IA en el futuro.
Todo lo cual no evita la necesidad de que esa verificación de cumplimiento normativo tenga lugar actualmente, en lo que se refiere a los aspectos tratados en este trabajo, respecto a los desarrollos de IA establecidos por las Administraciones públicas que afecten a derechos de la ciudadanía, que consideramos exigibles en el Derecho español ya en este momento debido a nuestro propio marco normativo.