Introducción
La Inteligencia Artificial está llamada a revolucionar en los próximos años la sociedad que conocemos. Sectores estratégicos como el de la energía, las telecomunicaciones o la prestación de servicios de telefonía móvil o Internet ya se apoyan sobre los avances que proporcionan los sistemas de I.A para ser más eficaces y obtener un mejor rendimiento. Del mismo modo, en algunos países, la Inteligencia Artificial también está dando cada vez más un mayor soporte a los servicios públicos y a la prestación de los mismos por las administraciones, siendo destacables algunos ejemplos como los de Estonia o Singapur.
En el caso de la Administración de Justicia, y toda vez que las cuestiones que se dilucidan en los Juzgados y Tribunales siempre son particularmente sensibles por cuanto afectan directamente a los derechos y libertades de los ciudadanos, el Libro Blanco de la Comisión Europea ya ha señalado la obligatoriedad de todas las legislaciones y actuaciones de preservar el control humano a fin de conjurar el riesgo que un modelo basado con exclusividad en la I.A puede suponer tanto desde la perspectiva de la supervisión como desde la creación de sesgos en el uso y tratamiento de los datos que permiten la elaboración de conclusiones basadas en técnicas de inteligencia no humana.
Indiscutiblemente, en un horizonte muy próximo, la Inteligencia Artificial pasará a desempeñar funciones que hasta ahora sólo podíamos realizar nosotros y, muy probablemente, lo hará con un mayor grado de certeza, eficacia y eficiencia. Así, y como resultado de ello, la ciudadanía de forma general y también en la esfera particular de cada individuo comenzará a ser objeto de acciones prefijadas por una actividad de razonamiento que no responde a un patrón humano o biológico sino a uno prediseñado por un ser humano, sí, pero con capacidad y autonomía propia, cuyo esquema de razonabilidad es matemático y no emocional. La I.A, al menos parcialmente, empezará a «gobernar» nuestras vidas.
Si lo anterior puede despertar legítimamente cierto escepticismo, qué duda cabe que los interrogantes serán incluso mayores si proyectamos la utilización de la Inteligencia Artificial sobre los mecanismos actuales de la Justicia Penal. ¿Permitirán los sistemas de I.A evolucionar hasta un modelo de Justicia preventiva? ¿Podremos elaborar cálculos matemáticos sobre las probabilidades razonables de reincidencia? ¿Cómo afectará ello a la presunción de inocencia? ¿Y qué ocurrirá con los sesgos? ¿Avanzamos hacia una realidad penal deshumanizada?
Las preguntas anteriores no son menores y, lejos de lo que pueda pensarse, albergan mucha más actualidad de la que hace tiempo sería imaginable. La tecnología avanza con paso firme mientras que las legislaciones nacionales y supranacionales se mantienen dubitativas ante un fenómeno que promete grandes ventajas pero que, también, arroja los sistemas de derechos y libertades a un limbo ético con muchas preguntas y pocas respuestas.
En último lugar, no debemos olvidar que toda Inteligencia Artificial se nutre de datos. Los datos, el «oro de la modernidad», que, no obstante —igual que ocurra con tantos elementos de la sociedad digital— siguen sin encontrar todavía una cultura común y asentada en cuanto a su protección. Constatación remediable que, de nuevo, nos introduce en el interrogante de la seguridad de los sistemas de I.A desde su propio origen. ¿Puede el riesgo frente a la privacidad terminar convertido en un riesgo para la libertad? ¿Qué papel debe desempeñar el Derecho Penal?
La Inteligencia Artificial y su impacto en el proceso penal merecían un «Diálogo» singular y especial. Sea tan solo porque la previsión y la discusión rigurosa son las premisas fundamentales con las que los ordenamientos jurídicos reaccionan —o deberían hacerlo— ante la realidad, también ante la «realidad digital».
1º. La primera iniciativa de Inteligencia Artificial avalada por el Ministerio de Justicia ha ido orientada a la eliminación de los antecedentes penales. En una semana se consiguió cancelar los antecedentes de más de 150.000 ciudadanos con derecho a ello. ¿Qué será lo siguiente? ¿Qué impacto general podemos prever de la I.A en el proceso penal español?
José Díaz Cappa (Fiscal)
«Ante todo, creo fervientemente que cualquier forma de Inteligencia Artificial (IA) siempre va a suponer ventajas y efectos positivos para la Administración de Justicia en general. Es un hecho, como en el ejemplo propuesto. Sin embargo, y partiendo del mismo, no cualquier clase de IA supondrá verdaderos cambios estructurales en aquella, pues una cosa es la simple mejora de los recursos existentes mediante la inclusión de un nuevo algoritmo que potencie la obtención de resultados resolutorios puramente matemáticos o estadísticos, y, otra, muy diferente, la posibilidad de que los efectos algorítmicos sirvan para la generación de una idea racional ex novo. A modo de ejemplo, una cosa sería obtener un dato identificativo partiendo de una forma lofoscópica, y otra muy diferente deducir de la misma un posible perfil psicológico, psicosocial o incluso físico sobre el titular de la misma.
Así pues, si hiciéramos una comparativa atendiendo a los cuatro tipos de IA acuñados por Stuart Russell y Peter Norvig, y reduciéndolos a dos, distinguiendo así entre los sistemas que piensan o actúan como humanos, por un lado, y los sistemas que piensan o actúan racionalmente, por otro, y refiriéndolos a un hipotético proceso penal, la primera fase de progreso de la IA en el campo jurídico penal vendría dado por la obtención de resultados prácticos similares a los humanos extraídos de la mejora de los elementos algorítmicos introducidos (por ej; la mencionada revisión ingente de cancelación de antecedentes penales; los cómputos de plazos de cumplimientos de condena y cruce de datos para ello; la interconexión de causa penales potencialmente acumulables por conexidad; etc.), pues son supuestos de automatización de actividades para implementar la mejora de actuaciones y solución de problemas incluso de forma más eficaz que el actuar humano; y, una siguiente fase —comprensiva a su vez varias sub-fases—, aquella en la que la posibilidad de obtener mediante un pensamiento deductivo racional similar al humano, con dosis de razonamiento y actuación consecuente al actuar humano, sea el objetivo principal (por ej: distinguir entre resoluciones que interrumpen o no una posible prescripción en virtud del contenido argumentativo de aquellas; deducir con cierta fiabilidad perfiles de personas potencialmente reincidentes o incluso potencialmente delincuentes; o la deducción de datos de identificación o de elementos de investigación con criterio suficiente para su posible planteamiento en un juicio oral como medios de prueba válidos, entre otros posibles supuestos).
Y, en medio de todo ello, un sinfín de posibilidades y alternativas.
¿Se imaginan interacciones de voz y gestos de IA para ir registrando parámetros instantáneos en un juicio oral para valorar judicialmente la credibilidad de un testimonio? ¿o poder ir registrando contradicciones no percibibles entre declaraciones de un mismo sujeto? ¿O la posibilidad de aportación instantánea de pruebas?
María Jesús Pesqueira Zamora (Decana Facultad de Derecho y Empresa UAO CEU. Directora académica i+Dret del ICAB)
«El siguiente paso debe venir marcado por el desarrollo de la Propuesta Reglamento (UE) 2021/0106 del Parlamento Europeo y del Consejo el que se establecen normas armonizadas en materia de inteligencia artificial (Ley de Inteligencia Artificial) y se modifican determinados actos legislativos. Además, esta transformación debe ser acorde a la Agenda 2030 para la consecución de los objetivos de desarrollo sostenible.
A la par que se han cancelado antecedentes penales de más de 150.000 ciudadanos, el empleo de la IA también se ha destinado a la celebración de vistas telemáticas, a la facilitación de cita previa en Registros Civiles y órganos judiciales, a realizar análisis de datos en materia concursal, a la implementación de la textualización automática de grabaciones, cálculos complicados en relación a la acumulación de las penas…
El impacto de la tecnología disruptiva (Big Data e IA) ha sido mayúsculo al poner de relieve la falta de previsión normativa, sobre todo en materia de justicia predictiva, con los riesgos que más tarde apuntaremos.»
Pere Simón Castellano (Profesor experto en Derecho de las Nuevas Tecnologías en UNIR y Abogado)
«Se trata de un ejemplo de automatización de un proceso que de haber requerido intervención humana hubiese supuesto costes económicos y temporales más elevados, y que probablemente no se hubiese llevado a cabo, relegándose a la cola de las prioridades del Ministerio.
El impacto general futuro dependerá de la definición de qué tecnología y para qué usos.
Creo que existe consenso sobre la necesidad de automatizar y digitalizar procesos sencillos, aquellos que son más repetitivos y tediosos, que no implican decisión sobre el fondo o incluso aquello que los procesalistas llaman decisiones prima facie. No todas las herramientas que pueden aplicarse con tal fin implican necesariamente I.A. Pero es que la lista de potenciales usos es mucho más amplia y, en algunos casos, mucho más ambiciosa, como comentaremos a continuación.»
José Manuel Muñoz Vela (Abogado. Director Jurídico en ADEQUA)
«La IA es un conjunto de tecnologías de un potencial absolutamente disruptivo en todo tipo de sectores y actividades que promete cambiar el mundo que conocemos. Su valor en el ámbito de la función y servicios públicos es incuestionable y, especialmente, en el ámbito de la administración de justicia.
Los sistemas inteligentes pueden contribuir a la automatización, simplificación, mejora y agilización de los procedimientos administrativos y judiciales, y un ejemplo de ello sería el que refleja la pregunta formulada.
La IA puede automatizar procesos, minimizar plazos y optimizar recursos materiales y humanos, si bien, es fundamental la labor previa de identificación de los procesos clave y como poder ser gestionados íntegramente por sistemas inteligentes o con intervención humana en una necesaria simbiosis entre hombre y máquina, pero siempre bajo control y supervisión del ser humano, y previo análisis de riesgos y evaluación de su impacto, especialmente en los derechos fundamentales.
La IA también puede contribuir notablemente en la predicción de delitos en el ámbito físico y digital, puede prevenirlos e incluso constituir una eficaz herramienta para su detección, investigación, bloqueo, persecución y resolución, especialmente por lo que se refiere a los denominados ‘ciberdelitos’. La cuestión es que su eficacia transnacional en el ciberespacio puede verse limitada por el concepto territorial de los ordenamientos jurídicos. En mi opinión debe incrementarse el uso de la IA como herramienta para la prevención, detección e investigación de los delitos, así como, en la instrucción y tramitación de los procedimientos, obtención y análisis de pruebas y como instrumento de consulta y ayuda para la toma de decisiones en su marco, y especialmente para las de mayor impacto en los derechos fundamentales como, por ejemplo, para la evaluación del riesgo de reincidencia. Y todo ello en paralelo al refuerzo de la cooperación judicial internacional para la persecución de la delincuencia transnacional en general y la ciberdelincuencia en particular.
Actualmente se utilizan sistemas inteligentes para la elaboración de perfiles, la valoración de la posibilidad de reincidencia o la elaboración de sentencias como herramienta de ayuda al juzgador para dictar sentencia, sin todavía pretender sustituir al humano, pero si ayudarle a la toma de decisiones y su ejecución con el objetivo de aplicar "justicia". No obstante, su uso en el ámbito de los procedimientos administrativos como en los procedimientos judiciales penales ha puesto de manifiesto sus retos y riesgos como, por ejemplo, el caso Borden (1) en EE.UU., en el que el algoritmo evidenció su carácter sesgado y discriminatorio al valorar el riesgo de reincidencia por razón de raza de la persona objeto de evaluación.
El sistema COMPAS —Correctional Offender Management Profiling for Alternative Sanctions—, utilizado por el sistema judicial de Wisconsin (EE. UU.) como ayuda para los jueces para dictar sentencia y valorar aspectos como el riesgo de reincidencia, generó múltiples controversias relacionadas con el sesgo. La investigación llevada a cabo por un grupo de periodistas evidenció que atribuía a las personas de raza negra mayor probabilidad de ser juzgados asignándoles un mayor riesgo de reincidencia que a las personas de raza blanca (2) .
En el ámbito de los procesos administrativos tenemos también ejemplos de sesgo, como en el caso de Holanda, en particular, en su programa de gestión de ayudas y subsidios, que obligó a que su ejecutivo presentara su dimisión en bloque (3) .
En mi opinión, la IA debe integrarse en el proceso penal como un medio o instrumento de ayuda para su agilización y gestión, pero de forma segura, responsable y transparente, previa evaluación de su impacto, especialmente en los derechos fundamentales, y con articulación de mecanismos adecuados para su gobierno y control, de modo que sirva incluso como herramienta de apoyo para la toma de decisiones por parte de quién debe ejercer la potestad jurisdiccional.»
Carlos María Romeo Casabona (Catedrático de Derecho Penal. UPV/EHU)
«Veo varias posibilidades sucesivas:
- 1º Mejorar las bases de datos de las sentencias y otras resoluciones judiciales con procedimientos realmente inteligentes, de modo que se pueda afinar más en la localización de aquéllas (tanto por lo que respecta a los antecedentes de hecho como a los fundamentos jurídicos) más próximas a los procesos judiciales en trámite de deliberación y fallo.
Las bases de datos actuales han contribuido notablemente a la mejora de localización de sentencias, etc., pero puede sostenerse que estamos en fases todavía muy rudimentarias de conseguir consultas y manejos de ellas con mayor precisión y eficacia.
- 2º Aunque tal vez lo que sigue haya que vincularlo más a alguna pregunta anterior, los sistemas inteligentes podrán ayudar a redactar sentencias en materias relativamente simples, con elementos de prueba claro y establecidos. En todo caso me refiero a las jurisdicciones ajenas a la jurisdicción penal, partiendo de que debe profundizarse en la eliminación en la legislación penal sustantiva (principalmente el Código Penal) de infracciones penales que afecten de forma leve a bienes jurídicos penalmente protegidos, sin ser de una relevancia ético-social elevada.
Para que lo anterior fuera aceptable debería garantizarse una revisión previa de cada sentencia suficiente por parte del órgano judicial competente para comprobar los hechos probados y la culpabilidad subjetiva (cuando no se trate de supuestos de responsabilidad objetiva; siempre en materia no penal).
- 3º Más a largo plazo podría pensarse en el soporte en la redacción de sentencias y resoluciones, sencillas, que no comporten valoraciones relevantes sobre las personas a las que afectarán las decisiones: situación probatoria clara y sencilla, en delitos menos graves…»
2º. ¿Llegará el día en que un programa de ordenador pueda determinar con certeza si un individuo volverá a delinquir? ¿Qué dilemas éticos plantea esa opción si llegase a ser posible? ¿Toda predicción permite alcanzar toda conclusión? ¿Dónde queda el margen de valoración humano?
José Díaz Cappa (Fiscal)
«En tanto el propio proceso vital personal de cada ser humano es cambiante y susceptible en cada caso de decisión autónoma, y está siempre condicionado por factores externos (ya decía Ortega y Gasset: "yo soy yo y mi circunstancia"), es difícil considerar un grado de certeza absoluto sobre el posible proceder delictivo de alguien.
La orientación al dato y la posibilidad ingente de desarrollo de programas algorítmicos permitirá en un futuro un análisis predictivo muy cercano a la realidad
Ahora bien, es evidente que la orientación al dato y la posibilidad ingente de desarrollo de programas algorítmicos permitirá en un futuro un análisis predictivo muy cercano a la realidad, siempre y cuando esos factores personales puedan ser evaluados, asimismo, respecto de situaciones de hecho delictivas concretas. Esto es, por ejemplo, una persona con actitudes pirómanas quizás solo pudiera ser concebido virtualmente como hipotético delincuente ante un supuesto penal relacionado con los incendios forestales, pues de otro modo, quizás nunca aparecería como potencial transgresor de la norma.
Esto no evitaría, entiendo, la posibilidad de encontrar factores internos y externos determinantes de una posible personalidad delictiva, lo que supone, siempre, entrar en el farragoso campo de la relación entre la justicia predictiva y un viejo conocido: el "juicio de peligrosidad". En los supuestos de los que estamos hablando ahora, éste ya no sería post-delictual, sino pre-delictual o pre-hecho, con lo que ello representaría en contraposición a la presunción de inocencia y a los logros obtenidos en un derecho penal garantista.
Esa justicia predictiva, sin embargo, si pudiera servir como eficiente justicia preventiva (ej, medidas cautelares o proporcionalidad de la pena) o para la mejora de la justicia en fase de ejecución (posibilidades de reincidir en un permiso; evaluación de la revisión de una cadena perpetua revisable, etc.)
En cualquier caso, el principal problema de la evaluación predictiva estará, fundamentalmente, en los sesgos algorítmicos utilizados, pues la falta de unificación de criterios, su mayor o menor definición o la posibilidad de contener elementos potencialmente discriminatorios, pueden suponer, efectivamente, un resultado objetivamente certero, pero injusto.
Mucho, pero mucho, daría para hablar este controvertido punto.
El posible dilema ético en esta toma de decisiones no creo que fuera diferente al actual, pues la toma de decisión será siempre humana, como ahora, aunque ayudada de elementos de deducción racional colaborativa artificial que pueden favorecer el proceso decisorio.
Una cosa es la capacidad de deducción y otra la capacidad de decisión.»
María Jesús Pesqueira Zamora (Decana Facultad de Derecho y Empresa UAO CEU. Directora académica i+Dret del ICAB)
«Cada vez está más cerca el día en que un programa informático pueda determinar la reincidencia del individuo y de facto, ya contamos con algunos sistemas en distintos países. Sin embargo, el atributo de la "absoluta certeza" sospecho que será siempre un imposible, habida cuenta que el proceso empleado para llegar a la conclusión se basará siempre en datos, con los riesgos propios de los mismos (sesgos, errores de cálculo y/o cambios de criterios jurisprudenciales).
Los riesgos éticos de la operación indicada son numerosos, se habla incluso de la "dimensión filosófica de la IA", distinguiendo entre "IA fuerte" e "IA débil". En particular y por el momento, el peligro que me inquieta más es la falta de respeto a los principios del proceso y en especial, a la presunción de inocencia, que en ese contexto deviene estéril en todas las fases, aunque también el principio de inmediación, publicidad…Asimismo, me preocupa la posible alteración de la legitimación de las fuentes de la función jurisdiccional.»
Pere Simón Castellano (Profesor experto en Derecho de las Nuevas Tecnologías en UNIR y Abogado)
«Desde hace décadas, en los centros penitenciarios, se valora el riesgo de comisión delictiva futura en base a distintas variables y parámetros, y se emplean herramientas —genéricas o específicas por tipo delictivo— como RisCanvi, SARA, HCR-20, etc. Estas herramientas actuariales han sido diseñadas por expertos, psicólogos, criminólogos y juristas preocupados por tratar de objetivar la toma de decisiones difíciles en base al pasado y al comportamiento de los reclusos. No son, empero, infalibles: reproducen los factores y parámetros que influyen habitualmente en el proceso de reinserción, y tratan de objetivar la valoración de los niveles de riesgo. Ahora, muchas de estas herramientas se han digitalizado, sin que esto implique necesariamente que empleen IA, y como es de esperar, los resultados siguen mostrando un índice de éxito bastante elevado, pero ni mucho menos infalible. No podemos creer ni esperar que por el mero hecho de digitalizar un cuestionario basado en los tradicionales árboles de decisión humanos vamos a alcanzar un nivel de predicción con una exactitud tan elevada que elimine cualquier error en la valoración o predicción.
Sobre esta cuestión en concreto he escrito recientemente mi última monografía intitulada "La prisión algorítmica"; una especie de juego de palabras en el título, y que aborda el uso de los sistemas de IA en el ámbito de la ejecución penal y sus garantías.»
José Manuel Muñoz Vela (Abogado. Director Jurídico en ADEQUA)
«Lo considero imposible. Somos personas y nadie puede realmente determinar con absoluta certeza que un individuo que ha cometido un delito pueda volver a cometer otro de la misma naturaleza o de otra distinta. Tampoco una IA que integra una supuesta "inteligencia" derivada y conferida por el ser humano, que teóricamente debería basar sus análisis y toma de decisiones en datos objetivos y libres de sesgo, que al final son datos previos e históricos. La IA se nutre de datos que se corresponden con variables y con la información social asociada a los mismos.
Lo que sí considero posible es la de su valor como instrumento de análisis y su grado de precisión para la determinación con mayor porcentaje de acierto sobre la probabilidad de reincidencia en función de contextos concretos, especialmente respecto de determinados tipos de delito, ante el análisis masivo de enormes cantidades de datos relacionados con antecedentes penales, con origen en múltiples variables, demarcaciones, culturas y países, de modo que el juez que tienen encomendada la toma de decisiones podría tener una valoración objetiva basada en datos como herramienta de consulta, no limitada o basada en su experiencia profesional personal o estadísticas locales o sesgadas, y que puede constituir una referencia adicional para ayudarle a tomar las mismas de manera justa conjuntamente con el resto de elementos a considerar.
La cuestión adicional es que la discriminación social de facto de determinadas etnias o colectivos más desfavorecidos en culturas o países determinados puede ser una realidad a considerar y no obviar, de modo que la inclusión de parámetros y variables asociados a las mismas en un sistema inteligente pueden ser muy cuestionable desde distintos puntos de vista, especialmente para permitir un análisis preciso que asista en la toma de decisiones. En función del sistema, contexto, finalidad pretendida y contexto de uso, pueden concurrir determinados factores que deberían ser considerados e incluidos con el objetivo de discriminar y sesgar resultados en el funcionamiento de un sistema para garantizar una mayor precisión, como podría ser, en determinados supuestos, el género o el origen racial.
El impacto ético y en los derechos fundamentales de este tipo de sistemas es inevitable y obliga a realizar una necesaria ponderación entre todo ello, en la medida que la elaboración de un perfil penal de una persona, su valoración y una supuesta decisión automatizada consecuente puede impactar en principios constitucionales y derechos fundamentales, como el de legalidad, seguridad, igualdad, tutela judicial efectiva y derecho a un proceso con todas las garantías, presunción de inocencia o privacidad.
La seguridad, el respeto de los derechos fundamentales y el cumplimiento regulatorio son igualmente principios éticos que recogen la práctica totalidad de los marcos éticos de mayor consenso internacional en la actualidad, entre otros, la Resolución de 16 de febrero de 2017, del Parlamento Europeo, en la que incorporó sus recomendaciones destinadas a la Comisión sobre normas de Derecho civil sobre robótica, Declaración sobre Inteligencia Artificial, robótica y sistemas autónomos de 9 de marzo 2018, del Grupo Europeo sobre Ética de la Ciencia y las Nuevas Tecnologías; Directrices éticas para una IA fiable (8 de abril de 2019); Principios de Asilomar (Future of Life Institute 2017); Recomendación del Consejo de la OCDE sobre la IA (22.05.2019); Principios de la IA de la OECD.AI (2019); Japanese Governance Guidelines for Implementation of AI Principles (09.07.2021); Recomendación sobre la Ética de la Inteligencia Artificial de la UNESCO (2021); Ethics, Transparency and Accountability Framework for Automated Decision-Making de UK (13.05.2021); Principles on Explainable AI del NIST (Septiembre 2021); Explaining Decisions Made with AI de la ICO & Alan Turing Institute; Ethics and Governance of Artificial Intelligence for Health de la OMS (2021); AI Governance Principles: Towards Ethical and Trustworthy AI in the European Insurance de la Autoridad Europea de Seguros (EIOPA); Artificial Intelligence: An Accountability new Framework for Federal Agencies and Other Entities de la U.S. Government Accountability Office (EE.UU. 30.06.2021) o la Recomendación del Consejo sobre Inteligencia Artificial de la OCDE.
Los principales retos éticos y jurídicos que plantean los sistemas inteligentes en el ámbito del proceso penal son los relacionados con el sesgo, la explicabilidad de las decisiones, la publicidad, la transparencia, la justicia y la consiguiente necesidad de la adecuada motivación de las decisiones judiciales.
Sin embargo, si el sistema no decide, sino que constituye un medio de apoyo a la toma de decisiones del juez, siempre quedaría en manos del ser humano el ejercicio de la potestad jurisdiccional, así como el último control y supervisión del sistema, conforme exigen la mayoría de marcos éticos precitados desde las denominadas "Leyes de Asimov" de 1942.
La ética, la seguridad, el respeto de los derechos fundamentales y el cumplimiento regulatorio debe estar presente en el propio diseño tanto del sistema inteligente como del proceso que gestiona o en el que se utiliza e integra, y tanto en su diseño, despliegue, uso y mantenimiento, esto es, durante todo su ciclo de vida.
Sobre la cuestión relativa a las predicciones, una predicción es ni más ni menos que eso, una estimación sin garantía de plena certeza, lo que no impide el error, aunque pueda reducir su margen mediante el uso de sistemas inteligentes que pueden analizar millones de datos para permitir mayor precisión y acierto. El margen de error humano es indiscutiblemente superior al basarse en apreciaciones fundamentadas en conocimientos y datos más reducidos, que pueden estar sesgados y que tienen un origen subjetivo. No debemos olvidar que, a diferencia del ser humano, la IA no tiene consciencia ni conciencia, no tiene creencias, sentimientos o emociones, con lo bueno y con lo malo que ello significa, especialmente en supuestos singulares que exigen decisiones "justas" más que "objetivas".
No obstante, la eficacia de la IA en algunos proyectos de predicción de delitos que se han llevado a cabo hasta la fecha, especialmente por las técnicas utilizadas, ha sido cuestionada. De hecho, tras la realización de varias auditorías en los sistemas policiales predictivos en varias ciudades de EE.UU., como Nueva York y Cambridge (Massachusetts), motivaron la eliminación de estos programas por su falta de eficacia, sus efectos discriminatorios y la no consecución de los objetivos pretendidos. En este sentido, significar que la IA no es la solución, pero puede ser una ayuda.
El Parlamento Europeo aboga por la prohibición permanente del uso de análisis automatizados o el reconocimiento en espacios accesibles al público de otras características humanas, como los andares, las huellas dactilares, el ADN, la voz y otras señales biométricas y de comportamiento. Asimismo, ha hecho pública su preocupación por el uso por parte de las fuerzas del orden y los servicios de inteligencia de bases de datos de reconocimiento facial privadas, como Clearview AI, una base de datos de más de 3 000 millones de imágenes que se han recopilado de redes sociales y otros lugares de internet, así como en relación con proyectos financiados incluso por la UE como iBorderCtrl, un "sistema inteligente de detección de mentiras" que elabora perfiles de los viajeros a partir de una entrevista automatizada por ordenador realizada a través de la cámara web del viajero antes del viaje, con un análisis de 38 microgestos basado en IA, y ya probado en Hungría, Letonia y Grecia»
Carlos María Romeo Casabona (Catedrático de Derecho Penal. UPV/EHU)
«Es posible, pero en ningún caso a corto o medio plazo. La cuestión en realidad es si esto es deseable tal cual plantea la pregunta.
Hay un principio relacionado con la utilización de la IA, la robótica y tecnologías conexas que ha de regir ante cualquier sistema de los anteriores que sea realmente autónomo, es decir, que pueda llegar a tomar decisiones más allá de los parámetros de diseño, de aprendizaje y retroalimentación concebidos y aplicados por el diseñador/fabricante; es decir, cuando sea capaz de tomar decisiones más allá de la programación inicial (deep learning y machine learning). Este principio al que me refiero, inicialmente concebido y desarrollado por filósofos y juristas principalmente en relación con las armas letales autónomas (Letal Automatised Weapons Systems, LAWS) se conoce como Control Humano Significativo (Meaningful Human Control, MHC). De acuerdo con él la utilización de sistemas de IA y otros semejantes requiere la asunción por el ser humano de mecanismos preventivos de control sobre los mismos que aseguren que cualquier decisión que aquéllos pudieran tomar con cierta trascendencia para el ser humano como individuo o participante en los grupos y colectivos en los que se integra se encuentren bajo control humano, del ser humano que haya asumido legalmente o de hecho las funciones de usuario o decisor de estos sistemas.
Los problemas éticos son varios, que aquí solo puedo resumir en esta idea: evitar que incluso las tecnologías avanzadas usurpen las decisiones que corresponde tomar a los humanos, en la medida en que puedan afectar o repercutir en otros humanos y producirles perjuicios o daños; hay que asegurar que la tarea de valoración quede sometida la intervención humana.»
3º. Los sistemas de Inteligencia Artificial se sostienen y desarrollan sobre datos. Sin embargo, todavía estamos lejos de una cultura general que comprenda los riesgos que amenazan la privacidad. ¿Los avances en I.A son un riesgo —todavía mayor— para los datos personales de los ciudadanos? ¿Qué medidas deberían adoptarse para que se pudiese conocer el algoritmo sobre el que un sistema de I.A plantea una decisión? ¿Existirá el derecho constitucional —o legal— a conocer el algoritmo y las operaciones sistemáticas que lo componen?
José Díaz Cappa (Fiscal)
«Algo he avanzado sobre esto en la respuesta anterior. No cabe duda que las posibilidades reales de una justicia penal predictiva han de estar basadas en un complejo algorítmico que, centrado asimismo en la orientación al dato, no puede sino tener como principal fuente de suministro los datos. Los ingentes datos aportados por todos y cada uno de nosotros. Pero también los datos referidos a las diferentes fuentes de conocimiento y experiencia humana de carácter profesional y científico, y, también de comportamiento físico o espiritual, que han de combinarse adecuadamente con aquellos.
No creo que el riesgo para los datos personales de los ciudadanos experimente un aumento mayor que el actual (que ya es elevado), pero lo que sí es evidente es que a mayor uso de cualquier forma de IA, mayor es el campo de operatividad y actuación de los mencionados factores de riesgo. Se hace difícil entender una actitud precavida con mis datos cuando mi propio móvil, mi coche o mi reloj, están participando de todo ello "por su cuenta" tanto recogiendo como transmitiendo información.
Lo que sí es de suma importancia, y sobre todo en el campo del Derecho Penal en el que estamos centrando esta entrevista, es la generación o desarrollo de un marco legal relacionado con los elementos algorítmicos que sirvan de base argumentativa, repito, argumentativa, de una decisión judicial al respecto. No creo que para eso fuera necesario un extra constitucional, pero sí quizás una labor interpretativa del TC respecto del art. 18.4 de la CE (LA LEY 2500/1978)("La ley limitará el uso de la informática para garantizar el honor y la intimidad personal y familiar de los ciudadanos y el pleno ejercicio de sus derechos"), y, por supuesto, también, o, sobre todo, a nivel internacional.»
María Jesús Pesqueira Zamora (Decana Facultad de Derecho y Empresa UAO CEU. Directora académica i+Dret del ICAB)
«Efectivamente existe una relación directa entre los avances de la IA y los datos personales de los ciudadanos. Por este motivo es necesario el control humano sobre el tratamiento de los mismos y respetar el contenido de la Ley Orgánica 3/2018, de 5 de diciembre, de Protección de Datos Personales y garantía de derechos digitales (LA LEY 19303/2018).
Ciertamente, la opacidad de muchos algoritmos puede crear incertidumbre y obstaculizar la aplicación efectiva de la legislación vigente en materia de seguridad y derechos fundamentales. En mi opinión, no tardaremos demasiado en ver la creación de un nuevo derecho a conocer el algoritmo y las operaciones sistemáticas que lo componen, atendiendo al panorama legislativo más reciente tanto a nivel europeo (Ley de servicios digitales, Acta de Mercados Digitales), como nacional (Borrador de la Carta de Derechos Digitales (LA LEY 16317/2021), Plan España Digital 2025, Estrategia Nacional para la IA). Sin embargo, los inconvenientes que advierto son los propios de la brecha digital.»
Pere Simón Castellano (Profesor experto en Derecho de las Nuevas Tecnologías en UNIR y Abogado)
«Las cuestiones semánticas son al respecto más importantes de lo que en principio parecen. La mal llamada protección de datos es una traducción del término data protection anglosajón que no ayuda para nada a entender de qué hablamos. Es difícil comprender las razones por las que otros términos como la autodeterminación informativa, como subcategoría de la dignidad humana y el libre desarrollo de la personalidad, no se ha acabado imponiendo en un modelo tuitivo y civilista como el nuestro. La cuestión no es banal: no se trata de proteger datos personales de los ciudadanos, se trata de proteger a los ciudadanos, y la vía es a través de la tutela indirecta que se ofrece garantizando que los datos personales se traten de acuerdo con unos principios, garantizando unos derechos al titular de estos.
Así que creo que los avances sobre IA, especialmente cuando implican la toma de decisiones automatizadas, son un riesgo para los ciudadanos, siendo la privacidad una arista más —como el desafío ético, los riesgos de discriminación, las dificultades de defensa, etc.—, y por ello deben existir ciertas garantías que probablemente no pasan por el reconocimiento de nuevos derechos, y es aquí cuando debemos plantearnos: ¿qué significa conocer el algoritmo?
Acostumbro a hacer una analogía con el principio de publicidad procesal. Este se formula en época ilustrada como contraposición al antiguo régimen, en el que la injusticia revestía la forma de juicio secreto, a puerta cerrada. Pero el objetivo no era que los juicios fuesen públicos, sino que la publicidad constituía un instrumento más para conseguir un fin superior, que no es otro que un juicio justo.
Aquí sucede algo parecido. La transparencia del algoritmo a vueltas puede resultar incluso inidónea para alcanzar el verdadero objetivo relacionado con los algoritmos, que no es otro que la posibilidad del ciudadano de replicar y recurrir frente a una decisión basada en todo o en parte en una valoración realizada por un algoritmo. Para según qué tecnología, conocer la fórmula algorítmica no es sinónimo de nada positivo e incluso puede contribuir a crear una falsa sensación de seguridad. Las operaciones sistemáticas que lo componen y su diseño debe reunir una serie de elementos o ítems interrelacionados —trazabilidad, publicidad y explicabilidad relativa, auditabilidad, controles por defecto, garantías subjetivas, etc.— que la propuesta europea de reglamento sobre IA esboza, en cierto modo, en base a una aproximación por niveles de riesgo.»
José Manuel Muñoz Vela (Abogado. Director Jurídico en ADEQUA)
«Es un tópico, pero es una realidad: los datos son el petróleo del siglo XXI.
El desarrollo de la economía de los datos es imparable, si bien, el uso de la tecnología y, en particular, para su captación y tratamiento, sean o no personales es creciente y se ve potenciado por la mayor interconectividad y capacidad de computación. La IA es una herramienta muy útil para la obtención de los datos de mayor valor para su explotación, especialmente para los gigantes tecnológicos y particularmente los referidos a gustos, preferencias y comportamientos para la elaboración de perfiles. La transparencia y la explicabilidad son exigencias éticas y, en breve, jurídicas, que deberán garantizar los sistemas inteligentes que se utilicen en la administración de justicia.
Pero no hay que ver los avances en tecnología e IA como un mero riesgo y con temor sino definir y ordenar dichos avances, sus usos y aplicaciones, y precisamente esta es una de las finalidades de un ordenamiento jurídico. La normativa europea de protección de datos, básicamente el Reglamento General de Protección de Datos (RGPD) (LA LEY 6637/2016) constituye una herramienta muy eficaz para salvaguardar el derecho a la privacidad, si bien, no protege el resto de derechos y libertades fundamentales y precisa también evolucionar y adaptarse a la realidad social y digital.
La tecnología permite el tratamiento de datos masivos de ciudadanos incluso anonimizados, si bien, su potencial, puede convertir y asociar un dato anónimo a la persona titular del mismo. Algunos sistemas inteligentes como los de identificación biométrica remota en espacios públicos, de puntuación social o de manipulación del comportamiento, entre otros, se consideran de riesgo inadmisible para las autoridades europeas, lo que ha llevado a considerarlos prohibidos, salvo excepciones, en la Propuesta de Reglamento sobre IA de 21.04.2021, actualmente en fase tramitación.
Por lo que se refiere a las posibles medidas para conocer el algoritmo sobre el que un sistema sustenta sus decisiones, debemos acudir, en primer lugar, a los marcos éticos que he citado anteriormente, que en su mayoría exigen su transparencia y explicabilidad, junto con el respeto de la privacidad, la gobernanza de datos la dignidad, la libertad, la justicia, la solidaridad, la igualdad, la equidad, la no discriminación, la autonomía y el resto de derechos humanos, su confianza, su seguridad o su fiabilidad. En segundo lugar, debemos acudir a la legislación vigente y, en particular, al artículo 22 del RGPD (LA LEY 6637/2016) que ya prohíbe el derecho a no ser objeto de una decisión basada únicamente en el tratamiento automatizado de datos personales, incluida la elaboración de perfiles, que produzca efectos jurídicos en la persona o le afecte significativamente de modo similar. En tercer lugar, debemos acudir a las propuestas reguladoras en tramitación, como la precitada propuesta de Artificial Intelligence Act en la UE, que exige para los sistemas inteligentes considerados de alto riesgo para la misma, entre los que se incluirían los asociados al proceso penal, la existencia de sistemas de análisis y gestión de riesgos, la gestión y la gobernanza de datos, la rendición de cuentas (accountability), la privacidad, el registro automático de eventos durante su funcionamiento (logs), trazabilidad, transparencia y suministro de información a los usuarios, supervisión humana durante su funcionamiento, precisión, solidez y ciberseguridad, gestión de la calidad, evaluación de conformidad (declaración) antes de su comercialización o puesta en servicio y su certificación. No obstante, en cuarto y último lugar, debe considerarse también la posible protección de los sistemas por los marcos reguladores internacionales de propiedad intelectual e industrial con sus limitaciones, así como los algoritmos como secretos empresariales de indudable valor para empresas, lo que obliga a establecer un equilibrio entre los intereses en juego, esto es, al respeto de derechos fundamentales, los secretos empresariales, el bien común, la accesibilidad a la tecnología, la seguridad, la innovación y la competitividad que, en caso de conflicto y previo análisis de impacto, debe decantarse a favor de los derechos fundamentales. Los derechos fundamentales deben prevalecer sobre cualquier tecnología como ya recogió el Tribunal de Justicia de la Unión Europea, de 13 de mayo de 2014, en el Asunto C-131/12 (LA LEY 51150/2014) (Coteja vs Google).
El texto inicial de la Artificial Intelligence Act contempla ya dichos mecanismos mínimos de transparencia y explicabilidad que generará previsiblemente conflicto con otras normas en caso de no armonización, si bien, respecto de sistemas inteligentes considerados de alto riesgo, quedando fuera todos los demás, a los que remite a su posible autorregulación. Actualmente, a nivel científico se trabaja y apuesta por sistemas inteligentes transparentes y explicables al objeto de evitar los sistemas de "cajas negras", que dificultan entre otras cosas, la atribución de responsabilidad en caso de daños derivados del uso o funcionamiento del sistema inteligente. Un ejemplo reciente de ello es BLOOM (4) , una IA de código abierto que desafía los modelos de las grandes tecnológicas y aborda los sesgos que los sistemas de aprendizaje automático heredan de los textos con los que se entrena.»
Carlos María Romeo Casabona (Catedrático de Derecho Penal. UPV/EHU)
«En efecto, estamos muy lejos de haber alcanzado esa cultura general, y por ello debemos promoverla y promocionarla, pues puede incidir directamente en derechos fundamentales.
Sin querer poner en tela de juicio las grandes aportaciones que se esperan de la IA en relación con el tratamiento de datos de origen humano (sean o no personales, esto es, identificados o identificables), los enormes riesgos que comporta esta tecnología son evidentes, sobre todo a partir del desarrollo del tratamiento del big data, es decir, cantidades masivas de datos, aunque provengan de un número muy elevado y variado de personas, e incluso sean anónimos o hayan sido anonimizados. El riesgo del big data radica principalmente, aunque no solo, en su capacidad de identificar o, lo que es peor, de reidentificar datos, es decir, convertirlos en personales, según la terminología de la ley.
No estoy muy seguro de si introducir información sobre aspectos tan técnicos alejaría la Justicia de los ciudadanos y de sus representantes (abogados, principalmente), lo que, además, supondría asumir, contradictoriamente a lo propuesto más arriba, que legalmente se puedan adoptar decisiones judiciales sobre la base exclusiva o el apoyo principal de sistemas inteligentes, autónomos o no.
En relación con esto, no olvidemos que el Reglamento General de Protección de Datos de 2016 (LA LEY 6637/2016) de la Unión Europea (RGPD) rechaza las decisiones tomadas exclusivamente de forma automatizada, al imponer que todo interesado tendrá derecho a no ser objeto de una decisión basada únicamente en el tratamiento automatizado, incluida la elaboración de perfiles, que produzca efectos jurídicos en él o le afecte significativamente de modo similar (art. 22.1 RGPD (LA LEY 6637/2016)). No cabe duda de que un justiciable puede verse seriamente comprometido y que le "afecte significativamente" una decisión tomada con el solo apoyo de un sistema inteligente, sea sofisticado o no.
A lo que debe tener derecho todo ciudadano es a conocer cuáles han sido los elementos probatorios y otros relacionados con la personalidad del delincuente que se han tomado como base para la argumentación jurídica de la sentencia y el fallo correspondiente, debiendo aquéllos figurar en la propia sentencia, con declaración expresa del peso que haya podido tener cada elemento decisorio integrado en el proceso deliberativo, de modo que el encausado o demandado puedan contestar su desacuerdo por la vía procesal prevista que más le convenga. Y este derecho encuentra ya su sustento en el derecho a la tutela judicial efectiva (art. 24 CE (LA LEY 2500/1978))».
4º. Detrás de cualquier esquema de I.A hay un ser humano. Todos tenemos sesgos, prejuicios… ¿Cómo podemos evitar que los sistemas de Inteligencia Artificial repliquen los condicionantes humanos y con ellos su subjetividad? En algunas experiencias, por ejemplo, con el programa COMPÁS, se descubrió que el sesgo perjudicaba a determinadas personas por razón de su raza. ¿Imposibilita lo anterior la incorporación de la I.A al marco penal?
José Díaz Cappa (Fiscal)
«Empezando en este caso la respuesta por la pregunta final, no creo que fuera motivo de imposibilidad, pero sí de exhaustiva adaptación expresa al campo concreto al que se dirige. Y es evidente que, como toda estructura que se inicia, las pautas de perfeccionamiento serán a base de ensayo y error y de mejora con el uso y la experiencia.
En cualquier caso, que nadie dude que la propia condición humana que vaya a crear el sistema de IA va a estar exenta de subjetividad o más aun incluso, de condicionantes. ¿Son las leyes acaso registros de carácter objetivo, o mantienen pautas, estereotipos o posicionamientos del que las impulsa?
Es cierto que no para todos los objetivos dentro de un proceso penal será igual, pero la cuestión que se plantea sí puede ser trascendental, incluso en cierto modo discriminatoria, en aspectos como la justicia predictiva delincuencial o la justicia ejecutiva rehabilitadora.
Lógicamente, para evitar todo ello, además de la voluntad real de objetividad, entiendo que sería imprescindible que la formación de esos sistemas de IA fuera lo más global posible (lo que supondría una mayor labor colaborativa a nivel internacional) y precisaría de una fase previa de mayor consenso a todos los niveles sobre los posibles tipos penales y los diferentes tipos de procesos penales, además de una seria interactuación y conocimiento mutuo de los campos técnico y jurídico involucrados por parte de los elaboradores. Y, por supuesto, la configuración de un marco normativo ad hoc, como antes comenté. En este sentido, y aunque no se refiere a este tema concreto, ya la Propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial (Ley de Inteligencia Artificial) y se modifican determinados actos legislativos de la Unión, alude a mejorar la gobernanza y la aplicación efectiva de la legislación vigente en materia de derechos fundamentales y los requisitos de seguridad aplicables a los sistemas de IA.
Resumiendo en tan corto espacio: lo fundamental es que se repliquen las condiciones humanas, pero no los condicionantes humanos.»
María Jesús Pesqueira Zamora (Decana Facultad de Derecho y Empresa UAO CEU. Directora académica i+Dret del ICAB)
«COMPAS no ha sido el único programa fallido pues se suman también el sistema SyRI o "REKONIGTION" de Amazon, que evidencian resultados irracionales. Al ser su origen humano, arrastran los perjuicios de su creador.
Sin embargo, estos supuestos no deben obligarnos a renunciar a la utilidad de la IA pues se trata de una herramienta que permite dotar de mayor agilidad, flexibilidad y eficiencia a nuestro sistema judicial. La incorporación de la IA a labores mecánicas y farragosas, supone el descargo de jueces, letrados de la administración de justicia, fiscales, abogados, procuradores, funcionarios, etc. para que puedan dedicarse a aquello que requiera una atención más humana e intelectual.
La IA debe aplicarse como complemento y no como sustitución de la persona, sometida siempre al valor superior de la justicia, y al respeto a derechos y principios éticos. En síntesis, la implantación de la IA debe hacerse de la mano de las "Directrices Éticas para una IA fiable", del Grupo de expertos independientes de la Comisión Europea, cuya amplia regulación, obligará a los Estados a pormenorizar y establecer límites concretos.»
Pere Simón Castellano (Profesor experto en Derecho de las Nuevas Tecnologías en UNIR y Abogado)
«Si nos referimos a sistemas expertos, que emulan el proceso cognitivo humano, es imposible eliminar la subjetividad. No podemos pedirles a las máquinas que piensen y actúen como seres humanos y luego quejarnos de que hagan precisamente lo que les hemos pedido. Sí podemos garantizar en cambio que el proceso de diseño ha sido respetuoso con ciertos principios éticos, ser transparentes en la construcción y mantenimiento de la solución tecnológica, auditar el algoritmo de forma recurrente en el tiempo y presentar los informes resultantes, etc.
El caso del programa COMPAS encierra dos problemas de mayor complejidad. El primero es el relativo a la calidad de los datos que nutren el algoritmo, motivo por el cual se produjo el referido sesgo racial. El segundo es un debate abierto: ¿estamos dispuestos a aceptar un sistema con algoritmos políticamente incorrectos? En el caso de alcanzar la conclusión que la raza es un aspecto más que juega un papel importante en la reinserción o en la comisión delictiva futura, ¿estamos dispuestos a incluirlo a la ecuación o, por el contrario, vamos a excluirlo de la lista de factores, parámetros y/o variables a estudiar? Hay autores que proponen diseñar algoritmos políticamente correctos, en este caso, por ejemplo, que se valoren a todos los reclusos como si fuesen de raza blanca. No estoy de acuerdo con estos autores, pero probablemente los argumentos deben ser compartidos en un formato más extenso.»
José Manuel Muñoz Vela (Abogado. Director Jurídico en ADEQUA)
«Conforme he comentado anteriormente, es muy difícil que la IA evite los condicionantes humanos y la subjetividad durante todo su ciclo de vida, tanto en su diseño como en su entrenamiento o en la entrada de datos, por ejemplo. La IA actual es creada por el ser humano e inevitablemente puede proyectar en la misma sus condicionantes subjetivos y sesgos. No obstante, la propia IA puede ser una herramienta determinante contra el sesgo y la discriminación. El caso Borden es un ejemplo de lo que nunca debería pasar, pero debe servir de referencia para la mejora en el diseño de los sistemas inteligentes que pueden constituir una herramienta muy eficaz para una ágil y mejor administración de justicia en beneficios de todos.
Los sesgos pueden ser inherentes a los conjuntos de datos subyacentes y éstos tienden a aumentar gradualmente y, por tanto, pueden perpetuar y amplificar la discriminación existente, en particular con respecto a las personas pertenecientes a determinados grupos étnicos o colectivos. La IA actual no puede estar libre de sesgo o prejuicios, de modo que el riesgo de que el sesgo humano se proyecte y perpetue en este tipo de sistemas es real, además de poder potenciarse ante el uso de este conjunto de tecnologías, siendo su impacto especialmente grave en su utilización en el proceso penal.
La incorporación de la IA en el proceso penal debe respetar los principios propios de derecho penal sustantivo, pero también del procesal, así como los derechos fundamentales. Su uso como herramienta para la administración de justicia puede ser muy valiosa, pero identificando y gestionando adecuadamente los riesgos comentados asociados a todo ello, especialmente respecto de la posible vulneración de derechos fundamentales como el derecho a un juicio justo, la no discriminación o sesgo, la libertad de expresión o la privacidad.
En el caso Loomis (5) en relación con el funcionamiento del sistema COMPAS, el Tribunal Supremo de Wisconsin desestimó todos los motivos esgrimidos por el condenado, en particular, sus argumentos relativos a que no había sido condenado sobre la base de información fiable y precisa al tratarse el algoritmo en el que se basa COMPAS como un secreto comercial y el software mediante el que opera como propiedad intelectual (lo que le impedía conocer cómo se calcularon sus estimaciones de riesgo según el recurrente), que se había vulnerado su derecho a obtener una sentencia individualizada o que su género había sido tenido en cuenta para determinar la pena. En particular, tanto la fiscalía como la defensa aceptaron en el juicio que "toda la evidencia científica disponible indica que los varones tienen unas tasas de reincidencia y de delincuencia violenta superiores a las de las mujeres", es decir, aceptaban el sesgo basado en datos objetivos.
Sin embargo, el precitado tribunal impuso determinadas cautelas a considerar por los jueces para utilizar este tipo de sistemas de evaluación el riesgo, en particular, que no sean utilizadas para el encarcelamiento del sujeto o para determinar la severidad de la sentencia, debiendo solo ser utilizadas para imponer a delincuentes de bajo riesgo medidas alternativas a la prisión, valorar si un delincuente puede ser supervisado de manera efectiva o segura o determinar los plazos y condiciones de la suspensión de las pena, de la libertad condicional o de las consecuencia de su quebrantamiento. Y tampoco debería ser el elemento determinante si el sujeto va o no a prisión. De este modo, los jueces deben basarse en otros factores y explicarlos en su resolución.
La integración de la IA en el proceso penal deberá ser evolutiva y con objetivos concretos, sirviendo como instrumento o medio para su gestión, así como de asistencia para el propio juez
A mi juicio, la integración de la IA en el proceso penal deberá ser evolutiva y con objetivos concretos, sirviendo como instrumento o medio para su gestión, así como de asistencia para el propio juez, de modo que pueda ser utilizada para efectuar valoraciones que puedan ser consideradas para la toma de decisiones por el mismo junto con el resto de elementos, por ejemplo, sobre la probabilidad de reincidencia de un condenado por sentencia firme y, en función de ello, decidir sobre la libertad vigilada o prisión. En definitiva, integrar la IA en el proceso penal como medio al servicio del ser humano, pero nunca sustitutiva sino complementaria. Otra cuestión distinta es pretender dejar en manos de un sistema inteligente la decisión sobre la libertad de una persona. Esto constituye una de las bases del debate ético y jurídico actual y futuro, especialmente sobre en relación con el riesgo de sesgo asociado a los sistemas inteligentes, en el que están los que opinan que los algoritmos no pueden renunciar a determinadas variables como la edad, el origen racial, el sexo o grupo social dado que afectaría a la precisión del sistema y su capacidad predictiva en función de la finalidad y contexto, en la medida que los sistemas discriminan en sus análisis por su propia funcionalidad y objeto, y los que se oponen a ello.
La IA nunca debería sustituir a un juez penal, lo cual atentaría contra el propio artículo 117 de la Constitución española (LA LEY 2500/1978). Solo los jueces pueden juzgar, pero para hacerlo pueden ayudarse de sistemas inteligentes, los cuales pueden reproducir sesgos proyectados por quien los creó y quién otorgó una supuesta inteligencia o funcionamiento automatizado a un sistema, que no es otro que el ser humano.»
Carlos María Romeo Casabona (Catedrático de Derecho Penal. UPV/EHU)
«Con el desarrollo actual de esta tecnología sí imposibilita el riesgo de sesgo su incorporación al sistema penal. El problema radica, aparte de mi desacuerdo de partida, en que los sesgos pueden aparecer de cualquier modo, por ejemplo, al introducir los datos que se consideran relevantes para el tratamiento predictivo por parte del sistema inteligente; o la omisión de otros que sí podrían ser pertinentes y relevantes.
El programa COMPAS, al menos en las primeras sentencias pronunciadas con su apoyo, es un claro ejemplo de cómo no deben ser utilizadas estas tecnologías predictivas. En efecto, no sólo el programa citado incurría en sesgos, sino también, lo que me parece peor, se vulneró el derecho "al debido proceso" (similar a nuestro derecho fundamental a la tutela judicial efectiva, ya mencionado), tanto porque no se permitió aplicar taxativamente el principio de contradicción, de no tomar decisiones (la sentencia condenatoria en el primer fallo judicial conocido, el caso Loomis) mediante procedimientos exclusiva o principalmente automatizados, etc.
¿Cómo prevenir estos sesgos? Aparte de mejorar los aspectos técnicos, evitando, como vengo sosteniendo y establece el RGPD citado, tomar decisiones basadas únicamente en tratamientos de datos automatizados.»
5º. Desde una perspectiva práctica, ¿cómo podrían ayudar las aplicaciones de I.A a los fiscales o abogados en su trabajo diario en los procesos penales? ¿y a los juzgados o tribunales?
José Díaz Cappa (Fiscal)
«En gran medida. Sin duda.
De modo sinóptico creo que se podrían enfocar las ventajas en cuatro aspectos principales.
En primer lugar, el referido a la telematización en general y en todos los aspectos. Esto es, la eliminación del muro físico como impedimento jurídico y la potenciación de los factores telemáticos como fortaleza intrínseca del proceso penal, sin pérdida de garantías ni de derechos, y especialmente en los ámbitos comunicativos. Esto es posible y necesario, sobre todo en un proceso penal donde el factor temporal debe ser sinónimo de justicia real.
En segundo lugar, el referido a los aspectos mecánicos y resolutivos prácticos sencillos en fases preparatorias o ejecutivas. Así, la confección de escritos; agilidad de reconocimientos y procesos identificativos; implementación de las actuaciones automatizadas, proactivas y asistidas; contestaciones jurídicas predictivas lógicas instantáneas; facilitación de estudios de los casos en atención a parámetros similares basados en anteriores decisiones jurídicas; globalización de criterios jurisprudenciales a nivel internacional; detección mecánica de defectos procesales que pudieran dar lugar a nulidades; eliminación de pasos procesales innecesarios o claramente unificables; consolidación de ritmos algorítmicos objetivos para su aplicación mecánica a cuestiones procesales como prescripciones, complejidad, plazos de prisión o medidas cautelares, permisos, etc., entre otras muchas aplicaciones.
En tercer lugar, el referido a posibles factores favorecedores del proceso investigador o instructor o configurativos iniciales de un proceso penal, como podría ser conocer todos los posibles procesos en que se pueda encontrar involucrada penalmente una persona a fin de determinar posibles acumulaciones, eliminación de causas prescritas, ejecuciones acumulables o incluso concreción inmediata de los aspectos competenciales territoriales, objetivos o funcionales, en base a todo ello. O la aportación inmediata al proceso penal de actuaciones habituales, aunque luego pudieran ser descartables.
Finalmente, en cuarto lugar, el referido a aquellos aspectos, más lejanos sin duda, en los que la inteligencia artificial y los formatos algorítmicos permitan, por un lado, la configuración de pruebas basadas en ellos y en la orientación al dato con un valor legal y jurídico similar al que puedan tener ahora cualesquiera otras formas probatorias en un proceso penal tanto de carácter testifical como documental o pericial y distinguiendo en este caso la inteligencia artificial aplicada a la valoración judicial de la prueba; la aplicada a la configuración del acervo probatorio; y la que, en su caso podría suponer un cambio radical en la materia: la centrada en la validez material y formal de un argumentario judicial basado en la justicia predictiva y en la valoración de pruebas generadas en el mismo sentido.»
María Jesús Pesqueira Zamora (Decana Facultad de Derecho y Empresa UAO CEU. Directora académica i+Dret del ICAB)
«Yo creo que la contribución de la IA en la Administración de Justicia, en general, es muy grande (analizar posibilidades de éxito, localización de víctima y/o causante en materia de consumo, previsión de costes…) y debe ser valorada positivamente, siempre que se ciña a una función de auxilio y ayuda a los operadores jurídicos y en modo alguno, suponga la sustitución de los mismos.
Los últimos proyectos legislativos se enfocan hacia la eficacia y eficiencia de los procesos judiciales y de la administración, dónde sin duda la IA juega en papel fundamental. Sin embargo, debemos de ser rigurosos en determinar en qué actuaciones concretas puede emplearse y en cuál su utilización debe estar prohibida. Al respecto el I Proyecto del Reglamento de la IA ya realizaba una clasificación en relación a otras muchas actividades, además de la judicial, donde se establecían riesgos bajos, altos y prohibidos que ocasionaba la aplicación de la inteligencia artificial.»
Pere Simón Castellano (Profesor experto en Derecho de las Nuevas Tecnologías en UNIR y Abogado)
«Como decía al principio, las tecnologías y usos potenciales son muy diversos, algunos especialmente ambiciosos, entre los que me gustaría destacar tres: (1) apoyar al juzgador para la toma de decisiones difíciles, por ejemplo, tratando de objetivar la adopción de medidas cautelares personales (sistemas expertos de valoración de riesgo futuro, ya sea de fuga, de comisión delictiva o de destrucción de pruebas); (2) el uso de tecnología que incorpora redes neuronales y cuyas propuestas no son explicables hoy, pero que pueden contribuir a mejorar la eficiencia y productividad de nuestros tribunales; (3) el uso de los limitados sistemas expertos que emulan el falible proceso de decisión humana, y que tiende a proyectar e incluso multiplicar los sesgos humanos, con fines detectivos y correctivos, es decir, para hacer un diagnóstico del estado de salud de nuestra justicia penal.»
José Manuel Muñoz Vela (Abogado. Director Jurídico en ADEQUA)
«La respuesta a esta pregunta depende del concepto de IA del que partamos o de si hablamos de la IA actual o futura.
Obviando utopías y distopías, y lo que pueda suponer una futura IA "fuerte" o más avanzada sobre lo que ni los propios científicos se ponen de acuerdo en cuándo o ni tan siquiera si llegará, considero que partiendo de la IA actual, respecto de abogados y fiscales, de inicio puede constituir una útil herramienta para automatizar sus tareas y elaboración de documentos de base, procesales o extraprocesales, con asociación de los fundamentos de derecho, tomando como referencia no meramente legislación sino incluso doctrina y jurisprudencia.
La IA puede gestionar y programar igualmente sus agendas, procedimientos, tiempos de dedicación, procesos y actuaciones, y también puede constituir una herramienta muy útil para la obtención de pruebas, el análisis forense, el impulso procesal y la investigación. Del mismo modo, para juzgados y tribunales supone una herramienta para la automatización de los procedimientos y procesos asociados, automatización de tareas y trámites, elaboración de propuestas y evaluaciones orientativas para la toma de decisiones, así como propuestas de resoluciones interlocutorias, diligencias de ordenación, providencias, autos, sentencias y otros documentos, quedando en manos del juez competente la valoración de su contenido y adopción como base para su decisión y resolución, como ya se está haciendo en algunos países. Ello no obsta, para que pudieran iniciarse ya experiencias piloto para la resolución automatizada de trámites y asuntos de poca complejidad y relevancia en ámbitos como el administrativo o judicial (Ej. Juicios civiles monitorios sin oposición), en los que una vez introducidos los datos necesarios para la toma de decisiones, se tome la decisión automatizadamente por un sistema con base en un protocolo informático predefinido y los fundamentos legales y, en su caso, jurisprudenciales, pertinentes, pero con la necesaria intervención humana de validación, especialmente ante lo dispuesto en el artículo 22 del RGPD (LA LEY 6637/2016).
Según el South China Morning Post (SCMP), la Fiscalía Popular de Shanghai Pudong, la mayor fiscalía de distrito de China, ha implementado un sistema informático basado en IA capaz de elaborar escritos de acusación y presentar cargos contra sospechosos basándose únicamente en una descripción verbal, con una precisión superior de hasta el 97 % a partir de una descripción verbal de lo sucedido en cada caso. UK utiliza un sistema inteligente para reclamaciones inferiores a 10.000 libras esterlinas (11.803€), con emisión de la sentencia en días, pero sin posibilidad de recurso de apelación. Estonia utiliza un sistema similar para cuantías inferiores a 7.000€.»
Carlos María Romeo Casabona (Catedrático de Derecho Penal. UPV/EHU)
«A todos los señalados podría ayudar, en primer lugar, a disponer de bases de datos de sentencias más "inteligentes", es decir, con una capacidad de identificación de supuestos de hecho y de razonamientos jurídicos de otras sentencias mucho más finos que en la actualidad.
En el estado actual de estas tecnologías su utilización formal en el contexto de un proceso, sobre todo penal, lo veo precipitado, falta mucho todavía por conocer y por mejorar tecnológicamente. Pero, por otro lado, pueden llegar a ser muy peligrosas por la relativa facilidad de promover la arbitrariedad y la indefensión, y que la rutina profesional (en todas las profesiones puede ocurrir) termine dando cabida en el pronunciamiento de las decisiones judiciales a una indeseable decisión automatizada, es decir, no controlada o validada realmente por seres humanos.
Todo esto son valoraciones sobre hipotéticas predicciones a corto o medio plazo, no podemos adelantar con seriedad y fundamento suficiente la valoración de tecnologías mucho más avanzadas y perfectas que puedan surgir a más largo plazo. Pero como tampoco contamos todavía con otras referencias axiológicas más precisas (sin olvidar los derechos humanos y los derechos fundamentales y libertades públicas), el principio del control humano significativo y su plasmación en el rechazo de decisiones basadas exclusivamente en tratamientos automatizados continuarán siendo durante bastante tiempo los valores de soporte y de defensa de los ciudadanos.»
6º. Casi nadie discute que la utilización de la Inteligencia Artificial debe supeditarse al permanente control humano. ¿Siempre debe ser así, incluso para las cuestiones más accesorias o secundarias? ¿Existe el riesgo de que la «experiencia artificial» termine condicionando la «experiencia humana» y que la función de control termine desvirtuada?
José Díaz Cappa (Fiscal)
«Más que el control humano, que se entiende intrínseco a todo el proceso de conformación del recurso a la IA, lo verdaderamente importante será la supervisión humana de su desarrollo y de sus resultados, si bien es cierto, también, que no todas las funcionalidades, quizás, deban tener el mismo rigor supervisor.
Ciertamente, como he venido comentando a lo largo de la entrevista, las funcionalidades, digamos, más mecánicas, podrían precisar de un control más básico que el puedan requerir todas aquellas otras que estén basadas en ritmos algorítmicos deductivos, predictivos o más cercanos a la subjetividad y a la argumentación racional. Esto es, pocos nos ponemos a dudar que el resultado matemático de nuestra calculadora sea inexacto, pero seguro que precisaríamos de mayor explicación sobre una decisión de prisión provisional en la que los elementos menos objetivos como el riesgo de fuga, las circunstancias personales, u otras, se hubiese tomado en parte en base a la interpretación de resultados algorítmicos de la condición humana.
Cuando se trabaja con experiencias a nivel de IA, incluso en el campo del Derecho, no debemos perder la expectativa de que la experiencia artificial nos pueda aportar resultados o soluciones a nivel similar al de la experiencia humana. Para eso, en parte, se crea y genera aquella. Pero ello no debe significar que la experiencia artificial sustituya a la humana, sino que la experiencia humana aprovecha la artificial en cuanto parte de los objetivos buscados.»
María Jesús Pesqueira Zamora (Decana Facultad de Derecho y Empresa UAO CEU. Directora académica i+Dret del ICAB)
«Como hemos apuntado anteriormente, la IA se alimenta de datos que requieren de una interpretación, basada en un juicio humano que pondere los sesgos o tendencias, a fin de evitar que puedan conducir a consecuencias equivocadas. En ese sentido, señalan los expertos que los datos son incompletos y necesitan ser filtrados y analizados mediante juicios teóricos, sin los que solo obtenemos un conjunto de correlaciones incoherentes. En el contexto actual sí considero necesario el permanente control humano sobre la utilización de la IA, pero es probable que, en un futuro no muy lejano, con los avances de la ciencia y su evolución, ese control pueda relajarse en relación a cuestiones accesorias.
Muestro mi escepticismo en cuanto a que la función de examen y comprobación quede desvirtuada. En cualquier caso, será preferible que sea esta función de control la que resulte desdibujada en aras a la defensa de la función social de la justicia y de los derechos y garantías propios de un Estado de Derecho.»
Pere Simón Castellano (Profesor experto en Derecho de las Nuevas Tecnologías en UNIR y Abogado)
«Si hablamos de sistemas expertos y toma de decisiones, más que un riesgo es una certeza puesto que lo normal es que las decisiones humanas se acaben basando en la propuesta de la máquina. Repárese que expertos como Kahneman han descrito con detalle el proceso cognitivo humano y los atajos intuitivos que nos condicionan, siendo la comodidad y lo cercano un heurístico difícil de expulsar de la ecuación.
Un buen ejemplo lo encontramos en los centros penitenciarios. Antes hablábamos de los sistemas de valoración del riesgo de los reclusos, y he citado la herramienta RisCanvi. Los abogados alertan de que los resultados de la citada herramienta condicionan de forma decisiva la toma de decisiones por parte de las juntas de tratamiento y los equipos técnicos, que luego el juez de vigilancia penitenciaria acepta en la mayoría de las ocasiones por razones obvias —especialidad, cercanía con el caso concreto y, también, comodidad—. La función de control humana queda desvirtuada, incluso el derecho al recurso, puesto que se otorga gran credibilidad a los resultados que arroja la herramienta. Las estadísticas nos dicen que sólo en un 3.2% de los casos se ha aceptado un recurso en sentido contrario a los resultados ofrecidos por la herramienta y, en cambio, esta alcanza un nada desdeñable porcentaje de acierto de un 77% de los calificados con riesgo alto o moderado.»
José Manuel Muñoz Vela (Abogado. Director Jurídico en ADEQUA)
«Respecto del control humano, siempre debe concurrir, incluyendo el denominado "botón rojo" que permita interrumpir el funcionamiento de un sistema inteligente, incluso prever la posible remoción de decisiones y actuaciones. Sobre el riesgo de condicionamiento o fusión entre la experiencia artificial y humana, ya está ocurriendo realmente entre nuestra dimensión física y la virtual, empezando por el tiempo y acciones que realizamos en redes sociales o aplicaciones de mensajería, hasta las interacciones en mundos virtuales que verán dicha fusión consolidada en el futuro con los denominados metaversos, eso sí, cuando estos sean una realidad inmersiva, para lo que todavía queda y mucho.
En el ámbito del proceso penal, pueden producirse consecuencias negativas potencialmente graves derivadas de una confianza excesiva en la naturaleza aparentemente objetiva y científica de las herramientas de IA, si no se tiene en cuenta la posibilidad de que sus resultados sean incorrectos, incompletos, irrelevantes o discriminatorios. Conforme recoge el Parlamento Europeo en su Resolución de 6 de octubre de 2021, sobre la inteligencia artificial en el Derecho penal y su utilización por las autoridades policiales y judiciales en asuntos penales, significa que debe evitarse el exceso de confianza en los resultados ofrecidos por sistemas de IA, así como la necesidad de que las autoridades adquieran confianza y conocimientos para poner en cuestión recomendaciones algorítmicas o hacer caso omiso de ellas.»
Carlos María Romeo Casabona (Catedrático de Derecho Penal. UPV/EHU)
«En mis anteriores respuestas me he pronunciado con claridad sobre la necesidad de respetar este principio.
Por supuesto, las tareas repetitivas (sean o no en el estricto ámbito jurisdiccional), que no vayan a comportar consecuencias relevantes para el ser humano deben ser asumidas, en principio con plenitud. Sería absurdo renunciar a las enormes ventajas que nos están aportando ya en relación con estas actividades.
El problema vendrá cuando se pueda ir más allá, por ejemplo, con el desarrollo seguro y eficiente de la robótica, la IA y las tecnologías conexas autónomas, a las que me refería más arriba. Habrá que desarrollar procedimientos fiables para que también podamos aprovecharnos de este previsiblemente importante avance tecnológico, que deberá venir del principio de control humano significativo, como base, apoyado con medidas preventivas de control, basadas en la idea de las obligaciones de cumplimiento (compliance) semejantes a las utilizadas para las personas jurídicas, que no puedo desarrollar en este lugar.
Un gran reto viene también de la mano de la confrontación de las dos experiencias a las que alude la segunda pregunta, planteada de este modo: ¿cómo podrá un ser humano tomar una decisión, con la base de sus conocimientos y habilidades profesionales y los vinculados a la situación concreta, que sea contraria a la decisión —mejor: propuesta de decisión— por un sistema inteligente? Habrá que encontrar y adoptar criterios para que la bien fundada decisión del ser humano no se vea sometida a valoración (y tal vez a reproche jurídico) por la decisión contraria al sistema inteligente adoptada.»
7º. Es muy difícil hacer un pronóstico, pero qué impacto tendrá la Inteligencia Artificial en el proceso penal español en los próximos años. ¿Su aplicación dependerá más de factores éticos o de elementos técnicos? ¿De ambos?
José Díaz Cappa (Fiscal)
«Al responder a cuestiones anteriores he pretendido dar una visión general sobre esta cuestión, y sobre las posibles ventajas o ayudas que pueden suponer para los diferentes operadores jurídicos.
Además de remitirme a ello, y a modo de conclusión, me atrevería a decir que muchos de ellos son ya realidades, que otros están en fase de formación o experimentación y que otros, sin duda, son parte de un formato aún cercano a una cierta dosis de ficción, al menos en cuanto a su proyección temporal. En todo caso, los proyectos normativos nacionales e internacionales en marcha son claro ejemplo de la tendencia positiva e imparable hacia su implementación.
En base a ello, creo que el impacto en el proceso penal español no debería ser diferente al de otros del ámbito internacional comparado, sobre todo teniendo en cuenta que la formación de los recursos de IA aplicables al derecho penal, tanto sustantivo como procesal, no han de ser ajenos a políticas y normativas globales, y no solo referidas a la justicia penal en sí, sino a otras muchas cuestiones tangenciales igualmente relacionadas con los derechos fundamentales como la intimidad o la protección de datos personales, entre otras.
En cualquier caso, cualquier avance técnico, en cualquier campo, tiene su contrapunto ético. La elaboración de cualquier desarrollo normativo en según qué materias, ya lo tiene. El debate social y público, es imprescindible. En este caso, el debate ético-jurídico también, sobre todo cuando hablamos de Derecho, y, más aún de Derecho Penal, sin duda el más mediatizado y socialmente "participativo", si bien es una realidad que los avances técnicos en la actualidad son tan vertiginosos que, en muchas ocasiones, el contrapunto ético se puede quedar a la zaga.
En todo caso, sin duda, el equilibrio lógico y racional entre ambos será lo que aporte soluciones adecuadas.»
María Jesús Pesqueira Zamora (Decana Facultad de Derecho y Empresa UAO CEU. Directora académica i+Dret del ICAB)
«El impacto ya está siendo significativo en la actualidad y en los próximos años este impacto será exponencial. La maquinaria judicial y administrativa no alcanzará la velocidad del progreso de la tecnología, por eso es inexcusable que ese desarrollo se lleve a cabo bajo los parámetros de las citadas "Directrices Éticas para una IA fiable".
Será imprescindible para su aplicación el respeto de factores éticos y el avance de elementos técnicos. En este sentido, me parece fundamental que se establezca un diálogo permanente entre los diferentes sectores que abarca la IA. Ahora los foros de reflexión deberán ser de carácter transversal, no podemos ceñirnos únicamente al ámbito jurídico, si no que deberemos atender también a las aportaciones de ingenieros, informáticos…
Por último, me permito hacer una mención especial también al mundo académico, cuya investigación aplicada permitirá superar los retos que este nuevo viaje nos planteará.»
Pere Simón Castellano (Profesor experto en Derecho de las Nuevas Tecnologías en UNIR y Abogado)
«Debería ser enorme, aunque ya disponemos de cartas éticas europeas y descripción de muchos usos posibles en entornos judiciales (véase la CEPEJ). Queda pendiente la definición de qué recursos tecnológicos emplear, con independencia de si esto incluye aplicar IA propiamente dicha o no, y para qué fines o usos, puesto que muchos fines no plantean necesariamente dilemas éticos. En cambio, las cuestiones técnicas siempre estarán presentes.»
José Manuel Muñoz Vela (Abogado. Director Jurídico en ADEQUA)
«Dependerá de la educación y formación del personal, de la creación de un marco jurídico adecuado de acompañamiento que contemple y regule su uso, de las normas éticas esenciales y también de la integración de estas tecnologías en el proceso penal.
Ética y Derecho van necesariamente de la mano, y el diseño de los procedimientos penales y sus procesos asociados deben partir del respeto de los derechos fundamentales que propugnan tanto los marcos éticos como los marcos legales, empezando por nuestra Carta Magna (LA LEY 2500/1978). Cualquier solución de IA que se integre en el proceso penal debe respetar plenamente los principios de dignidad humana, no discriminación, libertad de circulación, presunción de inocencia y derecho de defensa, así como el derecho a guardar silencio, libertad de expresión e información, libertad de reunión y asociación, igualdad ante la ley, igualdad de armas y el derecho a una tutela judicial efectiva y a un juicio justo, de conformidad con la Carta y con el Convenio Europeo de Derechos Humanos (LA LEY 16/1950).
Asimismo, también deben integrarse en su propio diseño los demás principios éticos comentados anteriormente (fiabilidad, transparencia, explicabilidad, trazabilidad, rendición de cuentas, auditabilidad, etc.), la seguridad, así como el cumplimiento regulatorio, y durante todo su ciclo de vida, desde su diseño y desarrollo informático, su integración, entrenamiento, despliegue, aplicación, funcionamiento y mantenimiento, lo que involucra a diseñadores, programadores, científicos de datos, entrenadores, fabricantes, ensambladores, productores y proveedores.
Y, del mismo modo, la IA deberá construirse y desplegarse bajo un modelo de gobernanza claro y coherente que garantice los derechos fundamentales de las personas, tomando en consideración la continua evolución de la tecnología. También deberá asegurarse su revisión y auditoría de manera periódica por autoridades independientes.
Garantizar esto exige la adopción de procedimientos adecuados de selección y contratación pública de los sistemas inteligentes más adecuados para su uso en el proceso penal.
En relación con todo ello, en mi opinión, precisamos de un marco jurídico específico, preciso y claro que regulen las condiciones, modalidades y consecuencias del uso de la IA en el ámbito del proceso penal, garantizando la transparencia, los derechos de las personas y procedimientos eficaces y accesibles para la reclamación y recurso. Asimismo, su desarrollo, despliegue y uso en este ámbito deberán estar sujetos a una evaluación de riesgos previa y a una estricta comprobación de los criterios de necesidad y proporcionalidad, debiendo guardar proporción las salvaguardas con los riesgos identificados, tal y como el Parlamento Europeo recogió en la precitada Resolución, de 6 de octubre de 2021.
La IA debe ser incorporada como medio de ayuda en los procedimientos judiciales para asistir, no sustituir, a la administración de justicia, el ejercicio de la potestad jurisdiccional y la toma de decisiones por quién tiene encomendado constitucionalmente su administración con sometimiento a la Ley.
Para su integración debe considerarse también la percepción social de la IA y considero que la sociedad actual carece de la información y educación digital adecuada para entender y aceptar una futura decisión adoptada por un sistema inteligente, cuestión sobre la que el Presidente de la Sala de lo Penal del Tribunal Supremo, D. Manuel Marchena, se pronunció en la misma línea en una reciente conferencia impartida en Barcelona.
La IA aplicada ayudará a impartir justicia de una manera más ágil, dinámica, eficaz, eficiente y dinámica, si bien, no deberá sustituir al juez sino empoderarlo para garantizar mayor seguridad jurídica y resoluciones más justas. Las decisiones con efectos legales e impacto en derechos fundamentales en el ámbito penal deberían ser siempre tomadas por un ser humano que debe justificar y rendir cuentas de la misma, salvaguardando así el derecho ya existente a no ser objeto de una decisión que produzca efectos jurídicos sobre la persona o que le afecte significativamente y que se base en el tratamiento automatizados de datos. El Parlamento Europeo también se ha pronunciado sobre esta cuestión en la Resolución precitada, en la que aboga por la discrecionalidad soberana de los jueces, las decisiones caso a caso y la prohibición de la IA y las tecnologías conexas incluso para proponer decisiones judiciales.»
Carlos María Romeo Casabona (Catedrático de Derecho Penal. UPV/EHU)
«No es fácil hacer predicciones, sobre todo en materias que son objeto de constante desarrollo.
A corto y medio plazo no veo influencias mayores de la IA en el proceso penal, en concreto en los aspectos predictivos como base para imponer una pena más grave (incluso aunque fuera sin rebasar el marco legal de la pena), excluir beneficios penitenciarios o aplicar medidas de seguridad; siempre que fueran compatibles con nuestras leyes vigentes. Si los programas predictivos sobre la posible recidiva de un delincuente se desarrollasen, de modo que ganasen en fiabilidad (por el momento, estamos muy lejos de ello) y se pudiera demostrar cuáles fueron los factores determinantes relativos al delincuente para establecer su peligrosidad criminal, a lo sumo podría aceptarse como un elemento más pericial que podría utilizar el tribunal junto con otros para tomar su decisión, dentro del marco legal de valoración discrecional de la prueba, sin otorgarle un peso por sí mismo superior.»