M. Àngels Barbarà Fondevila
Directora de la Autoridad Catalana de Protección de Datos
Cuando hablamos de IA nos referimos a capacidad que tienen las máquinas de llevar a cabo tareas que hasta ahora estaban reservadas a las personas, aprendiendo de la experiencia. Las aplicaciones son innumerables y abarcan todo tipo de sectores (1) . Los potenciales beneficios son por tanto enormes; tanto para organizaciones (que ganan la habilidad de tomar decisiones complejas con gran eficiencia) como para ciudadanos (que reciben mejores servicios). Ahora bien, que una cosa sea tecnológicamente factible, no significa que se deba hacer. La sociedad debe asegurarse de que es ella quien fija los límites para la IA y no la IA que determina el tipo de sociedad. En general, hay que evitar que la IA sea un instrumento que beneficia a quienes la aplican en detrimento del resto. El objetivo debe ser un bien común, fundamentado sobre una evaluación de riesgo y beneficio.
Protección de Datos
Los sistemas de IA actuales se basan en el aprendizaje automático a partir de grandes conjuntos de datos. En la medida en que se usan datos personales, bien sea en la fase de entrenamiento o en la operación, el RGPD aplica.
Aunque el RGPD sea tecnológicamente neutro, el artículo 22, sin mencionar directamente la IA, está pensado para ponerle límites en aquellas decisiones que tienen un impacto más importante sobre las personas. Sin prohibirlas completamente, exige unas garantías para los afectados, como la posibilidad de oponerse a la decisión y de exigir la intervención humana.
Las fricciones entre el RGPD y la IA son múltiples, podemos destacar el hecho que la mayoría de los actuales sistemas de IA actúan como una caja negra --limitando nuestra capacidad de entender el porqué de las decisiones y, por tanto, la transparencia--, los problemas de fiabilidad o los sesgos
Más allá de dicho artículo, las fricciones entre el RGPD y la IA son múltiples. Sin entrar en detalles, podemos destacar el hecho que la mayoría de sistemas de IA actuales actúan como una caja negra (limitando nuestra capacidad de entender el porqué de las decisiones y, por tanto, la transparencia), de los problemas de fiabilidad (un sistema de IA puede tener un comportamiento general muy bueno, pero fallar de forma absurda en algunos casos) o de los sesgos (que pueden tener origen tanto en los datos de entrenamiento como en el diseño del sistema, y que son muy difíciles de evitar completamente).
Hay múltiples campos de investigación abiertos para dar solución a los problemas anteriores y puede ser que alguna de las fricciones anteriores se solucione en el futuro. Por ejemplo, con el objetivo de que la IA deje de ser una caja negra, se está investigando en IA explicable (XAI). Aún así, hay cuestiones esenciales que la tecnología no puede resolver, y para las cuales ética y visión crítica de la tecnología son fundamentales. Por ejemplo, no debe ser responsabilidad de los tecnólogos decidir si un sistema es discriminatorio o no; un caso que ilustra esto a la perfección es el de COMPAS, un sistema utilizado en los EE. UU. para medir el riesgo de reincidencia criminal en presos. Este ofrece la fiabilidad que los diseñadores quieren independientemente de las características de los grupos a que se aplica, pero aun así la tipología de errores hace que haya un trato discriminatorio hacia ciertos grupos (2) .
Control de las personas
El control de las personas es una de las aplicaciones que, desde nuestra mentalidad occidental, se ven con más preocupación, sobre todo cuando este se ejerce por parte de un estado. Si bien las capacidades de vigilancia electrónica son ya enormes, añadir la IA a esta ecuación puede dar lugar a un control casi absoluto de las personas. El sistema de crédito social de la República Popular China es el caso más conocido (3) : una vigilancia electrónica masiva de redes sociales, de comunicaciones personales e, incluso, de la vida pública (con reconocimiento facial) permite evaluar el comportamiento de los ciudadanos en todos sus aspectos de la vida para premiarlos o castigarlos. Hay que remarcar que este sistema tiene una aceptación bastante mayoritaria entre la población china.
Aunque no a ese nivel, la videovigilancia masiva con reconocimiento facial también se aplica en gran parte de las democracias occidentales. Y esto es así incluso cuando hay dudas razonables sobre la precisión y el riesgo de discriminación que tienen estos sistemas. Cabe destacar el caso de Clearview, empresa que ha generado una base de datos con datos de miles de millones de persona a partir de la información disponible en internet (4) .
La vigilancia electrónica, más o menos sofisticada, no es el único modo de controlar a las personas. La IA ofrece otras formas más sutiles de control. La literatura, como casi siempre, nos sirve de inspiración, con la contraposición entre la vigilancia de Orwell y la sugestión de Huxley. Huxley nos presenta una sociedad dócil a la que ya no hace falta controlar, que ha llegado a ese estado de forma gradual, gracias a los placeres modernos, inconsciente de su colaboración. Salvando las distancias, el uso masivo de las tecnologías digitales y la gran cantidad de información que generamos, junto a la capacidad de perfilado y una personalización mal aplicada, nos acerca a esa sociedad felizmente inconsciente. Es conocido el caso de Cambridge Analytica en las elecciones de los EE. UU., donde cada elector recibía publicidad con el mensaje que quería escuchar (de acuerdo con un perfil obtenido sin consentimiento de las redes sociales). Lo que no es tan conocido es que Cambridge Analytica tuvo actividad en 68 países, convirtiéndose en una herramienta de manipulación de los votantes a escala global (5) .
Una regulación europea para la IA
El RGPD tiene algunas limitaciones para el control de los sistemas de IA. Por un lado, solo aplica cuando el sistema trata datos personales, cosa que excluye sistemas que pueden tener un gran impacto sobre las personas, como las infraestructuras críticas. Además, el hecho de que el RGPD sea tecnológicamente neutro es también una limitación para tratar las especificidades de esta tecnología.
Si bien ha habido un debate importante sobre la necesidad y la conveniencia de regular la IA (con argumentos en contra basados, por ejemplo, en el riesgo de quedar en desventaja sobre otros países en el desarrollo de la IA), lo cierto es que parece que la tendencia es a regular. Este es el caso de la actual Comisión Europea, que, tras varios trabajos, presentó una propuesta de regulación (6) .
La propuesta de la Comisión busca una IA confiable, donde «confiable» significa muchas cosas: solidez técnica y seguridad, transparencia, protección de datos, no discriminación, bienestar social, supervisión humana, rendición de cuentas, etc. Para conseguir estos objetivos, la propuesta prohíbe el uso de IA para llevar a cabo ciertas actividades y ajusta el nivel de exigencia para los usos permitidos al nivel de riesgo (siendo exigente para los sistemas de riesgo alto y pidiendo únicamente transparencia para el resto). Por ejemplo, son actividades prohibidas:
-
• Los sistemas que utilizan técnicas subliminales o aprovechan vulnerabilidades de grupos específicos de personas, para alterar de manera sustancial su comportamiento.
-
• Los sistemas que permiten a las autoridades públicas evaluar la fiabilidad de las personas atendiendo a su conducta social y que pueda dar lugar a un trato desfavorable en otros contextos o que sea desproporcionado.
-
• Los sistemas de identificación biométrica remota en tiempo real en espacios de acceso público con fines de aplicación de la ley, con algunas excepciones en la lucha contra el crimen.
Conclusión
Los beneficios de la IA son muchos, pero también lo son los riesgos. Hemos visto las tres patas fundamentales para conseguir una IA confiable. En la base de todo está la ética, que nos ha decir si un sistema encaja con nuestros valores sociales. Pero esto no es suficiente, hacen falta instrumentos que sean legalmente exigibles. Aquí, a parte de las posibles regulaciones sectoriales, encontramos el RGPD y la propuesta de reglamento europeo para la IA.
Aunque la tendencia actual parece ser hacia una regulación, hay que notar que la IA es una tecnología compleja con unas particularidades que la hacen, actualmente, difícilmente adaptable a exigencias estrictas, por ejemplo, en materia de transparencia y explicabilidad. Por ello y dada la importancia que tienen esta tecnología para nuestras sociedades, cualquier regulación ha de hacer un juego de equilibrios que proteja a las personas suficientemente pero que no comprometa el desarrollo de la IA.