Carlos B Fernández. Las dos principales potencias económicas y tecnológicas del mundo occidental, Europa y los Estados Unidos, están embarcadas en sendos procesos para elaborar una regulación de los sistemas algorítmicos de toma de decisiones por medio de la inteligencia artificial (IA).
Se trata de unos procesos que parten de principios y fundamentos políticos próximos, pero diferentes, al igual que persiguen objetivos parecidos, aunque no exactamente coincidentes. Y sin embargo, a ningún observador de los mismos se le escapa que ambas futuras normas presentan numerosos aspectos comunes que permiten advertir que ambos pueden influirse mutuamente para mejorar su alcance y contenido.
Precisamente a analizar esos puntos de coincidencia y posible mejora recíproca se ha dedicado un reciente artículo publicado en Minds & Machines por los profesores Jakob Mökander, del Oxford Internet Institute, David S. Watson, del Department of Statistical Science del University College London y Luciano Floridi, del Departmento de Estudios Jurídicos de la Universidad de Bologna.
En “The US Algorithmic Accountability Act of 2022 vs. The EU Artificial Intelligence Act: what can they learn from each other?” estos autores destacan para empezar que si bien la Algorithmic Accountability Act of 2022 (AAA) de EEUU y la propuesta de Reglamento europeo de IA de 2021 (AIA) nacen en contextos políticos y tradiciones legislativas muy diferentes, comparando los puntos fuertes y las limitaciones relativas de ambas propuestas pueden extraerse valiosas conclusiones.
De la autorregulación a la normación
La AAA estadounidense es el último hito de una tendencia mundial orientada a complementar o sustituir la autorregulación de los sistemas algorítmicos por una regulación positiva, iniciada por la propuesta la Ley de Inteligencia Artificial presentada por la Comisión Europea en 2021.
La propuesta norteamérica se presentó en febrero de 2022 por los senadores Wyden y Brooker y por la representante Yvette Clark ante el Senado y la Cámara de Representantes de los Estados Unidos. Su finalidad es abordar la creciente preocupación pública por el uso generalizado de los sistemas automatizados de toma de decisiones (ADS, por su abreviatura en inglés), proponiendo una serie de medidas que deberán adoptar las organizaciones que desplieguen estos sistemas, a fin de identificar y mitigar los riesgos sociales, éticos y legales que plantea su uso.
Desde el punto de vista político, y a diferencia de la AIA de la UE, que fue propuesta por el poder ejecutivo de la UE, lo que pone de manifiesto un fuerte respaldo institucional a la ley (aunque probablemente evolucione antes de convertirse en norma), la AAA de EEUU aún no ha conseguido el apoyo del Senado o de la Cámara de Representantes y sigue sin estar claro si reunirá suficiente apoyo político para convertirse en ley.
En cuanto a su estilo y profundidad, la AIA de la UE es, en opinión de estos autores, un documento extenso y a veces opaco, que intenta establecer normas para el uso de los ADS y proporciona detalles sobre cómo se van a aplicar. En comparación, la AAA de EEUU adopta un enfoque relativamente de alto nivel. Define la terminología crítica y estipula los requisitos que deben cumplir los propietarios de ADS. Sin embargo, delega las cuestiones relativas a su aplicación a la Comisión Federal de Comercio (FTC).
Puntos comunes
Pero estos autores desatacan también que ambas propuestas tienen mucho en común.
Por ejemplo, ninguna de las dos leyes pretende prohibir o limitar el uso de las ADS. Por el contrario, ambas pretenden establecer la infraestructura de gobernanza necesaria para responsabilizar a los malos actores y permitir a los actores con buenas intenciones garantizar y demostrar que sus ADS son éticas, legales y seguras.
Para ello, la AAA exige a las organizaciones que realicen evaluaciones de impacto antes y después del despliegue de los ADS. Este doble planteamiento refleja los criterios relativos a las evaluaciones de conformidad y los planes de seguimiento posteriores a la comercialización que exige la Ley de Evaluación de Impacto de la UE.
Esta inclusión de las evaluaciones tanto ex ante como ex post es bienvenida por los autores del estudio, en la medida en que tiene en cuenta el hecho de que los ADS evolucionan y actualizan su lógica interna de toma de decisiones a lo largo del tiempo. Sin embargo, advierten también, como todos los mecanismos de gobernanza, las evaluaciones de impacto tienen limitaciones. Por ejemplo, pueden no identificar y mitigar daños específicos, o reducir la ética a un ejercicio de marcar casillas.
Pese a ello, y combinadas con un sólido respaldo institucional, las evaluaciones de impacto contribuyen a crear una documentación rastreable y ayudan a suscitar la deliberación ética en las organizaciones que diseñan y despliegan ADS. Por tanto, se considera que el énfasis en la regularidad y la transparencia de los procedimientos en ambos documentos es prometedor.
Ventajas de la propuesta norteamericana
Con carácter general, la AAA de EEUU plantea un enfoque pragmático del problema que supone la gestión de los retos jurídicos y éticos que plantean los sistemas automatizados de toma de decisiones. En opinión de estos autores, su marco es sólido, los mecanismos de aplicación propuestos están bien establecidos y el proyecto de ley trata explícitamente de equilibrar la supervisión reguladora necesaria con los incentivos para la innovación.
Con un carácter más particular, destacan:
- “Sistemas automatizados de toma de decisiones”, en lugar de “sistemas de IA”
El principal mérito de la AAA estadounidense es que se enmarca en términos de ADS en lugar del término más popularizado de "sistemas de IA", preferido por la Comisión Europea.
Ambos términos suelen utilizarse indistintamente en la literatura. Sin embargo, estos autores consideran que el término “sistemas automatizados de toma de decisión” capta mejor las características técnicas que interesan de los mismos y que pueden basarse en una mezcla heterogénea de algoritmos de aprendizaje automático y marcos de argumentación codificados.
- “Sistemas de decisión críticos” en vez de “sistemas de IA de alto riesgo”
La AAA estadounidense se centra en la regulación de los "procesos de decisión críticos" en lugar de los "sistemas de IA de alto riesgo" en los que se enfoca la AIA. Con ello evita la cuestión ontológica de qué es un sistema de IA y tiene en cuenta que el nivel de automatización, en los procesos de toma de decisiones, se entiende mejor como una diferencia de grado en un espectro.
Por otra parte, como la definición de ADS es independiente de la tecnología en la que se basa, también está preparada para el futuro. Además, enmarcar la legislación en términos de ADS evita debates sobre la naturaleza de la inteligencia, la cognición o la conciencia que a menudo se asocian con el término inteligencia artificial. En resumen, la terminología de la AAA estadounidense es científicamente sólida y coherente con su objetivo normativo. Una AIA revisada de la UE debería adoptar lo mismo.
- Ámbito de aplicación
Una segunda ventaja de la AAA estadounidense es la delimitación de su ámbito de aplicación. Las obligaciones de transparencia que establece se aplican a las empresas
que "emplean ADS para tomar decisiones críticas", es decir, para cualquier decisión que tenga efectos legales o materiales significativos en la vida de un consumidor.
Esto incluye el acceso a la educación, el empleo y los servicios financieros (AAA de EE.UU., sección 2.7).
En cambio, la AIA de la UE se centra en los los llamados "sistemas de IA de alto riesgo", a los que exige que, entre otras cosas, se sometan a una evaluación de conformidad. A primera vista, esta diferencia puede parecer de poca importancia. Sin embargo, el cambio es significativo, ya que las tensiones éticas no surgen solo por el uso de ADS, sino que también pueden estar relacionadas con el contexto más amplio de las tareas de toma de decisiones apoyadas por ADS (Danks y London, 2017). Por lo tanto, los autores del informe consideran que tiene sentido -como hace la AAA de EE.UU.- evitar las preguntas sobre lo que es un "sistema de IA" y centrarse en cambio en la identificación de los procesos de toma de decisiones que requieren capas adicionales de supervisión pública.
- Evaluación ética y legal de los sistemas sujetos a la norma
Por último, la AAA de EE.UU. introduce un punto de referencia para la evaluación ética y legal, de los sistemas de toma de decisiones automatizadas, al exigir a las organizaciones que comparen el rendimiento de un nuevo sistema de automatización con el de los procesos de toma de decisiones preexistentes que se pretende aumentar o sustituir.
Según los autores, esto es razonable, ya que tanto los responsables de la toma de decisiones humanos como los ADS tienen sus propios puntos fuertes y débiles (complementarios). Por ejemplo, los riesgos asociados a los ADS son bien conocidos e incluyen violaciones de la privacidad y resultados discriminatorios (Tsamados et al., 2021).
Al mismo tiempo, el juicio humano está sujeto a muchos sesgos cognitivos y puede verse influido por prejuicios y factores circunstanciales (Kahneman et al., 2021).
Por lo tanto, cuando se utiliza correctamente, un ADS puede conducir a decisiones más objetivas y potencialmente más justas. La AAA de EEUU tiene en cuenta esta dinámica al exigir a las organizaciones que despliegan nuevoss ADS que "describan el proceso de toma de decisiones existente" y "expliquen los beneficios que se pretenden obtener al aumentarlo" (AAA, sección 4). Este requisito ayuda a los proveedores de tecnología y a los tribunales a comparar los ADS con las posibilidades y limitaciones relativas de los responsables de la toma de decisiones humanos y a someterlos a obligaciones de garantía de calidad y transparencia adecuadas y proporcionales.
Aspectos positivos de la propuesta euroea
- Ámbito de aplicación subjetivo
En primer lugar, la AAA de EEUU sólo se aplica a las "grandes empresas" que a) facturan más de 50 millones de dólares al año, b) tienen más de 250 millones de dólares de valor en acciones, o c) procesan la información de más de un millón de usuarios.
Este enfoque exclusivo en el tamaño de las empresas es desafortunado porque muchas decisiones críticas (y a menudo automatizadas), son tomadas por agencias gubernamentales que están fuera de la jurisdicción de la FTC, como las herramientas basadas en ADS utilizadas por los gobiernos locales para ayudar a determinar qué familias deben ser investigadas por las agencias de bienestar infantil (Stapleton et al., 2022).
Además, aunque su excepción para las pequeñas y medianas empresas (PYMES) es comprensible, su formulación actual en el proyecto de ley es poco útil. El coste del cumplimiento de las nuevas normativas tiende a afectar a las PYME de forma desproporcionada. Por ello, los responsables políticos deberían evitar aumentar las barreras de entrada en unos mercados ya muy concentrados. Sin embargo, no someter a todas los ADS a los mismos requisitos de transparencia expone a los titulares de los datos a riesgos innecesarios y podría permitir a los actores malintencionados evitar la supervisión reglamentaria mediante la externalización de tareas a través de la "contabilidad creativa".
Aunque la AAA de EEUU establece que las empresas más pequeñas que son "sustancialmente propiedad, operadas o controladas" por una "gran empresa" tendrán que seguir estas normas, no está claro si la simple contratación de decisiones automatizadas a empresas más pequeñas estaría cubierta por la legislación.
En este sentido, la AIA de la UE ofrece un modelo mejor, ya que impone requisitos coherentes a todas los ADS, pero ofrece un apoyo específico a las PYME para reducir sus costes a la hora de garantizar y demostrar su cumplimiento (artículo 55).
- Igualdad de trato e igualdad de resultados
En segundo lugar, la AAA de EEUU pretende garantizar tanto la igualdad de trato de los sujetos de decisión, como la igualdad de resultados para los diferentes grupos protegidos, una aspiración difícilmente alcanzable.
Del mismo modo, las diferentes definiciones de equidad -como la equidad individual, la paridad demográfica y la igualdad de oportunidades- son mutuamente excluyentes en todos los problemas, excepto en los más triviales (Kleinberg, 2018). Según la Secc. 4.4 de la AAA de EE. UU., las entidades incluidas en el ámbito de aplicación de la ley, están obligadas a "realizar una evaluación continua de cualquier rendimiento diferencial asociado a la raza, el color, el sexo, el género, la edad, la discapacidad, la religión, la situación familiar, socioeconómica o de veterano de guerra de los sujetos de datos... de los que la entidad obligada disponga de información".
El problema identificado deriva de la falta de claridad de la palabra "rendimiento". Las empresas pueden optar por definir el rendimiento de forma restringida, lo que les permite ofuscar los impactos discriminatorios al optar por no incluir métricas específicas en su definición (por ejemplo, un ADS que concede la misma proporción de préstamos a personas de diferentes orígenes, pero discrimina en el importe del préstamo). Del mismo modo, las empresas pueden optar por dejar de recopilar información sobre las clases protegidas para evitar tener que realizar este análisis.
Por último, la investigación ha demostrado que se pueden utilizar métodos contradictorios para superar las auditorías de equidad estándar incluso con algoritmos diseñados para garantizar el impacto discriminatorio (Kearns et al., 2018; Slack et al., 2020), lo que sugiere que siguen existiendo obstáculos técnicos para la supervisión y el cumplimiento. No está claro qué peso tiene este requisito en relación con otras métricas de rendimiento como la precisión, la eficiencia y la privacidad.
- Definiciones
En tercer lugar, la AAA de EEUU -como muchos proyectos de ley estadounidenses- es mucho menos específica que la AIA de la UE. En el lado positivo, la ampliación del proyecto de ley, de 15 a unas 50 páginas (de 2019 a 2022), ha permitido incluir definiciones adecuadas de términos como ADS y "entidad obligad" (es decir, una persona u organización a la que se aplica el proyecto de ley). Aun así, la AAA delega en la FTC muchas decisiones importantes sobre el diseño de la política.
Por ejemplo, el proyecto de ley estipula que las entidades sujetas a la misma deben llevar a cabo evaluaciones de impacto, pero se deja abierta la posibilidad de que la FTC determine qué documentación e información debe presentarse tras completar dicha evaluación.
Esto no es necesariamente negativo; la mayoría de las leyes aprobadas por el Congreso delegan cierta autoridad en las agencias ejecutivas (Clouser McCann & Shipan, 2022). Sin embargo, la falta de especificidad de la AAA es un problema en los casos en que es innecesariamente vaga sin delegar esos detalles a la FTC. Por ejemplo, se exige a las entidades incluidas en su ámbito de aplicación que "en la medida de lo posible [consulten] a las partes interesadas, como los expertos en tecnología y los representantes de los grupos afectados" (US AAA, Secc. 3). La inclusión (frecuente) de calificativos como "en la medida de lo posible" corre el riesgo de diluir la legislación propuesta.
Con todo, y dado que aún se desconocen sus detalles, es difícil comparar a fondo la AAA de EEUU con la AIA de la UE, que perfila con detalle un ecosistema de garantías a escala europea.
Los autores del informe consideran que el actual esfuerzo estadounidense por regular los ADS es demasiado modesto. Al fin y al cabo, no sólo los "consumidores" sino los "ciudadanos" en general se ven cada vez más afectados por los ADS. Además, una política es tan fuerte como las instituciones que la respaldan. Y en este sentido, mientras que la AIA forma parte de un esfuerzo holístico a largo plazo por parte de la UE para dar forma al ecosistema digital en la Unión y fuera de ella, la AAA de Estados Unidos constituye solo un intento fragmentado.
Hacia una gobernanza digital – El “efecto Bruselas”
Tras la introducción del RGPD en 2016, se ha observado el llamado "efecto Bruselas", por el que las organizaciones multinacionales optan por armonizar todas sus prácticas internacionales de gestión de datos con las leyes de la UE por razones prácticas (Bradford, 2020). El AIA de la UE puede tener un efecto similar.
Por el contrario, el impacto de la AAA de EEUU -si se convierte en ley- sería casi seguro limitado sin un enfoque más coordinado. Dado el peso económico y el liderazgo tecnológico de EEUU, es lamentable que no se produzca un "efecto Washington" que configure positivamente los ecosistemas digitales mundiales.
Por un lado, los últimos acontecimientos sugieren que Estados Unidos está aumentando sus esfuerzos en materia de diplomacia tecnológica. Por ejemplo, EE.UU. y la UE han acordado desarrollar una hoja de ruta conjunta sobre herramientas de evaluación y medición para una IA fiable y la gestión de riesgos (Consejo de Comercio y Tecnología UE-EE.UU., 2022). Por otro lado, aún no está claro si la propia AAA estadounidense tiene alguna posibilidad de ser aprobada, dado que los recientes intentos de versiones estadounidenses de la legislación tecnológica de la UE, como la American Innovation and Choice Online Act de 2022 (análoga a la Digital Markets Act de la UE) y la Data Protection Act de 2021 (análoga al GDPR (LA LEY 6637/2016)) se han estancado en el Congreso y este acaba de sufrir una modificación de su composición que ha desplazado la mayoría al lado republicano, menos favorable a la regulación de las nuevas tecnologías.
Por otra parte, recientes encuestas han mostrado que el apoyo público a una mayor regulación de las grandes empresas tecnológicas ha caído del 56% de los estadounidenses en abril de 2021 al 44% en mayo de 2022 (Vogels, 2022). Esto, unido a una divergencia en los objetivos partidistas (por ejemplo, los republicanos se centran en las denuncias de discriminación contra los conservadores en las redes sociales y los demócratas en las denuncias de desinformación (Kang & McCabe, 2022)), hace poco probable que la AAA estadounidense avance más en el Congreso. Lo que queda es la posibilidad de una acción ejecutiva por parte de la mayoría demócrata en la FTC, cuyo enfoque parece estar en la regulación antimonopolio y de la privacidad, no en la regulación de las ADS (Harding McGill & Gold, 2022).
Las preguntas difíciles que hay que abordar se refieren a qué criterios de decisión y pruebas (datos de entrada) deben considerarse legítimos (o al menos socialmente aceptables) para los diferentes procesos de toma de decisiones privados y públicos. Para responder a estas preguntas es necesario tener una visión positiva de lo que deberían ser las sociedades del futuro. Por lo tanto, los responsables políticos deberían ir más allá de los intentos de garantizar una "responsabilidad algorítmica" mínima y centrarse, en cambio, en el diseño de mecanismos de gobernanza pública que permitan a las organizaciones hacer concesiones justificables dentro de los límites de la permisividad legal y la viabilidad comercial para dar forma a cómo se diseñan las ADS y a qué fines sirven.