Carlos B Fernández. Los sistemas automatizados de toma de decisiones están siendo cada vez más usados en ámbitos como los seguros, la banca, el acceso a servicios de salud o laborales. Se trata de unos sistemas cuya utilización rara vez se conoce por los afectados por sus decisiones, y de los que, en consecuencia, no se suele conocer ni los datos que utilizan para realizar sus cálculos, ni la lógica o valores que subyacen en sus algoritmos.
La Unión Europea estableció determinadas prevenciones al respecto en el artículo 22 del Reglamento General de Protección de Datos (RGPD) (LA LEY 6637/2016). Una regulación que, en los Estados Unidos, fue seguida varios años después, por la Algorithmic Accountability Act (ley de evaluación algorítmica) de 2019.
Esta norma, tras recoger un amplio catálogo de definiciones relativas a la realización de procesos de toma de decisiones automatizadas, se limitada a establecer que la Federal Trade Commission (el Departamento de de Comercio de los Estados Unidos), establecería la obligación de las entidades que realizasen esos tratamientos de realizar una evaluación de impacto sobre los riesgos inherentes a los mismos.
El escaso alcance de esa regalución y la rápida evolución tecnológica experimentada en los últimos años ha llevado a los senadores demócratas estadounidenses, Ron Wyden y Cory Booker, junto con la congresista del mismo partido Yvette Clarke, a plantear una actualización, más rigurosa de dicha norma, que se denominará Ley de Responsabilidad Algorítmica de 2022 (Algorithmic Accountability Act of 2022).
La finalidad de este nuevo texto es aportar transparencia y medidas de supervisión al software, los algoritmos y otros sistemas automatizados que se utilizan para tomar decisiones críticas sobre casi aspectos muy relevantes de la vida de los estadounidenses.
En su virtud, la propuesta obligará a las empresas a evaluar el impacto que los sistemas automatizados que utilizan y venden, de acuerdo con un contenido mucho más preciso, a la vez que se introducen medidas de transparencia sobre cuándo y cómo se utilizan estos sistemas automatizados, permitiendo a los consumidores tomar decisiones informadas sobre los procesos automatizados que les afecten.
Según informan sus autores, esta propuesta se ha realizado tras consultar con docenas de expertos, grupos de interés y otros colectivos interesados, sobre como mejorar la Ley anterior. Esta propuesta comparte los objetivos de la de 2019, pero incluye numerosas mejoras técnicas, incluyendo la precisió de qué tipo de algoritmos y entidades están afectados por la misma, asegurando que en estas evaluación se sitúan en primer plano los intereses de los consumidores y añadiendo detalles precisos sobre la estructura de los informes a elaborar.
En concreto, el objetivo formal de la norma es ordenar a la Comisión Federal de Comercio que exija evaluaciones de impacto de los sistemas de decisión automatizados y de los procesos de decisión crítica aumentados. Además, proporciona criterios de referencia para que las empresas evalúen el impacto de la automatización de la toma de decisiones críticas, incluyendo los procesos de decisión que ya han sido automatizados.
La norma se aplicará a las personas, sociedades o corporaciones sobre las que la Comisión Federal de Comercio tiene jurisdicción y que 1) cumplen ciertas condiciones mínimas en cuanto a ingresos brutos anuales, valor del patrimonio neto o datos sobre los consumidores y despliegan una “Augmented critical decision process” (ACDP, cualquier procedimiento o actividad que utiliza un sistema automatizado para la toma de una decisión crítica) y, 2) cumple unas condiciones mínimas inferiores en cuanto a ingresos brutos anuales o valor de los fondos propios y es un ingresos brutos anuales o valor de los fondos propios y es una entidad que despliega (incluyendo la puesta a disposición para la licencia o la venta) cualquier ADS para su uso en ACDP, o 3) cumple los criterios descritos en los puntos 1) o 2) en los 3 años anteriores.
Estas empresas tendrán la responsabilidad de evaluar el impacto que las mismas puedan tener sobre los usuarios y documentar dicha evaluación.
Por otra parte, requiere a la FTC para que publique un informe anual agregado y anónimo sobre las tendencias y que establezca un repositorio de información donde los consumidores y los defensores puedan revisar qué decisiones críticas han sido automatizadas por las empresas, junto con información como las fuentes de datos, las métricas de alto nivel y cómo impugnar las decisiones, en su caso. Además, añade recursos personales a la FTC y crea una Oficina de Tecnología para enfocar las decisiones automatizadas.
Definiciones
La Sección 2 de la propueste incluye una serie de definiciones bastante parecida a la de la Ley de 2019, incluyendo términos como "proceso de decisión crítica aumentado", "sistema de decisión automatizado", "decisión crítica", "entidad afectada por la norma", "desarrollar", "información de identificación" o "impacto".
En este sentido, define como "Sistema de decisión automatizado" (ADS) a cualquier sistema, programa informático o proceso (incluidos los derivados del aprendizaje automático, estadística u otras técnicas de procesamiento de datos o inteligencia artificial, excluyendo la infraestructura informática pasiva) que utiliza la computación y cuyo resultado sirve de base para una decisión o juicio.
Por "Decisión crítica" se entiende una decisión o juicio relacionado con el acceso de los consumidores a la educación y la formación profesional, o con su coste, condiciones o disponibilidad, el empleo, los servicios públicos esenciales, la planificación familiar, los servicios financieros, la atención sanitaria, la vivienda o alojamiento, los servicios jurídicos o cualquier otro servicio, programa u oportunidad que tenga un efecto jurídico o similarmente significativo en la vida de un consumidor, según lo determine la Comisión Federal de Comercio en las normas que elabore.
Por "Evaluación de impacto" se define el estudio y la evaluación continuos de un sistema de decisión automatizado o de un proceso de decisión crítica aumentada y su impacto en los consumidores.
Evaluaciones de impacto
La sección 3 de la propuesta exige a la FTC que promulgue una normativa que obligue a las empresas a realizar una evaluación del impacto continua, de cualquier decisión crítica que se automatice y que afecte a la vida de los consumidores y de cualquier sistema de decisión automatizado, desplegado para ser utilizado por otras entidades para tomar decisiones críticas. También exige a las empresas que conserven la documentación de dicha evaluación de impacto durante 5 años después de la finalización del despliegue.
La normativa exigirá a las empresas:
- Revelar su condición de entidad sujeta a las obligaciones establecidas por esta norma, a cualquier organización asociada que desarrolle sistemas automatizados de toma de decisiones para dicha entidad
- Presentar informes a la FTC sobre cualquier evaluación de impacto que realicen;
- Consultar de forma significativa tanto a las partes interesadas internas como a las externas independientes en la medida de lo posible; y
- Intentar eliminar o mitigar los impactos con un probable impacto negativo material.
Durante la promulgación de esta normativa, la FTC tendrá en cuenta diferentes factores, como el hecho de que el ciclo de vida del desarrollo de la tecnología permitirá determinadas evaluaciones solo en algunas etapas particulares de desarrollo e implementación del sistema, la carga administrativa impuesta tanto a la entidad afectada como a la Comisión, el grado de estandarización de los informes, las normas de privacidad y otras existentes, y si pudiera ser necesaria la compartición de información entre las entidades afectadas y otras entidades que desarrollan sistemas automatizados de toma de decisiones.
Además, la FTC puede adaptar los requisitos a las diferentes categorías de decisión crítica y a las etapas de desarrollo y despliegue de un sistema automatizado de toma de decisiones.
Requisitos para la realización de la evaluación de impacto por una empresa afectada por la norma
La sección 4 proporciona detalles sobre el proceso de evaluación de impacto, que es un proceso interno dentro de una entidad incluida dentro del ámbito de aplicación de la norma, incluido qué tipo de evaluación, documentación y análisis deben considerarse y llevarse a cabo, según corresponda en cada caso.
La mayor parte de esta sección se centra en los elementos de evaluación de los sistemas automatizados de toma de decisiones, e incluye requisitos para:
- La descripción de cualquier proceso automatizado en curso que se sustituya por un nuevo;
- Documentación de cualquier dato u otra información de entrada utilizada para el desarrollo, prueba, mantenimiento o actualización;
- Prueba y evaluación de los riesgos para la privacidad y las medidas de mejora de la privacidad;
- Pruebas y evaluación del rendimiento actual e histórico, incluidas las pruebas tanto antes como después del despliegue;
- Documentación de las fechas significativas de desarrollo y despliegue y de los puntos clave de contacto;
- Información sobre la participación de las partes interesadas;
- Evaluación de los derechos de los consumidores, incluyendo el grado en que un consumidor puede impugnar, corregir o apelar una decisión u optar por no participar en dicho sistema o proceso; e
- Identificación de probables impactos negativos materiales en los consumidores y evaluación de las estrategias de mitigación aplicables.
Junto con la evaluación del ADS o ACDP, esta sección también requiere que las entidades cubiertas:
- Formar a los empleados, contratistas u otros agentes pertinentes sobre los probables impactos negativos materiales sobre los consumidores y los métodos para evaluar los impactos;
- Determinar si deben poner alguna limitación a ciertos usos de su ADS o ACDP; y
- Identificar oportunidades para mejorar el desarrollo y el despliegue de ADS y ACDP o el proceso de evaluación del impacto para el que la financiación, los conjuntos de datos y otros recursos del gobierno podrían ser necesarios o beneficiosos.
Los impulsores de la norma señalan que dado que la práctica de la evaluación de impacto es aún incipiente, todavía no existen normas o estándares establecidos sobre lo que es "suficientemente bueno" y algunos de los requisitos no son aplicables o posibles para ciertas entidades afectadas por la norma. Para reflejar esta realidad, el último requisito de la evaluación de impacto es que dichas entidades documenten cuáles de los requisitos de la evaluación de impacto no fueron posibles de llevar a cabo, así como la justificación correspondiente para no poder llevar a cabo dichos requisitos.