@GettyImages
Joshua Franco es asesor general de Investigación en Amnesty Tech
Durante años, la UE ha asumido un papel de liderazgo en la creación normas de protección de nuestros derechos en Internet. Pero ahora los vientos han cambiado y, bajo el pretexto de la “simplificación”, se está produciendo un acusado debilitamiento de las normas digitales, con el respaldo de las empresas, que amenaza todos nuestros derechos, tanto en la esfera digital como fuera de ella.
Quienes defienden los derechos humanos, incluida Amnistía Internacional, vienen documentando algunas de las repercusiones que las nuevas tecnologías tienen en las personas, y, a juzgar por ellas, está claro que en este momento es más necesario que nunca reforzar la protección de los derechos. A pesar de ello, esta agenda de simplificación tiene como objetivo reducir precisamente esa protección.
Cada vez es más evidente que este proceso conduce inevitablemente al socavamiento de las disposiciones de la Ley de IA y de la protección de datos, y quizá a mucho más. La Comisión también ha propuesto un control de adecuación de la legislación de la UE relativa al entorno digital (Control de Adecuación Digital). Aunque no se nos ha informado de lo que esto supondrá en la práctica, lo más probable es que se trate de un ejercicio para identificar otras leyes susceptibles de ser “simplificadas”. Todo esto se está llevando a cabo mediante procedimientos acelerados, sin evaluaciones previas del impacto que pregunten sobre las vivencias de las personas y las comunidades con las tecnologías emergentes y de alto riesgo, y los perjuicios que éstas les causan, basándose en el argumento absurdo de que las leyes que protegen nuestros derechos pueden recortarse sin que ello afecte a nuestros derechos.
RGPD: ¿qué está en juego?
Basta con hacer un breve repaso de los derechos humanos que están en juego para darse cuenta de que la UE está avanzando en la dirección equivocada. Una de las piezas legislativas en el punto de mira es el Reglamento General de Protección de Datos (RGPD). El RGPD no sólo regula la cuestión de las notificaciones de cookies. Esta legislación señera es uno de los principales medios para proteger no solo a la población europea, sino de todo el mundo, frente al el uso indebido de sus datos personales por parte de las grandes empresas tecnológicas y los Estados. Aunque su aplicación ha sido insuficiente, el potencial de esta ley como baluarte contra el voraz apetito del modelo de negocio de Sillicon Valley, basado en la vigilancia ilegal, es de vital importancia.
Sin una protección adecuada, nuestros datos pueden ser recopilados a voluntad, utilizados para elaborar perfiles discriminatorios o injustos, reempaquetados, combinados, analizados y vendidos y revendidos por una red enorme y compleja de corredores de datos y empresas de publicidad online. También pueden compartirse o venderse a autoridades estatales, que pueden utilizarlos para elaborar perfiles, someternos a vigilancia ilegal, negarnos nuestros derechos —a prestaciones sociales, entre otros— o incluso decidir si arrestarnos o detenernos. Esto no solo pone en peligro todos nuestros derechos humanos, sino que también amenaza la seguridad nacional, al ponerse a la venta en todo el mundo datos de ubicación y otros datos personales sensibles de funcionarios gubernamentales y de seguridad —y de cualquier otra persona—, lo que nos expone al chantaje y a la vigilancia masiva.
Implicaciones en la Ley de IA
Otra norma clave en el punto de mira es la Ley de IA, que establece medidas de protección relativas al desarrollo y el uso de la inteligencia artificial. Los daños a los que la humanidad entera está expuesta por los sistemas de IA y contra los que esta ley podría ayudarnos a protegernos son enormes. En Dinamarca, las autoridades han puesto en marcha un nuevo sistema basado en inteligencia artificial para detectar casos de fraude en su sistema de prestaciones sociales. La investigación de Amnistía Internacional concluyó que, en lugar de obtenerse los beneficios previstos se acabaron socavando los derechos humanos, como suele ocurrir con este tipo de sistemas.
El sistema utilizaba variables como los vínculos con países extranjeros o las constelaciones habitacionales “inusuales” para detectar posibles casos de fraude, lo que acabó afectando de manera desproporcionada a las personas de origen inmigrante y a aquellas cuyo estilo de vida se desviara de lo que se consideraba “normal” en la sociedad danesa. Estas personas, al igual que otros miembros de grupos marginados, acabaron siendo sometidas no solo a vigilancia digital mediante el uso de sus datos personales, sino también a formas invasivas de vigilancia analógica, como el denominado “levantamiento de edredón”, destinado a determinar si una persona podría estar conviviendo con una pareja.
Este tipo de perjuicios son precisamente los que la nueva Ley de IA de la UE debería ayudar a prevenir. De hecho, en Amnistía Internacional creemos que en virtud de la Ley de IA este tipo de sistemas deberían definirse como sistemas de “puntuación social” y prohibirse. Si el reglamento ómnibus continúa en la dirección hacia la que se encamina, y se debilita la Ley de IA incluso antes de que entre plenamente en vigor, es posible que tengamos aún menos protección frente a estos sistemas, ya que las reformas propuestas socavarán aún más los ya de por sí escasos requisitos de transparencia para los sistemas de alto riesgo, lo que, en la práctica, permitirá a las empresas autocertificar si un sistema de IA debe considerarse seguro o no.
Dinamarca tampoco es un caso aislado. Nuestra investigación sobre el ”estado del bienestar digital” muestra que los daños a los derechos humanos, especialmente al derecho a la seguridad social y a la no discriminación, son inherentes a casi todos estos sistemas cada vez más omnipresentes, incluidos los de Países Bajos, Serbia, Francia, Suecia y Reino Unido.
Las amenazas a los derechos humanos que plantea la IA no se detienen ahí. En Hungría, los cambios legislativos allanaron el camino para el uso de la tecnología de reconocimiento facial por parte de los organismos encargados de aplicar la lay en una serie de nuevos contextos, lo que permitió la vigilancia generalizada de las reuniones pacíficas, en particular las marchas del Orgullo en Budapest y Pecs.
Para protegernos contra todo esto, lo que se necesita es una regulación más estricta y una aplicación más rigurosa. Incluso una aplicación enérgica de la Ley de IA dejaría brechas enormes que deben abordarse. A pesar del esfuerzo coordinado de la sociedad civil, el texto final de la Ley de IA no protege a las personas de todo el mundo frente a la exportación de tecnología peligrosa cuyo uso está prohibido en Europa, y tampoco protege los derechos de la población en movimiento. Pero el paquete legislativo deja claro que la Comisión está más interesada en allanar el camino al beneficio empresarial que en hacer lo necesario para colmar estas brechas y proteger nuestros derechos.
Qué implicaciones tendría el paquete legislativo para el DSA y el DMA
Los reglamentos de la UE también afectan al modo en que las grandes plataformas digitales influyen en nuestros derechos, y si, como cabe esperar, el Reglamento de Servicios Digitales y el Reglamento de Mercados Digitales se incorporan al ámbito de aplicación (por ejemplo, a través del denominado “Control de Adecuación Digital”), esto también podría suponer un importante retroceso. No se puede subestimar el riesgo que supone la selección algorítmica de nuestros contenidos en línea, basada en la vigilancia y orientada a los beneficios. La investigación de Amnistía Internacional ha demostrado que esta tecnología ha contribuido a la limpieza étnica contra la población musulmana rohinyá en Myanmar y la comisión de graves abusos contra los derechos humanos de la población tigriana en Etiopía, donde Meta no sólo no moderó, sino que en algunos casos amplificó activamente, contenidos nocivos y discriminatorios en Facebook.
Amnistía también ha constatado en repetidas ocasiones que esta tecnología, concretamente el feed “Para ti” de TikTok, puede empujar a los niños, niñas y jóvenes a una espiral de contenido sobre depresión, autolesiones y suicidio. Los niños, niñas y jóvenes franceses entrevistados para la investigación de Amnistía Internacional contaron que, tras buscar contenido relacionado con la salud mental, TikTok les mostraba un flujo cada vez mayor de vídeos que normalizaban e incluso fomentaban las autolesiones y el suicidio. Las madres y padres de niños y niñas que se habían suicidado describieron el horror que supuso descubrir el contenido que TikTok estaba mostrando a sus hijos después de su muerte.
Justificación de una regulación más estricta
La legislación sobre derechos digitales de la UE ofrece protecciones esenciales, pero insuficientes, contra este tipo de daños. Es necesario reforzarla y aplicarla, no reducirla.
El proceso de simplificación se sustenta enteramente en una premisa errónea. La Comisión parece creer que los derechos son un obstáculo para la competitividad y la innovación, pero la verdadera innovación consiste en encontrar el modo de hacer que las nuevas tecnologías beneficien a todas las personas, sin pisotear nuestros derechos humanos. La nueva oleada de leyes europeas empieza a permitirnos imaginar un mundo en el que el poder de las grandes empresas tecnológicas pueda verse significativamente limitado; en el que nuestro derecho a no ser objeto de la elaboración de perfiles y la discriminación interminables pueda ser una herramienta para frenar los abusos de los Estados y los monopolios empresariales.
Pero en lugar de aprovechar este progreso, la Comisión parece estar apresurándose a satisfacer los intereses de las empresas y construir un “Continente de IA”, eliminando las barreras que protegen nuestros datos personales —y, por lo tanto, a las personas que somos— de ser engullidos por el voraz apetito de beneficio de las grandes empresas tecnológicas, a costa de nuestro medioambiente y nuestros derechos. Debemos oponernos a este intento de reducir las protecciones en nombre de la simplificación y decirle a la Comisión que nuestros derechos humanos no se venden.
Publicado en Tech.Policy Press.
