@Kassy Cho
“Las empresas están recopilando enormes cantidades de datos en Internet, mediante prácticas, en muchos casos ilegales, de extracción masiva de contenidos, para desarrollar sus productos de inteligencia artificial (IA) generativa. Este modelo propicia violaciones generalizadas de la privacidad, lo que hace que estos sistemas sean ilegales desde su diseño”, afirma Amnistía Internacional en un nuevo documento de investigación.
El informe Unlawful by Design: Exposing the Human Rights Costs of Generative AI documenta los graves riesgos asociados al uso de la extracción y el procesamiento masivo de datos para desarrollar y entrenar estos sistemas. Entre ellos figuran violaciones del derecho a la privacidad desde el propio diseño y consecuencias negativas para el medioambiente y comunidades históricamente marginadas.
“Empresas de todo el mundo suministran productos de IA generativa bajo una apariencia de eficiencia y sofisticación cuando, en realidad, estos sistemas perpetúan violaciones masivas de la privacidad mediante la extracción ilegal de datos de la web con procesos automatizados de recopilación de datos —incluidos datos personales—, como imágenes y actividad en redes sociales, destinados a entrenar modelos de IA”, declaró Likhita Banerji, directora del Laboratorio de Rendición de Cuentas sobre el Uso de Algoritmos de Amnistía Internacional.
“La cadena extractiva de datos, las decisiones de diseño inherentes tomadas por las empresas tecnológicas y las cadenas de suministro explotadoras para construir sistemas de IA generativa han propiciado un paradigma de desarrollo tecnológico que conlleva el riesgo de abusos masivos contra los derechos humanos”.
Amnistía Internacional ha investigado los modelos que sustentan algunas de las herramientas autónomas de IA generativa disponibles públicamente más populares, como GPT 3, de Open AI; Gemini, de Google; Llama, de Meta; DeepSeek y herramientas de Midjourney y Stable Diffusion.
Este tipo de sistemas se basan en extraer información de miles de millones de posts e imágenes de carácter público en Internet, a menudo sin el consentimiento expreso de las personas que aparecen en ellos o que los han creado. Esto no sólo vulnera la privacidad desde la propia concepción del diseño, sino que, a medida que aumentan de escala los conjuntos de datos que alimentan los modelos de IA, se amplifica también en sus resultados la presencia de contenidos que incitan al odio y a la discriminación, junto con estereotipos negativos y prejuicios, especialmente en relación con la raza y el género.
Estas decisiones no son inevitables. Debemos cuestionar las decisiones de diseño adoptadas por empresas que crean sistemas de IA generativa basándose en datos de entrenamiento, incluidos datos personales, que se extraen sin consentimiento y en gran escala.Likhita Banerji, directora del Laboratorio de Rendición de Cuentas sobre el Uso de Algoritmos de Amnistía Internacional
Los sesgos raciales, culturales y de género son características comunes de los sistemas de las IA generativas, producto de datos de entrenamiento extraídos en gran parte de la web y que, por tanto, están contaminados con prejuicios del mundo real que dañan a comunidades históricamente marginadas. Además, los sistemas de IA generativa plantean riesgos al derecho a la libertad de pensamiento, pues pueden influir en las ideas de las personas usuarias y determinar sus creencias personales mediante sugerencias predictivas, especialmente para modelos de mayor tamaño que se basan en un gran volumen de datos de entrenamiento.
“Estas decisiones no son inevitables. Debemos cuestionar las decisiones de diseño adoptadas por empresas que crean sistemas de IA generativa basándose en datos de entrenamiento, incluidos datos personales, que se extraen sin consentimiento y en gran escala”, dijo Likhita Banerji.
“Esta es una de las prácticas más atroces entre las empresas de IA que operan con desprecio por los derechos humanos y debe abordarse urgentemente. Es posible una trayectoria diferente del desarrollo tecnológico si las autoridades actúan con urgencia para corregir el rumbo”.
Graves costes medioambientales
A medida que han ido aumentando en las empresas de IA generativa la magnitud y el ritmo del desarrollo, han aumentado las necesidades de infraestructura y los costes medioambientales asociados.
Las mayores necesidades de procesamiento de los modelos de más tamaño exigen microprocesadores que consumen mucha más energía, centros de datos más grandes y, en consecuencia, más energía y agua para su funcionamiento. La producción de IA generativa tiene a menudo un impacto negativo en comunidades históricamente marginadas, pues se explotan tierras y recursos que les pertenecen para construir centros de datos y cubrir necesidades de procesamiento.
El propio informe de sostenibilidad de Google de 2024 indicaba un alarmante aumento del 48% de las emisiones de gases de efecto invernadero de la empresa desde 2019, atribuible a las emisiones de los centros de datos y de la cadena de suministro. Del mismo modo, las de Microsoft aumentaron un 29% entre 2020 y 2024, atribuibles a las emisiones de los centros de datos que realizan procesos de apoyo a la IA.
El uso intensivo de recursos en la producción de IA generativa ha hecho que comunidades de lugares que van desde Cerrillos, en Chile, y Querétaro, en México, hasta Arizona, en Estados Unidos, se estén oponiendo a la instalación de centros de datos en zonas ya gravemente afectadas por sequías y la escasez de electricidad.
Como parte de su proceso de investigación, Amnistía Internacional escribió a Google, OpenAI, Meta, Stability AI, Midjourney y DeepSeek ofreciéndoles la oportunidad de responder a las conclusiones del informe, que establece que sus modelos se basan en la extracción ilegal de datos de la web, entre muchos otros motivos de preocupación en relación con los derechos humanos.
Amnistía Internacional también escribió a Intel y VMware en relación, concretamente, con los riesgos de discriminación, y a Google, Microsoft y Amazon sobre los daños medioambientales asociados a sus sistemas de IA generativa e infraestructuras relacionadas. Cuando se publican estas líneas, solo han respondido a la organización Microsoft, Amazon, Intel, OpenAI y Meta. El documento de investigación incluye un resumen de sus respuestas.
Amnistía Internacional pide a los Estados que prohíban los sistemas autónomos de IA generativa basados en la extracción ilegal de datos de la web, definida como la recopilación masiva y en gran escala de datos de entrenamiento a través de Internet. Las empresas deben poner fin de inmediato a la extracción ilegal de datos personales sin consentimiento en la web con fines de entrenamiento de la IA, y los Estados deben exigir responsabilidades a las empresas por su participación en cualquier abuso contra los derechos humanos relacionado con sus decisiones de diseño y empresariales.
Información general
El documento de investigación ofrece un análisis desde la perspectiva de los derechos humanos de la “canalización de datos” que alimenta los productos de IA generativa, incluidas las fases críticas de captura, análisis y procesamiento de datos para el funcionamiento general de estos sistemas. En concreto, esto supone analizar en detalle los parámetros y las implicaciones de las decisiones de diseño adoptadas en relación con los datos de entrenamiento de los modelos de IA generativa, prestando especial atención a métodos y fuentes de la extracción de datos, el procesamiento de datos, el escalado de modelos y los resultados generados.
Amnistía Internacional define las herramientas autónomas de IA generativa como productos desarrollados, desplegados y comercializados específicamente por sus capacidades de IA generativa, como chatbots y generadores de imágenes, vídeos, audios o texto basados en IA. Esta definición excluye los productos donde la IA generativa es una característica o función añadida en un paquete más amplio de productos, por ejemplo, un programa de procesamiento de textos con características optativas de IA generativa.
