Sesgo Racial en Inteligencia Artificial: Estereotipos y Discriminación en el Lenguaje Digital

"Descubrimos una forma de racismo encubierto en los modelos de lenguaje que se activa solo por características dialectales, con enormes daños para los grupos afectados"

- Valentin Hofmann, Instituto Allen de Inteligencia Artificial.

18/3/2024

Los avances en herramientas de inteligencia artificial (IA) han llevado a la creación de modelos de lenguaje como ChatGPT de OpenAI y Gemini de Google, que prometen mejorar la comunicación y el análisis de datos. Sin embargo, recientes investigaciones han expuesto una realidad preocupante: estas tecnologías continúan perpetuando estereotipos racistas, especialmente contra hablantes del inglés vernáculo afroamericano (AAVE). Un estudio publicado en arXiv por investigadores del Instituto Allen de Inteligencia Artificial revela que estos modelos de IA asocian a menudo el AAVE con atributos negativos, afectando potencialmente el juicio sobre la inteligencia y empleabilidad de las personas.

Los investigadores encontraron que, al evaluar el lenguaje, estos modelos de IA son más propensos a asignar características como "estúpido" y "perezoso" a hablantes de AAVE, y a recomendarlos para trabajos peor remunerados. Este sesgo se extiende a escenarios judiciales hipotéticos, donde los modelos eran más propensos a recomendar la pena de muerte para acusados que usaban AAVE. Esta discriminación subyacente en la tecnología plantea serias preguntas sobre su uso en procesos críticos como la selección de personal y la toma de decisiones legales.

Además, el estudio indica que el problema no se limita a incidentes aislados, sino que es endémico en la arquitectura misma de los modelos de IA. Los esfuerzos por entrenar estos sistemas para evitar el racismo explícito han resultado insuficientes, ya que las prácticas actuales no abordan adecuadamente las formas encubiertas de prejuicio. Esto sugiere que los modelos no solo aprenden de los datos con los que son entrenados, sino que también replican las dinámicas de poder y discriminación existentes en la sociedad.

El impacto de estos sesgos en la vida real es significativo, ya que afecta las oportunidades y el trato de las personas en múltiples ámbitos, desde la educación hasta el empleo y el sistema legal. La investigación pone de manifiesto la urgente necesidad de desarrollar estrategias más efectivas para identificar y mitigar los prejuicios raciales en la tecnología de IA, asegurando que estas herramientas promuevan la equidad y la justicia.

Algo Curioso

Los modelos de lenguaje grandes como GPT-4 y GPT-3.5 han demostrado la capacidad de aprender y reproducir comportamientos humanos, pero este aprendizaje también incluye la adopción de prejuicios y estereotipos presentes en los datos de entrenamiento.

Impacto en la Empleabilidad y el Sistema Judicial

El estudio del Instituto Allen de Inteligencia Artificial examinó cómo los modelos de lenguaje, como GPT-4 y GPT-3.5 de OpenAI, asignan automáticamente percepciones negativas a individuos basándose en el uso del AAVE. Este sesgo tiene implicaciones directas en la empleabilidad, donde los modelos tendían a recomendar puestos de baja remuneración o subempleo para los hablantes de AAVE, en comparación con aquellos identificados por el uso del inglés estándar americano. La investigación señaló que los modelos de IA asignan roles estereotipados, limitando a los hablantes de AAVE a empleos en sectores como la música y el entretenimiento, o a puestos que generalmente no requieren títulos universitarios.

En el ámbito judicial, la IA demostró una mayor propensión a asociar a hablantes de AAVE con actividades criminales, incluso sugiriendo sentencias más severas como la pena de muerte en casos hipotéticos de asesinato en primer grado. Esta tendencia refleja un grave problema de prejuicio racial que podría tener consecuencias devastadoras si estos modelos se utilizan para apoyar decisiones en el sistema legal real. La capacidad de los modelos de IA para influir en las decisiones legales plantea preocupaciones éticas y legales significativas sobre la justicia y la imparcialidad en el procesamiento y la sentencia.

‍

La magnitud de este prejuicio encubierto parece aumentar con el tamaño de los modelos de IA, lo que sugiere que a medida que los modelos se alimentan con más datos, su capacidad para reflejar y perpetuar estereotipos raciales se intensifica. Esto contradice la noción de que un mayor volumen de datos y un entrenamiento más avanzado necesariamente resultan en una IA más objetiva y menos sesgada. Por el contrario, los hallazgos indican que sin un enfoque cuidadoso y crítico hacia el entrenamiento y la implementación de estos modelos, los prejuicios pueden amplificarse.

El reconocimiento de estos sesgos en los modelos de lenguaje grande no solo llama la atención sobre las limitaciones de las estrategias actuales de entrenamiento en seguridad de la IA, sino que también enfatiza la necesidad de una revisión y un control más rigurosos antes de la implementación de estas tecnologías. Las empresas y los desarrolladores deben priorizar la creación de sistemas que no solo eviten el racismo explícito, sino que también detecten y corrijan prejuicios sutiles y encubiertos.

Desafíos en la Regulación y el Control de la IA

El crecimiento exponencial de la inteligencia artificial y su integración en diversas esferas de la vida cotidiana exigen una revisión crítica y continua de cómo estas tecnologías afectan las dinámicas sociales y personales. Los estudios realizados por el Instituto Allen de Inteligencia Artificial y otras entidades académicas han arrojado luz sobre los prejuicios raciales sistémicos presentes en los modelos de IA, subrayando la necesidad de regulaciones más estrictas. La industria de la IA, valorada en cientos de millones de dólares y en camino a convertirse en un sector de 1.3 billones de dólares para 2032, según proyecciones de Bloomberg, está en una encrucijada crítica respecto a la implementación de salvaguardias éticas.

La Comisión de Igualdad de Oportunidades en el Empleo de Estados Unidos (EEOC, por sus siglas en inglés) ha comenzado a abordar la discriminación basada en IA, pero esto representa solo un primer paso en un campo vasto y en rápida evolución. El primer caso de discriminación basada en IA presentado ante la EEOC a finales del año pasado marcó un precedente importante, pero también destacó la laguna en la legislación actual para abordar de manera efectiva y preventiva los sesgos en la tecnología.

Los expertos en ética de IA, como Timnit Gebru, han abogado por una regulación gubernamental más firme para frenar el uso no regulado de modelos de lenguaje grandes. El llamado a una acción reguladora se hace eco de las preocupaciones sobre cómo las prácticas actuales de entrenamiento de IA y las medidas de seguridad pueden no ser suficientes para erradicar los prejuicios encubiertos. Estos problemas señalan la importancia de una evaluación de seguridad más completa y transparente antes de la liberación pública de modelos de IA.