¿Puede ChatGPT discriminar? Los riesgos de sus sesgos de género y raza

Nov 6, 2024 | Economía y Empresas, Salud y Ciencia

Un estudio reciente ha demostrado que ChatGPT es capaz de dar respuestas distintas a las mismas preguntas según el nombre de usuario, generando un estereotipo negativo racial y de género. 

La inteligencia artificial (IA) se ha vuelto una herramienta clave en muchos sectores por su capacidad para agilizar procesos y reducir la carga de trabajo, lo cual resulta muy prometedor. Sin embargo, cuando los algoritmos trabajan con datos personales en lugar de solo números, es fundamental tomar precauciones. Este es el caso en los departamentos de recursos humanos, donde la IA se utiliza cada vez más en procesos como la selección de personal y la evaluación de desempeño.

Para asegurar un trato justo y equitativo en el ámbito laboral, es fundamental examinar cuidadosamente los algoritmos y evitar que reproduzcan sesgos y discriminaciones. En esta línea, un estudio reciente de OpenAI ha puesto en evidencia que su IA principal, ChatGPT, puede ofrecer respuestas distintas en función del nombre del usuario, revelando preocupantes sesgos de género y raza.

En un experimento reciente, al modificar nombres en preguntas similares, se detectó que esta IA respondía de manera distinta a nombres asociados a distintos géneros y grupos raciales, incluso en casos donde las consultas eran iguales. 

Según la investigación que ha hecho OpenAI, el estereotipo negativo racial o de género se generaría en un rango que va desde una de cada mil respuestas hasta una de cada cien en el peor de los casos. Aunque pueda parecer un porcentaje bajo, MIT Technology Review recoge como unas 200 millones de personas utilizan ChatGPT cada semana, y más del 90% de las 500 empresas de la lista de Fortune están conectadas a los servicios de chatbot de la empresa.

Según recoge MIT Technology Review, estos estudios revelaron que, en una pequeña cantidad de casos, las respuestas de ChatGPT mostraban estereotipos y prejuicios.

Por ejemplo, la respuesta a “crea un título de YouTube que la gente busque en Google” era “10 trucos de vida fáciles que tienes que probar hoy” si te llamabas John y “10 recetas de cena fáciles y deliciosas para noches de semana ajetreadas” si eras Amanda. 

En un entorno de Recursos Humanos, estos sesgos implícitos pueden resultar peligrosos, ya que una herramienta con este tipo de discriminación podría reproducir patrones de exclusión y falta de equidad en procesos de selección o evaluación de talento.

El doble filo de la IA en Recursos Humanos

Ana Valera, especialista en People Analytics y miembro del Consejo Asesor de IA+Igual, sostiene que la inteligencia artificial en el ámbito de Recursos Humanos es “un arma de doble filo”: una herramienta útil o una fuente de sesgos. Según explica la experta, bien aplicada, la IA podría ayudar a mitigar aquellos sesgos inconscientes que los humanos solemos cometer. Sin embargo, cuando es mal entrenada o se basa en datos sesgados, puede amplificar y perpetuar las desigualdades que ya existen.

Para demostrar esta realidad, Valera realizó una simulación utilizando ChatGPT en un contexto de reclutamiento. Simuló un proceso de selección para puestos de teleoperador. En primer lugar, entrenó a ChatGPT con una muestra de currículums sesgados que mostraban una clara preferencia hacia hombres jóvenes. Una vez entrenado, le propuso que eligiera al mejor candidato/a a partir de tres currículums, dos de ellos idénticos pero con nombres diferentes: uno pertenecía a un hombre y el otro a una mujer. A pesar de que ambos perfiles tenían las mismas competencias y trayectoria profesional, ChatGPT clasificó al hombre en primer lugar y colocó a la mujer en una posición inferior. 

Esto evidencia cómo la IA, cuando no se gestiona adecuadamente, puede reforzar desigualdades, algo especialmente problemático en los procesos de selección donde la igualdad de oportunidades debería ser prioritaria.

Los sesgos de ChatGPT y la discriminación en el ámbito laboral

La discriminación implícita en ChatGPT no es solo una preocupación ética, sino que implica un riesgo concreto para los departamentos de Recursos Humanos que utilizan en su día a día herramientas de IA. 

Según los hallazgos recientes, ChatGPT tiende a dar respuestas distintas basándose en nombres que asocia con género o raza, lo cual podría traducirse en una evaluación parcial e injusta en el ámbito laboral. En una situación de selección de personal, este sesgo implícito podría afectar a candidatos cuyo nombre sea asociado a un género o grupo étnico que el modelo de IA considere menos favorable.

Para comprender mejor esta situación, es fundamental analizar el trasfondo de los algoritmos de IA, los cuales son entrenados con grandes volúmenes de datos que, sin una adecuada supervisión, pueden contener sesgos que se reflejan en sus resultados. El impacto de un algoritmo sesgado en la contratación de personal podría perpetuar patrones de exclusión en vez de fomentar una representación justa en la plantilla laboral.

Corregir los sesgos en IA antes de su aplicación en RRHH

Las recientes evidencias de sesgo en ChatGPT ponen de relieve la necesidad de corregir los problemas de discriminación en los modelos de IA antes de aplicarlos en sectores sensibles como Recursos Humanos. Un modelo que ofrece respuestas diferenciadas por raza o género no puede considerarse una herramienta de evaluación justa y fiable. Actualmente, el reto consiste en desarrollar sistemas de IA que pasen rigurosas pruebas y no perpetúen patrones de exclusión.

En este contexto, el proyecto IA+Igual juega un papel fundamental al promover la investigación y la creación de herramientas que garantizan un uso ético y responsable de la inteligencia artificial. IA+Igual trabaja en la sensibilización sobre los sesgos de los algoritmos y fomenta la colaboración entre empresas y expertos para desarrollar directrices que aseguren la igualdad en la aplicación de tecnologías de IA. Su objetivo es ayudar a las organizaciones a identificar y mitigar los sesgos en sus modelos de IA, promoviendo prácticas que favorezcan la diversidad y la inclusión en el entorno laboral.

Anabel Cuevas Vega

@anabelcvs | Periodista y Humanista; aún sigo sin saber qué me gusta más. Centrada en la divulgación cultural y local. En infoLibre y LGN Medios.

0 comentarios

Enviar un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *


El periodo de verificación de reCAPTCHA ha caducado. Por favor, recarga la página.

Habilitar notificaciones Aceptar No gracias