Reducir los sesgos ocultos de la inteligencia artificial

En la actualidad, los grandes modelos de lenguaje, como ChatGPT, presentan múltiples sesgos demográficos: de género, edad, raza, clase social o religión, entre otros. “Las máquinas capturan incluso los sesgos más sutiles, aquellos que las propias personas a veces no percibimos”, sostiene Gianmarco Cafferata, investigador del Departamento de Ingeniería de la Universidad de San Andrés. Estos sesgos se incorporan durante el entrenamiento de los modelos, cuando las palabras son representadas mediante incrustaciones (o embeddings), es decir, vectores numéricos que contienen su significado. Como las palabras con significados similares tienden a aparecer en contextos lingüísticos similares, en el espacio vectorial también aparecen más próximas. Así, términos como “hombre” y “arquitectura” suelen ubicarse próximos, mientras que “mujer” se encuentra cerca de “diseño de interiores”, reproduciendo estereotipos potencialmente dañinos.

Aunque existen métodos matemáticos para eliminar estas dimensiones sesgadas, por ejemplo, la de género, su aplicación requiere definir explícitamente sobre qué grupo demográfico se busca mitigar el sesgo y qué pares de referencia (como “hombre–mujer”) deben utilizarse, lo que introduce nuevas decisiones subjetivas. Frente a este desafío, Cafferata y Mariano G. Beiró, también investigador del Departamento de Ingeniería, desarrollaron un modelo demográficamente agnóstico, publicado en Jornadas Argentinas De Informática, que reduce los sesgos en las incrustaciones de palabras sin necesidad de especificar sobre qué población o característica demográfica se busca actuar. 

Los investigadores de UdeSA utilizaron nombres propios como base para capturar múltiples dimensiones demográficas. A partir del US Baby Names Dataset—que incluye 12.447 nombres con una frecuencia superior a 1.000—identificaron las principales direcciones de variación entre nombres. “Por ejemplo, el nombre Carla generalmente se asocia con significados latinos, Yaniqua con afroamericanos y Elizabeth con anglosajones. Lo que hicimos fue extraer, matemáticamente, todas las dimensiones que pudieran estar relacionadas con esas diferencias”, señala Cafferata. El análisis permitió identificar 30 vectores principales que explican la mayor parte de la variación entre nombres. Al aplicar el método a distintas dimensiones demográficas, como Occidental vs. Asiático, Heteronormativo vs. Queer, Joven vs. Adulto o Cristiano vs. Musulmán, los resultados mostraron una reducción significativa de sesgos no deseados, superando los métodos más avanzados disponibles.

“Este modelo puede extenderse a los grandes modelos de lenguaje para reducir sesgos sin necesidad de listar de antemano las categorías en las que podrían aparecer. Porque, ¿cuáles son todas las categorías de sesgo en las que puede caer la humanidad? Podría ser cualquiera”, reflexiona Cafferata. Además, los investigadores de UdeSA destacan que su método no requiere reentrenar los modelos de lenguaje existentes, lo que lo vuelve más eficiente y fácilmente aplicable en entornos reales, donde el costo computacional y el tiempo de entrenamiento suelen ser obstáculos importantes.