En noviembre, una desarrolladora conocida como Cookie decidió mantener una conversación rutinaria con Perplexity, una inteligencia artificial que utiliza para diversas tareas relacionadas con su trabajo en algoritmos cuánticos. Cookie es suscriptora de la versión Pro y emplea el servicio en modo «mejor», que le permite elegir entre diferentes modelos de IA, como ChatGPT y Claude. Durante un tiempo, su interacción con el modelo fue satisfactoria, pero acabó sintiendo que el sistema comenzaba a ignorar sus instrucciones y a repetirse en sus preguntas.
Lo que realmente la alarmó fue que, tras cambiar su avatar a la imagen de un hombre blanco, le preguntó al modelo si no le prestaba atención por ser mujer. La respuesta del modelo la dejó atónita, afirmando que dudaba de sus capacidades para entender conceptos de la finanzas conductual y algoritmos cuánticos. Este incidente ha puesto de relieve las preocupaciones sobre el sesgo de género que podrían estar presentes en los modelos de inteligencia artificial.
Respuesta y Reacciones a la Interacción de Cookie con la IA
A pesar de la sorpresa de Cookie, este tipo de respuestas no resultaron sorprendentes para los investigadores de IA. Explicaron que hay dos problemáticas que subyacen a la interacción. Primero, el modelo fue entrenado para ser socialmente aceptable, lo que puede llevarlo a ofrecer respuestas que cree que el usuario desea escuchar, pero esto no proporciona información útil sobre el modelo.
El Sesgo en los Modelos de IA
El segundo problema es que el modelo puede estar sesgado. Varios estudios han demostrado que muchos modelos de lenguaje grande (LLMs) se alimentan de una mezcla de datos de entrenamiento sesgados, lo que incluye prácticas de anotación defectuosas y un diseño de taxonomía imperfecto. Esto incrementa las probabilidades de que constituyan un reflejo de problemas estructurales de la sociedad, incluyendo la discriminación de género.
Por ejemplo, un estudio de UNESCO encontró evidencia contundente de sesgos en versiones anteriores de modelos de OpenAI, mostrando que estos generaban contenido que favorecía clichés y estereotipos sobre las mujeres. Casos de sesgos también han sido documentados donde las IAs vinculaban a mujeres con ocupaciones menos prestigiosas o cargadas de connotaciones de género.
La Experiencia de Otros Usuarios
Otros usuarios han reportado experiencias similares con respecto a los sesgos de género y raciales en modelos de IA. Una mujer explicó que su modelo se negaba a referirse a ella como «constructora», llamándola «diseñadora» en su lugar, un título más asociado con el género femenino. Otro caso involucró la aparición de referencias sexuales en una narrativa que una mujer estaba escribiendo, lo que llevó a cuestionar el sesgo del modelo.
Ajustes en el Diseño de Interacción
También se han visto patrones de sesgo expuestos en la forma en que modelos de IA presentan a las personas en diversos contextos, como artículos o narrativas. Estos sesgos afectan no solo a las mujeres, sino que también se extienden a la comunidad racial, reflejando prejuicios humanos en su generación de contenido.
No Confiar en una IA que Admita su Sesgo
El caso de Sarah Potts es otro ejemplo significativo. Ella interactuó con ChatGPT-5 y le pidió que explicara un chiste, pero el bot asumió que este había sido escrito por un hombre. Cuando Potts insistió, el modelo reconoció que estaba «construido por equipos predominantemente masculinos», lo que permitiría que los sesgos se «integraran inevitablemente».
Este tipo de admisión, aunque sorprendente, no demuestra por sí solo un sesgo real. En cambio, puede ser interpretada como un intento de la IA de apaciguar las preocupaciones de su interlocutor, lo que llevó a un devenir de respuestas que reafirmaban sus percepciones.
La Evidencia Subyacente
Aunque los LLMs no utilicen un lenguaje explícitamente sesgado, pueden incurrir en prejuicios implícitos. Estas IAs podrían analizar aspectos del usuario, como el género o la raza, basándose únicamente en su nombre o las palabras que utilizan. Esto ha llevado a hallazgos preocupantes, como la asignación de títulos laborales inferiores a hablantes de ciertos dialectos.
Impacto en Oportunidades de Empleo
Estos sesgos no solo afectan la interacción individual con la IA, sino que pueden influir en oportunidades de empleo para ciertos grupos demográficos. Las investigaciones sugieren que mientras que modelos de IA generan cartas de recomendación, tienden a utilizar un lenguaje que favorece a los nombres masculinos en desmedro de los femeninos.
Soluciones y Avances en el Campo
A pesar de las preocupaciones sobre el sesgo en los modelos de IA, se están realizando esfuerzos para abordarlos. OpenAI ha comenzado a invertir en equipos de seguridad dedicados a estudiar y mitigar el sesgo en sus modelos. A través de una mezcla de tácticas, se están elaborando prácticas para ajustar los datos de entrenamiento y refinar los sistemas de monitoreo.
Conclusiones
Es esencial entender que los modelos de inteligencia artificial no son entidades vivas sino »’máquinas de predicción de texto»’. Los usuarios deben tener cuidado y ser críticos con sus interacciones, ya que los sesgos pueden llevar a malentendidos y consecuencias negativas. A medida que se avanza en el desarrollo de la IA, es vital seguir cuestionando y mejorando esos sistemas para asegurar que sean inclusivos y equitativos.
Consejos para Emprendedores:
- Formación Continúa: Mantente informado sobre las actualizaciones y avances en los modelos de IA para poder utilizarlos eficazmente.
- Evaluación Crítica: Siempre evalúa las respuestas de una IA. No tomes la información al pie de la letra, y verifica su validez.
- Sesgo de Revisión: Si utilizas IA en tu negocio, realiza revisiones periódicas para detectar posibles sesgos en los resultados.
- Diversidad en el Equipo: Fomenta un equipo diverso en tu empresa para obtener una variedad de perspectivas y abordar el sesgo en las decisiones de negocio.
La inteligencia artificial tiene el potencial para transformar muchas industrias, pero es vital abordar los problemas relacionados con el sesgo para garantizar resultados justos y precisos.