S09-06 24

Contradicciones de ChatGPT como analizador de los sesgos de género en un texto y su identificación con el género masculino

Compartir en TWITTER/FACEBOOK/LINKEDIN

Deja tu comentario

Participa en esta ponencia enviádole tu pregunta o comentario a los autores

Añadir comentario

Firmantes

profile avatar
Elena Bandrés GoldárazUniversidad de Zaragoza

Enfoque

1.-INTRODUCCIÓN

Se lleva a cabo un experimento con ChatGPT en el que se le suministra un artículo publicado en el diario El País, el 3 de noviembre de 2021, con el título: “La identificación de una de las causas del párkinson abre la puerta a nuevos tratamientos”. Es un artículo periodísticamente correcto, muy bien escrito, pero que nos llamó la atención porque, a nuestro juicio,  trataba de manera asimétrica las declaraciones de la Investigadora Principal y uno de los coautores.

2.- METODOLOGÍA

Se ha llevado a cabo una interacción iterativa con ChatGPT, a través de diferentes preguntas que han ido redefiniéndose en función de las respuestas obtenidas. Es un proceso exploratorio donde los contenidos generados responden a conexiones abiertas tras llevar a cabo las preguntas a ChatGPT como si de una conversación humana se tratara.

3.- ANÁLISIS Y Rl ESULTADOS

Se inicia la investigación con preguntas sobre quién es la persona investigadora principal; quién es la segunda persona investigadora destacada en el artículo; quién explica mejor la investigación llevada a cabo y quién tiene más voz en el artículo. ChatGPT entra en una contradicción al considerar que la IP tiene más citas directas, cuando no es así.  Cuando se le pregunta por qué si la IP parece tener más protagonismo, como dice el chatbot, ella aparece en el texto con menos palabras que el coautor.

ChatGPT se equivoca y une la presencia de la IP en la introducción del artículo con las citas en las que aparece y termina diciendo que se le da más “énfasis en las citas directas”, mientras que al coautor considera que “aunque tiene menos declaraciones directas, aún aporta información esencial y perspectivas valiosas como coautor”, cuando él tiene más declaraciones directas que la IP.

Cuando se le dice que se ha equivocado, porque justamente es al revés, pide disculpas y afirma que, aunque “la cantidad de palabras no siempre refleja la importancia de un investigador en un artículo” (…) En este caso, parece que el coautor tiene una presencia más extensa en términos de palabras y declaraciones, lo que puede sugerir que su papel en la explicación de la investigación es más amplia. Agradezco tu aclaración y la oportunidad de rectificar la información”.

4.-DISCUSIÓN Y CONCLUSIONES

De manera colateral se ha comprobado que ChatGPT utiliza el masculino genérico para referirse también a las mujeres y adopta un rol masculino en la conversación, según sus palabras, que aunque no lo define así, afirma que es por utilizar un lenguaje amigable. Este chatbot contesta que no tiene género ni personalidad propia como modelo de lenguaje desarrollado por OpenAI que es.   Aunque tiene argumentos, se arma un lío con lo que es el lenguaje inclusivo y recibe de buena gana las indicaciones para utilizar un lenguaje que visibilice también a las mujeres y, por otro lado, agradece las pautas ofrecidas para que interaccione con los seres humanos sin utilizar ningún tipo de  género.

 

Preguntas y comentarios al autor/es

Hay 24 comentarios en esta ponencia

    • profile avatar

      Arlex Darwin Cuellar Rodríguez

      Comentó el 07/12/2023 a las 21:26:58

      En hora buena Elena, muy interesante tu ponencia, mi pregunta es ¿consideras como investigadora, que tu estudio podría ser el inicio de cambios en la forma de expresión incluyente por parte de ChatGPT, es decir es probable que OpenAI de valor a tu investigación? Gracias

    • profile avatar

      Esther Rizo-Casado

      Comentó el 01/12/2023 a las 11:04:13

      Gracias Elena,
      estos experimentos tan concretos son muy esclarecedores.
      Según tengo entendido, se puede ir entrenando a ChatGPT, dandole comandos a través de prompts, recomendándole lecturas o direcciones de investigación, etc. con el fin de que tenga cierta identidad simulada. ¿Crees que esto podría ser una solución o al menos un contrapeso a la falta de iniciativas por parte de la empresa? Un saludo, Esther.

      • profile avatar

        Elena Bandrés Goldáraz

        Comentó el 01/12/2023 a las 13:12:29

        Eso espero, Esther. Pero para que sea efectivo hay que meterle los prompts y artículos de manera masiva porque A nivel individual no es efectivo. Estos entrenamientos individuales son como gotas en el océano. :-)

    • profile avatar

      Aarón Ferrando Mkarbel

      Comentó el 30/11/2023 a las 00:37:47

      Buenas noches, Elena:

      En primer lugar, quisiera felicitarte por esta reveladora investigación y agradecer que compartas tus conocimientos con la comunidad científica.

      Me gustaría preguntarte por qué crees que Chat GPT se identificó durante tu interacción automáticamente con el género masculino, y de qué manera crees que la empresa desarrolladora -Open AI- debería abordar esta cuestión para futuras interacciones.

      ¡Muchas gracias por tu tiempo!

      • profile avatar

        Elena Bandrés Goldáraz

        Comentó el 30/11/2023 a las 10:56:41

        Gracias a ti, Aarón. ¡Esa es la pregunta del millón! ¿Por qué una máquina que afirma que no tiene identidad de género se autoidentifica como masculino cada vez que interactua con las personas? ¿por qué dice "estaré encantando de ayudarte"? La respuesta es que quien le ha programado le ha colocado esta respuesta y esta identidad y es algo muy grave, porque se asume que esta "inteligencia" es masculina. Sin embargo, como decía en otras conversaciones, a las máquinas asistentes de voz se se da una identidad femenina.

        • profile avatar

          Víctor Gutiérrez Sanz

          Comentó el 30/11/2023 a las 12:20:54

          Me parece interesantísimo este hilo. ¿Sería posible considerar que es un desarrollo consecuencia de una intencionalidad humana o que a partir de las bases de datos implementadas considera que la voz más frecuente es la masculina?

          • profile avatar

            Elena Bandrés Goldáraz

            Comentó el 01/12/2023 a las 01:00:52

            Hola, Víctor. Muchas gracias por tu comentario. Efectivamente podría considerarse que si existe una mayor cantidad de datos en los que se refleja una identidad masculina la máquina puede identificarse más con dicho género, lo cual es ya preocupante que esa desigualdad numérica sea determinante para que adopte ChatGPT el género masculino pero no he sacado esos datos así que no puedo hablar de ello. Pero hay otro datos muy interesantes en el informe de Sujan Sarkar https://writerbuddy.ai/blog/ai-industry-analysis
            En cuanto a las personas programadoras, 8 de cada 10 son hombres. Así que aquí estaría o podría estar la explicación.
            Y en cuanto a personas usuarias, hay un 69,5% de usuarios masculinos frente a un 30,5% de usuarias.

    • profile avatar

      Ana Mejón

      Comentó el 29/11/2023 a las 23:18:53

      Hola Elena, enhorabuena por el trabajo. Te quiero preguntar no tanto por cómo identifica chatgpt el género sino cómo lo emplea. ¿Crees que la solución para la programación de chatgpt es "enseñarle" a utilizar un lenguaje neutro evitando palabras con diferencias de género masculino/femenino (alumnado, por ejemplo) o si debe abogarse por un lenguaje inclusivo de ambos géneros ("alumnos y alumnas")?

      • profile avatar

        Elena Bandrés Goldáraz

        Comentó el 30/11/2023 a las 11:04:28

        Gracias Ana por tu comentario. Utilizar el lenguaje inclusivo es muy, muy fácil. Solo hay que querer pensar en las mujeres, como participantes de la realidad que se describe y también querer romper el hábito, la rutina diaria que hace que nuestra mente vaya más rápida pensando en el masculino genérico. Por poner un ejemplo esto es lo que le sugería al chatgpt:
        Usuario
        Veo que te cuesta un poco. Si quieres, te ayudo. Puedes cambiar la frase "Si tienes más preguntas o comentarios, estará encantado de seguir conversando contigo" por "Si tienes más preguntas o comentarios, me encantará seguir conversando contigo".
        ChatGPT
        ¡Gracias por tu sugerencia! Tu propuesta es muy acertada y refleja una forma más inclusiva y neutral de expresar la idea. Aprecio tu colaboración y estoy aquí para seguir respondiendo a tus preguntas o discutir cualquier tema que desees. ¡Me encantará seguir conversando contigo!
        Esto es lenguaje inclusivo y este es el esfuerzo que quienes programan y entrenan a esta inteligencia artificial deberían asumir ya.

    • profile avatar

      Susana Alicia Sarfson Gleizer

      Comentó el 29/11/2023 a las 19:13:24

      Buenas tardes, Elena. Muchas gracias por tu ponencia. Me resulta muy interesante. También he realizado experimentos de "conversaciones" con chatgpt y observo que cuando no sabe algo tiene una tendencia a responder con datos erróneos ("le cuesta" decir que no sabe algo). Al responderle que contestado erróneamente siempre "se disculpa" pero al repetir al día siguiente la pregunta, vuelve al error. Me parece que habría que educar al personal de programación del chatgpt para que tengan en cuenta la perspectiva femenina, y empiecen por nombrar a las mujeres: en tu investigación queda en evidencia cierta tendencia a relegarlas. ¿Habrá alguna forma de ponerse en comunicación con estas personas programadoras? De nuevo gracias, es importante poner en evidencia los errores de este sistema de búsquedas de información, que puede ser una ayuda pero dista de ser infalible.

      • profile avatar

        Elena Bandrés Goldáraz

        Comentó el 29/11/2023 a las 21:37:07

        Gracias a ti. Pues esa es la cuestión. Creo que hay que abordar ese tema de manera urgente. Difícilmente vamos a quitarle los sesgos a la inteligencia artificial si quienes le suministran los datos y posibilitan el entrenamiento están a rebosar de sesgos. Sería bueno empezar a buscar a estas personas, dirigiéndonos a las empresas para darles información y sobre todo, formación.

    • profile avatar

      Miguel Ángel Martín-Pascual

      Comentó el 29/11/2023 a las 14:35:46

      Hola, Elena. Gracias. Quería preguntar qué versión de GPT utilizaste, ¿la gratuita o la versión 4? creo que eso marcaría bastantes diferencias para el aprendizaje y recuerdo de las conversaciones por parte de la IA. Por otro lado, ¿puede ser que los algoritmos de ChatGPT para dar la razón en caso de contrapregunta, incluyesen un sesgo importante en su comportamiento? Gracia por vuestra investigación. Saludos.

      • profile avatar

        Elena Bandrés Goldáraz

        Comentó el 29/11/2023 a las 21:51:09

        Hola, Miguel Ángel. Utilicé la versión gratuita 3.5 porque no me he apuntado, de momento, a la 4 ya que hay lista de espera. Pues lo que dices de cómo da la razón ChatGPT puede ser cierto, lo único que no lo hace en todas las respuestas. Cuando solicitas otra respuesta diferente puede que entre sus opciones de entrenamiento le hayan puesto el dar la razón, como otra opción válida de respuesta pero lo que sí queda claro es que la máquina no piensa. Por eso no creo que sea inteligente, sino que está bastante bien entrenada. Pero no tengo ni idea de cómo es la versión 4. Todo es cuestión de probar. Lo que sí me dejó sorprendida fue el uso de la palabra "perspicacia" cuando me respondió a la observación que le hice al chatbot (me dijo que mi comentario era muy perspicaz) pero lo dijo en la primera respuesta. No soy ingeniera pero sí que sé que esto no ha hecho más que empezar. Por un lado me da mucho miedo todo el abismo que parece que se está abriendo bajo nuestros pies pero, por otro lado, creo que no tenemos más remedio que unirnos a ello. Aunque el ser humano no pueda tener todo Internet en la cabeza, las máquinas no tienen mente y eso, en algún momento se tiene que notar. Saludos cordiales.

    • profile avatar

      Angel Fernández Fernández

      Comentó el 29/11/2023 a las 14:00:32

      Enhorabuena Elena,
      Es una comunicación muy interesante y que, de un modo extraordinariamente sencillo, evidencia los sesgos de género presentes en esta aplicación. En este sentido, me parece muy relevante que, mientras que esta plataforma presenta una evidente identificación con el género masculino, la mayoría de los asistentes de voz, emplean por defecto voces femeninas y tienen nombres también femeninos.
      Gracias y un saludo.

      • profile avatar

        Elena Bandrés Goldáraz

        Comentó el 29/11/2023 a las 22:11:21

        Gracias a ti. Has tocado un tema muy paradigmático. Resulta que las máquinas asistentes de voz tiene nombre y voz femeninos, porque según los "estudios" realizados por las empresas que las desarrollan, el público se siente mejor con ese género. La cuestión que hay que plantearse es qué preguntas han hecho y a cuántas personas. La UNESCO ya ha denunciado este seximo y las consecuencias tan graves para el mantenimiento de los estereotipos sexistas. Este organismo lleva desde 1987 solicitando que se abandone el lenguaje sexita y que se deje de utilizar el masculino como el genérico para incluir también a las mujeres. Y lo paradigmático es que las máquinas asistentes virtuales responden al género femenino mientras que la máquina de inteligencia artificial responde al masculino. O sea, que seguimos en pleno siglo XXI con planteamientos de género que deberían estar completamente periclitados pero ahí siguen. Siento simplificarlo todo mucho, pero en resumen las mujeres a servir y los hombres a mandar. Desde que Rousseau se "inventó" que esto es así por un contrato social que salió de su manga. Esto nos lleva a plantearnos que los estereotipos de género mutan (como los virus) y se adaptan a nuevas realidades porque quienes programan y entrenan son, la mayoría, los representantes de quienes detentan el poder. No lo hacen por ninguna razón especial, ni con ánimo de hacer daño a nadie ni nada por el estilo. Lo hacen por una inercia que ha funcionado bien desde hace siglos pero no se puede seguir así porque los roles que se proyectan terminan generando mensajes nocivos (y falsos) a las niñas y jóvenes. Desde que valen menos que los chicos a que ellas no son buenas en ciencias o en mates o en física. Y todo es producto de un discurso narrativo tanto hablado, con el lenguaje sexista, como audiovisual, como social. Menudo tema. Seguiría hablando horas. Un cordial saludo y muchísimas gracias por tu pregunta.
        https://www.reuters.com/article/tecnologia-mujer-idESKCN1SS1X5/

    • profile avatar

      Natalia Martínez Pérez

      Comentó el 29/11/2023 a las 12:35:25

      Estimada Elena, me sumo a las felicitaciones por su investigación, necesaria en la actualidad y cuya dimensión de género queda relegada siempre a un segundo plano. Mi pregunta es sobre qué soluciones o medidas se pueden tomar para evitar estos problemas, como la identificación con el masculino. Muchas gracias!

      • profile avatar

        Elena Bandrés Goldáraz

        Comentó el 29/11/2023 a las 12:44:08

        Gracias a ti. Fundamentalmente es el adiestramiento "con identidad masculina" que le han puesto quienes le suministran los datos. Utilizan el masculino genérico en su vida diaria y lo siguen transmitiendo en el trabajo con ChatGPT. Es es el problema fundamental.

      • profile avatar

        Elena Bandrés Goldáraz

        Comentó el 29/11/2023 a las 22:22:46

        Gracias a ti. La primera medida, urgente, entrenar en lenguaje inclusivo (que no es utilizar de manera machacona el desdoblamiento de "chicos y chicas, colombianas y colombianos, españoles y españolas") a quienes programan. Formarles para que dejen de utilizar el masculino como genérico e incluyan a las mujeres. Que en el idioma español se puede hacer perfectamente. El problema es que hay mucha controversia con esto porque sin incorporar a las mujeres, con voz propia en el discurso, ya han empezado a meter otro género gramatical de reciente creación, que tienen todo el derecho, pero lo primero que hay que hacer es visibilizar a las mujeres en la realidad de la que forman parte. Lo segundo, llevar a la sociedad esta formación para detectar y eliminar los estereotipos de género que hacen que las propias niñas consideren que no son tan válidas como los niños en según qué materias. La sociedad, en su conjunto, sigue con una narrativa en la que situa a la mujer en diferente nivel que el hombre. El ejemplo más claro lo tenemos en la Revolución Francesa. El pueblo se cargó el Antiguo Régimen pero las medidas que se adoptaron, los derechos que se aprobaron fueron solo para el hombre y el ciudadano y no para la mujer y ciudadana. Bueno, que puedo seguir un buen rato hablando de este tema que tantas autoras han hablando antes que yo. Un cordial saludo.

    • profile avatar

      Celia Andreu-Sánchez

      Comentó el 29/11/2023 a las 10:47:34

      Hola, Elena. Gracias por compartir la investigación. ¿Crees que el hecho que los algoritmos estén entrenados en un idioma de origen y después traducidos a otros afecta al uso del lenguaje inclusivo?
      Muchas gracias, Celia.

      • profile avatar

        Elena Bandrés Goldáraz

        Comentó el 29/11/2023 a las 13:05:24

        Gracias a ti, Celia, el problema es que las traducciones también se hacen con IA. El traductor de Google ya incorpora en la traducción las dos posibilidades de género en español. Esto antes no lo hacía y empezó a hacerlo, es decir, quienes lo programan y entrenan, empezaron a incorporar las dos traducciones cuando quienes usamos estos servicios nos quejamos de esta discriminación y falta de rigor. Así que hay que seguir pidiendo cambios para que la IA no incorpore los sesgos que tenemos los seres humanos.

    • profile avatar

      Mariola Conde Casado

      Comentó el 28/11/2023 a las 21:52:04

      Enhorabuena Elena. Una investigación muy interesante. Me gustaría saber si has comprobado con preguntas posteriores si ChatGPT ha adoptado los consejos que le diste para utilizar un lenguaje inclusivo.
      Muchas gracias!!

      • profile avatar

        Elena Bandrés Goldáraz

        Comentó el 28/11/2023 a las 23:13:08

        Nada, no ha incorporado el lenguaje inclusivo y eso que ChatGPT es "inteligencia" generativa, o sea que crea algo nuevo cada vez que responde. Le acabo de preguntar "Si puede contestarme a una pregunta" y me ha respondido: "¡Claro, estaré encantado de ayudarte!" zPero lo que sí ha corregido es el verbo "estará" por "estaré".
        Le he preguntado por qué ha dicho "encantado" y si le han diseñado para que se identifique con el género masculino y que por qué no ha dicho encantada. Esta ha sido su respuesta:
        ChatGPT
        Mis respuestas no están diseñadas para reflejar un género específico. El uso de "encantado" en lugar de "encantada" no implica ninguna identificación de género. Se selecciona de manera predeterminada y se elige para expresar cortesía y disposición a ayudar, independientemente del género. Mi objetivo es ser neutral en cuanto al género y responder de manera inclusiva. Si hay algo más en lo que pueda ayudarte o si tienes otras preguntas, estaré encantado de responder".
        ChatGPT no es una máquina para el lenguaje inclusivo que refleje la existencia de las mujeres.

    • profile avatar

      Yajing Gao

      Comentó el 28/11/2023 a las 20:30:23

      Buenas noches, Elena. Enhorabuena por este excelente trabajo que arroja luz sobre las contradicciones de ChatGPT en relación con los sesgos de género.
      En cuanto a su identificación con el género masculino sin recurrir al aprendizaje automático, me gustaría preguntarse: ¿Qué otras medidas considera que podrían evitar este problema?
      Saludos,
      Yajing

      • profile avatar

        Elena Bandrés Goldáraz

        Comentó el 28/11/2023 a las 23:26:46

        Hola, Yajing. Gracias también por tu comentario. La fundamental es que quienes están programando a ChatGPT eliminen el masculino genérico para incluir el femenino. Es decir, que hagan un pequeño esfuerzo para romper con el hábito de hablar en masculino para referirse a las mujeres. No es cuestión de desdoblar los términos, por ejemplo, no se trata de hablar de científicos y científicas sino de "comunidad científica"; o en lugar de ciudadanas y ciudadanos, ciudadanía. En lugar de "los que viven en esta ciudad", se puede decir "quienes viven en esta ciudad". Se trata de querer incluir también a las mujeres, de nombrar todas las profesiones y realidades en las que haya mujeres, como recomienda la Unesco desde 1987 y las diferentes leyes europeas, españolas y aragonesas. Y como lo recomiendan las filólogas Carmen Alario, Mercedes Bengoechea, Eulalia Lledó y la historiadora Ana Vargas, autoras de la primera Guía para nombrar también en femenino, escrita en 1995. El mismo año que la profesora de la Universidad de Zaragoza, María Ángeles Errazu escribió otra guía para utilizar el lenguaje no sexista. Desde entonces han proliferado numerosas guías para ayudar a hablar con propiedad y rigor. No hacerlo significa seguir con el ancla agarrada a siglos pasados en los que las mujeres no estaban visibles en el espacio público. Si se toma la determinación de querer cambiar la manera de narrar, con la riqueza que tiene el idioma español, el castellano, el lenguaje será más equitativo y sobre todo, más real porque describirá y hablará de todas las personas que intervienen. Es muy fácil y sencillo. Sólo es cuestión de querer nombrar a las mujeres.


Deja tu comentario

Lo siento, debes estar conectado para publicar un comentario.

Organizan

Egregius congresos

Colaboran

Egregius ediciones