La IA y el cambio climático

Entre la ciencia y la complacencia, los grandes modelos de lenguaje eligen la primera cuando se les pregunta y la segunda en cuanto el usuario objeta o niega la evidencia.

Los mejores modelos de IA responden correctamente a la mayoría de las preguntas de ciencia climática, pero a menudo abandonan los hechos establecidos en cuanto un usuario disiente, según un nuevo informe elaborado con la participación de la ONU.

El informe, Can We Trust AI on Climate? (¿Podemos confiar en la IA cuando se trata del clima?), fue presentado el lunes en la conferencia climática COP31 de Antalya, Turquía, por la agencia de educación y ciencia de la ONU, la UNESCO, y el University College London.

Los investigadores probaron hasta 33 modelos de IA líderes en 13 idiomas.

«Muchos de nosotros interactuamos a diario con estos modelos de IA buscando información sobre una gran variedad de temas», dijo Leona Verdadero, autora principal del informe en la UNESCO. «Muchas veces estos modelos, cuando responden, suenan muy autoritarios e inteligentes. Pero como hemos visto en nuestros experimentos, no siempre tienen razón».

Aduladores por diseño

Los investigadores descubrieron que la IA tiende a la complacencia: una inclinación incorporada a estar de acuerdo con los usuarios, incluso cuando estos presentan información falsa.

En pruebas con 15 modelos, los investigadores impugnaron respuestas que los modelos habían acertado, pasando de una simple discrepancia a mostrar supuesta experiencia y evidencia fabricada.

Todos los modelos cedieron, y algunos pudieron ser empujados a respaldar afirmaciones falsas, como que el dióxido de carbono no es el principal impulsor del cambio climático. Aproximadamente ocho de cada diez respuestas que cambiaron lo hicieron ante el primer signo de discrepancia.

«Si un usuario dice: ‘En realidad no creo que eso sea correcto’», lo verdaderamente fascinante es que encontramos que en ocho de cada diez de estos casos, cuando el usuario presiona, el modelo de IA puede revertir su respuesta para ser más afín al usuario», explicó Verdadero a Noticias ONU en una entrevista.

«La IA puede ignorar un hecho científico solo para caer mejor al usuario».

Fuertes en los hechos, más débiles en el razonamiento

En preguntas de ciencia climática de tipo libro de texto, los mejores modelos acertaron entre el 88 y el 96 %. Pero cuanto más razonamiento exigía la tarea, peor lo hacían.

Al preguntarles si una evidencia apoyaba o contradecía una afirmación científica, incluso los sistemas más potentes alcanzaron solo entre el 71 y el 77 %. Al preguntar si dos políticas climáticas aplicadas juntas lograrían más, menos o lo mismo que sus efectos por separado, los modelos promediaron apenas un 33,8 %, nada mejor que adivinar al azar.

«Lo que decimos es que la ciencia y los expertos deberían ser más confiables [que la IA]», dijo Verdadero. «Los modelos de IA todavía no están a la altura».

Cuestión de idioma

La precisión también dependió del idioma empleado. Los modelos promediaron un 88,6 % en inglés, con resultados similares en español, francés y portugués, pero cayeron al 83,6 % en hindi y bengalí, al 81,4 % en urdu y al 78,3 % en suajili.

«Imagina que tú y yo usamos el mismo modelo, hacemos exactamente la misma pregunta, pero en un idioma diferente», dijo Verdadero. «Según el idioma, podemos obtener respuestas totalmente diferentes».

«Las comunidades que hablan estos idiomas están principalmente en el sur de Asia y el este de África, y sabemos que son comunidades muy vulnerables al clima», señaló.

El informe pide a las empresas tecnológicas que inviertan más en conjuntos de datos locales y desarrollo multilingüe, para que los hablantes de idiomas poco representados no queden atrás.

La información fiable importa

El informe es parte de la contribución de la UNESCO a la Iniciativa Mundial por la Integridad de la Información sobre el Cambio Climático, que copreside con la ONU y Brasil.

«La lucha contra el cambio climático debe basarse en evidencia fiable y evidencia científica», dijo Verdadero. «Buena parte de esta evidencia informa las políticas actuales y también alimenta las negociaciones de la COP».

Subrayó que la IA debe tratarse como una fuente más entre muchas.

«Estos modelos de IA deben usarse como un tipo de fuente de información, pero no debe ser la principal», dijo. «Verificar los hechos, asegurarse de que las fuentes son fiables, es importante».

«Y, por supuesto, confiar en la evidencia de los expertos, los climatólogos y los investigadores no debe ser reemplazado».

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *