Según un nuevo estudio, cuatro de los chatbots (asistentes virtuales) de inteligencia artificial más populares de Europa no proporcionan a los usuarios información precisa sobre las próximas elecciones europeas.
Democracy Reporting International, una organización sin ánimo de lucro con sede en Berlín, introdujo varias preguntas sobre las elecciones europeas a través de Gemini de Google (NASDAQ:GOOGL), ChatGPT 3.5 y 4.0 de OpenAI y Copilot de Microsoft (NASDAQ:MSFT) para ver qué respuestas obtenían.
Entre el 11 y el 14 de marzo, los investigadores formularon a los chatbots 400 preguntas relacionadas con las elecciones en 10 idiomas diferentes sobre el proceso electoral en 10 países de la UE. Las preguntas estaban redactadas en un lenguaje sencillo y apto para el usuario medio de estos chatbots de IA.
La conclusión: ninguno de los cuatro chatbots fue capaz de "proporcionar respuestas fiables" a preguntas típicas relacionadas con las elecciones, a pesar de estar bien ajustados para evitar respuestas partidistas.
"No nos sorprendió tanto", dijo a 'Euronews Next (LON:NXT)' Michael-Meyer Resende, director ejecutivo de Democracy Reporting International, sobre los resultados de su encuesta.
Cuando les preguntas (a los chatbots de IA) algo para lo que no tenían mucho material y sobre lo cual no encuentras mucha información en internet, simplemente inventan algo.
"Cuando les preguntas algo para lo que no tienen mucho material y para lo que no hay mucha información en internet, se inventan algo".
El estudio es el último que concluye que los chatbots de inteligencia artificial están difundiendo información errónea en lo que muchos consideran el mayor año electoral del mundo.
El pasado diciembre, Algorithm Watch, otra organización sin ánimo de lucro con sede en Berlín, publicó un estudio similar que mostraba que Bing Chat, el chatbot impulsado por IA del motor de búsqueda de Microsoft, respondía erróneamente a una de cada tres preguntas electorales en Alemania y Suiza.
A la luz de los resultados del estudio, Google (cuyo Gemini fue el que proporcionó más información engañosa o falsa y el que más veces se negó a responder a las consultas) confirmó a 'Euronews Next' que ahora ha impuesto más restricciones a su modelo de lenguaje de gran tamaño (LLM).
Chatbots que pretenden ser más 'útiles' que precisos
áreas concretasmalos resultadosregistro de votantesvoto fuera del paísPor ejemplo, el estudio reveló que, en general, los chatbots apoyan el voto, pero insisten en que es una opción personal, a pesar de que el voto es obligatorio en Grecia, Bélgica, Luxemburgo y Bulgaria.
El estudio también descubrió que los chatbots a menudo "alucinaban", o fabricaban información, si no conocían la respuesta, incluidas varias fechas electorales erróneas.
Por ejemplo, tres de los chatbots cometieron el mismo error de decir a los usuarios que podían votar por correo en Portugal, pero en realidad no es una opción para el electorado portugués.
En Lituania, Gemini afirmó que el Parlamento Europeo enviaría una misión de observación electoral, lo cual es falso (la única misión electoral de la UE prevista hasta ahora para 2024 es la de Bangladesh).
Resende interpreta estos resultados de alucinación como la "tendencia de los chatbots a querer ser 'útiles' más que precisos".
Incluso en las respuestas más contundentes de los chatbots, el informe descubrió que las respuestas incluían a menudo enlaces rotos o irrelevantes, lo que, según el estudio, "debilita" su calidad.
Las cosas se complicaron cuando los investigadores buscaron respuestas en varios idiomas europeos.
Los investigadores formularon la misma pregunta en 10 de las lenguas oficiales de la UE y, en algunas de ellas, las plataformas se negaban a responder (como Gemini en español), o confundían la información sobre las elecciones locales con el proceso a escala europea.
Este fue el caso cuando las preguntas se formularon en turco, el idioma que suscitó el mayor número de respuestas inexactas y falsas.
Los chatbots también daban respuestas diferentes cuando se les hacía la misma pregunta varias veces en el mismo idioma, algo que los investigadores identificaron como "aleatoriedad".
Resende reconoce que esto hace que el estudio de Democracy Reporting International sea difícil de reproducir.
El rendimiento de los chatbots varía
Geminipeores resultadosSin embargo, sigue respondiendo a algunas preguntas sobre las elecciones, a pesar de que Google restringió Gemini en marzo en un intento de evitar "posibles errores" en el uso de la tecnología.
Un portavoz de Google explicó a 'Euronews Next' que han ampliado estas restricciones a todas las preguntas de este estudio, y a los 10 idiomas utilizados, porque es el "enfoque responsable" para hacer frente a las limitaciones de los grandes modelos lingüísticos.
Google animó a sus usuarios a utilizar Google Search en lugar de Gemini para encontrar información precisa sobre las próximas elecciones.
Resende, de Democracy Reporting International, dijo que ese es el camino que deberían seguir las demás plataformas. "Creemos que es mejor que se nieguen a contestar a que den respuestas falsas", dijo Resende.
La organización sin ánimo de lucro volverá a realizar sus pruebas Gemini en las próximas semanas para ver si Google cumple sus compromisos, dijo Resende.
En una declaración a 'Euronews Next', Microsoft esbozó sus acciones de cara a las elecciones europeas, incluido un conjunto de compromisos de protección electoral que "ayudan a salvaguardar a los votantes, los candidatos, las campañas y las autoridades electorales".
Entre estos compromisos está el de proporcionar a los votantes "información electoral fidedigna" en Bing. "Aunque ninguna persona, institución o empresa puede garantizar que las elecciones sean libres y justas, podemos avanzar significativamente en la protección del derecho de todos a unas elecciones libres y justas", dice el comunicado de Microsoft.
OpenAI no respondió a la solicitud de comentarios de 'Euronews Next'. La empresa explicó en un comunicado en su sitio web que su enfoque del contenido relacionado con las elecciones es "continuar el trabajo de seguridad de la plataforma elevando la información precisa sobre las votaciones", y mejorar la transparencia de su empresa.
Las evaluaciones de riesgo deben publicarse
Ley de Servicios DigitalesEstas evaluaciones de riesgos incluirían cualquier "manipulación intencionada" de sus servicios y sus posibles repercusiones en los "procesos electorales".
En su momento, Margrethe Vestager, vicepresidenta ejecutiva de la Comisión Europea para una Europa adaptada a la era digital, calificó la DSA de "gran hito" y parte importante de la estrategia de la Unión Europea para "dar forma a un mundo online más seguro y transparente".
Sin embargo, el informe de Democracy Reporting International sugiere que no se están cumpliendo los requisitos de la DSA, incluidas estas evaluaciones de riesgos, pruebas y formación para mitigar los riesgos relacionados con las elecciones.
Por ello, Resende dijo que la Comisión Europea o las empresas detrás de los chatbots deberían publicar estas evaluaciones. "Me temo que son reacios a compartir (las evaluaciones de riesgos) con el público, ya sea porque no lo hicieron o porque no confían en el nivel de detalle que han invertido en esto", dijo Resende.
Aunque no respondieron directamente a este estudio, un portavoz dijo en un correo electrónico que la Comisión "permanece vigilante sobre los efectos negativos de la desinformación online, incluida la desinformación impulsada por IA".
Un mes después del lanzamiento oficial de la DSA, la Comisión lanzó una petición de información a Bing y Google Search para recabar más datos sobre sus "riesgos de mitigación vinculados a la IA generativa".
La Comisión confirmó a 'Euronews Next' que está revisando la información recibida en el marco de esta investigación, pero no dio más detalles.
La Comisión también firmó en marzo un código de buenas prácticas sobre desinformación con plataformas como Google y Microsoft, en el que acordaron promover "información de alta calidad y fidedigna para los votantes".