ChatGPT es una Inteligencia Artificial (IA) impresionante y muy convincente en general cuando se le hace alguna pregunta sobre un tema de cultura general o algún asunto que no sea dominado en lo absoluto por quien solicita la información.
PUBLICIDAD
Sin embargo, lo cierto es que la plataforma de OpenAI, a pesar presentar algunos parámetros de conciencia emocional, en realidad sería extraordinariamente imprecisa en múltiples, demasiados, parámetros. Aunque su redacción y articulación de resultados luzca siempre, invariablemente, convincente.
Pero ahora ha surgido un estudio en donde se comprueba lo que ya muchos sospechábamos luego de experimentar por horas con esta clase de Inteligencias Artificiales Generativas: las respuestas de ChatGPT la mayoría de las veces son imprecisas (con un cierto porcentaje de verdad), incorrectas (con sesgos importantes) e incluso en algunos casos pueden llegar a ser totalmente falsas.
La situación es más tensa que nunca con este tipo de sitios, donde cada vez parece que se le confiarán más labores y responsabilidades a ciegas, cuando en realidad esta IA y otras del ramo, hoy por hoy, son como ese compañero de oficina que aparenta que sabe lo que hace pero no es real en especial si se trata de algo muy especializado.
Estudio confirma que ChatGPT se equivoca demasiado respondiendo sobre temas de ingeniería de software
De antaño Stack Overflow era el ágora digital en donde cualquier ingeniero de software podía resolver esa duda o problema de desarrollo que lo mantenía atorado con su proyecto. Se trata de una comunidad donde otros colegas están disponibles para, en comunidad, encontrar soluciones a problemas del ramo de la programación.
Sin embargo el sitio poco a poco dejó de ser tan recurrido, todo debido a que ChatGPT, en teoría, podía responder esta clase de dudas al instante. Pero hubo un pequeño gran detalle: las respuestas no siempre eran correctas.
Ahora se ha publicado un nuevo estudio de la Purdue University en donde un grupo de investigadores se ha dedicado a calcular de una vez por todas que tan precisa es en realidad la IA cuando se realizan preguntas relativas al ramo de ingeniería de software.
PUBLICIDAD
En el proyecto los científicos alimentaron a ChatGPT con 517 preguntas salidas directamente desde Stack Overflow y que ya habían sido resuelta de manera correcta por humanos. A sabiendas de cuál era la solución lo que descubrieron sobre el comportamiento de la Inteligencia Artificial resultó algo impactante.
Los resultados mostraron que de las 512 preguntas planteadas, en 259 (el 52%) las respuestas de ChatGPT eran totalmente incorrectas y solo en 248 (el 48%) eran correctas.
Pero lo más perturbador es que el 77% de las respuestas fueron muy detalladas. Plagadas de información imprecisa, falsa o errónea, pero convincente por su extensión.
De hecho el 65% de las veces las respuestas fueron exhaustivas y abordaron todos los aspectos de la pregunta. Lo que termina demostrando que esta IA puede engañar a quien no domine el tema.
Pero terminaría exponiendo a quien use la plataforma para solucionar asuntos que no domina. Al final ChatGPT no es tan confiable.
