By 
Inteligencia artificial (IA)
Robert Klatt
El software no puede reconocer los textos de ChatGPT. Ahora se ha examinado si los lingüistas pueden distinguir entre textos humanos y textos de IA.
Menfis (Estados Unidos). El modelo de lenguaje grande (LLM) ChatGPT puede superar a los estudiantes en razonamiento analógico, según un estudio de la Universidad de California en Los Ángeles (UCLA). Además, investigadores de la Universidad de Nueva York en Abu Dhabi (NYUAD) han descubierto que la inteligencia artificial (IA) puede lograr mejores resultados en los exámenes que los humanos en muchas materias. Por lo tanto, muchas universidades temen que los estudiantes puedan utilizar la IA para sus tareas y para hacer trampa en los exámenes.
Según Open AI, la empresa que desarrolla ChatGPT, los sistemas técnicos no pueden determinar de forma fiable si un texto fue escrito por un humano o por una IA. Por lo tanto, Open AI desconectó su clasificador hace meses.
Los lingüistas evalúan textos.
Por ello, investigadores de la Universidad de Memphis llevaron a cabo un experimento en el que se pidió a 72 lingüistas que evaluaran si un texto científico procedía de un ser humano o de ChatGPT. Cada uno de los lingüistas analizó cuatro muestras de texto. Ninguno de los participantes pudo asignar correctamente los cuatro textos. Algunos lingüistas (13%) incluso se equivocaron en todos los textos.
«Pensamos que si alguien fuera capaz de identificar textos producidos por humanos, tendrían que ser lingüistas que hubieran dedicado sus carreras a estudiar patrones en el lenguaje y otros aspectos de la comunicación humana».
Los lingüistas han argumentado lógicamente
Al evaluar los textos, los lingüistas razonaron racionalmente y utilizaron ciertas características lingüísticas y estilísticas para clasificar los textos. Sin embargo, según la publicación de la revista Research Methods in Applied Linguistics, sólo pudieron asignar correctamente el 39 por ciento de los textos.
“Lo más interesante fue cuando les preguntamos por qué decidieron que algo había sido escrito por una IA o un humano. Dieron razones muy lógicas, pero una y otra vez no fueron precisas ni consistentes”.
Por lo tanto, el estudio muestra que los profesores no pueden saber de manera confiable si los estudiantes realmente escribieron sus artículos ellos mismos o si se utilizó un LLM como ChatGPT para ello. Los resultados de ChatGPT a menudo solo pueden reconocerse en textos particularmente largos.
«Para textos más largos, la IA tiende a alucinar e inventar contenido, lo que hace que sea más fácil reconocer que fue generado por una IA».
Los autores esperan que el estudio conduzca a una discusión más amplia para establecer las pautas y requisitos éticos necesarios para el uso de la IA en la investigación y la educación.
Métodos de investigación en lingüística aplicada., doi: 10.1016/j.rmal.2023.100068
Comments