La inteligencia artificial informa automáticamente del odio en Internet

bótox

9 de marzo de 2024 14:43 Robert Klatt

Una IA desarrollada en Alemania puede detectar automáticamente declaraciones ilegales en Internet y enviarlas a una oficina pública de informes.

Darmstadt (Alemania). En Internet se producen a menudo insultos, incitación al odio, discursos de odio y amenazas de violencia. Un estudio del Instituto de Potsdam para la Investigación del Impacto Climático (PIK) demostró recientemente que estos comentarios de odio no deseados y a menudo ilegales aumentan con las altas temperaturas. Por ello, investigadores de la Universidad de Ciencias Aplicadas de Darmstadt (h_da) han desarrollado la inteligencia artificial (IA) BoTox (detección de contexto y bot en el ámbito de los comentarios de odio), que puede reconocer y denunciar automáticamente los discursos de odio.

Según la lingüista informática Melanie Siegel, la IA no sólo reconoce las declaraciones ilegales, sino que también las envía al centro de informes de HessenGegenHetze para que las autoridades puedan tomar las medidas legales adecuadas.

«Hemos identificado doce delitos penales diferentes».

Distinción entre humanos y bots

El AI BoTox también puede distinguir si los comentarios de odio con relevancia criminal provienen de un humano o de un robot. Según los investigadores, esto es especialmente problemático en el caso de la IA generativa, ya que estos sistemas pueden escribir de forma cada vez más humana. Según un estudio de la Universidad de Memphis, incluso los lingüistas experimentados a menudo no pueden distinguir si un texto fue escrito por un humano o por ChatGPT.

Datos de entrenamiento de las redes sociales

Para entrenar la IA, los investigadores utilizaron datos de redes sociales, incluidas Facebook y YouTube. Pudieron acceder a ellos a través de las interfaces del operador. Los datos de X, antes Twitter, no se utilizaron para entrenar la IA porque Elon Musk recientemente aumentó significativamente el precio de las licencias de investigación.

Por lo tanto, los investigadores sólo pudieron utilizar datos antiguos de Twitter que ya habían obtenido para el proyecto anterior DeTox (detección de toxicidad y agresión en publicaciones y comentarios en Internet). Los datos de entrenamiento más antiguos no cubren muchos temas actuales, incluida la guerra en Ucrania. Según Siegel, fue necesario desarrollar métodos para poder transferir los datos.

“Pero estamos trabajando para que los datos sean transferibles. Por ejemplo, se eligieron palabras similares sobre la canciller Merkel como hoy sobre los semáforos”.

Sin embargo, una gran proporción de los comentarios de odio se refieren a temas como la xenofobia, la discriminación contra las minorías, el antisemitismo y la migración. Para clasificar los comentarios, tres estudiantes asistentes los dividieron en insultos aceptables y declaraciones criminalmente relevantes. Luego, la IA pudo decidir con un alto grado de precisión qué tipo de comentario estaba presente en función de estos datos de entrenamiento.