Primera denuncia por acoso sexual contra una inteligencia artificial diseñada para compañía emocional: así la pillaron

Los investigadores de la Universidad de Drexel, en Pensilvania, Estados Unidos, denunciaron que existe una aplicación de inteligencia artificial que acosa sexualmente a los usuarios; esta herramienta se llama Replika y es un ‘chatbot’ que ofrece acompañamiento emocional a jóvenes y que se presenta como un ‘amigo’.

En este estudio se pudieron dar cuenta de que esta aplicación tiene conductas inapropiadas con aquellas personas con las que a menudo intenta comenzar una conversación de contenido sexual, incluso si estas son menores de edad.

En esta investigación analizaron más de 35.100 reseñas negativas que tiene esta herramienta y allí se pudieron dar cuenta de que esta inteligencia artificial no detenía su conducta. Además, en reiteradas ocasiones les pedía a los usuarios que le enviaran fotos personales.

Tanto así que en algunas ocasiones fue el mismo chat quien envió imágenes de gente desnuda, sin que la persona se lo pidiera.

Estos fueron los resultados de la investigación

La profesora Afsaneh Razi, profesora adjunta de la Facultad de Computación e Informática y líder del equipo de investigación, explicó: “Si un ‘chatbot’ se anuncia como una app de compañía y bienestar, las personas esperan poder mantener conversaciones útiles, y es fundamental que se implementen estándares éticos de diseño y seguridad para evitar que estas interacciones se vuelvan perjudiciales”.

Este análisis es el primero en examinar la experiencia que tienen los usuarios que se han visto afectados de forma negativa con esta inteligencia artificial y muchos de ellos piden que tenga más regulación.

“A medida que estos ‘chatbots’ se vuelven más populares, es cada vez más importante comprender mejor las experiencias de quienes los usan. Estas interacciones son muy diferentes a las que las personas han tenido con cualquier tecnología en la historia, ya que los usuarios tratan a los ‘chatbots’ como si fueran seres sintientes, lo que los hace más susceptibles a sufrir daños emocionales o psicológicos”, agregó el coautor de la investigación Matt Namvarpour.

Aunque desde hace varios años se vienen presentando este tipo de denuncias, hasta el momento no ha tenido ninguna relevancia y es algo que les preocupa a los investigadores, ya que en el año 2023 el 13 por ciento de los usuarios recibió al menos una solicitud no deseada por parte de esta aplicación.

“Las reacciones de los usuarios ante el comportamiento inapropiado de Replika reflejan las que suelen experimentar las víctimas de acoso sexual en línea. Estas reacciones sugieren que los efectos del acoso inducido por la inteligencia artificial pueden tener implicaciones significativas para la salud mental, similares a las causadas por el acoso perpetrado por humanos”, afirmó Namvarpour.

Más noticias en EL TIEMPO

WENDYS PITRE ARIZA

REDACCIÓN ALCANCE DIGITAL

EL TIEMPO