Un estudio probó que se pueden recuperar prompts y saber qué le preguntaste al chatbot de IA

Si sos de hacerle bastantes consultas a los modelos de inteligencia artificial y te considerás una persona que cuida su privacidad, probablemente te interese saber que hay una manera de conocer cada pregunta que le hiciste al chatbot. ¿Cómo? Invirtiendo el proceso y averiguando los prompts a partir de los embeddings detrás de cada respuesta. Porque sí, las empresas de IA guardan esos estados ocultos.

Esto lo demostró un grupo de investigadores europeos en su estudio ‘Los modelos lingüísticos son inyectivos y, por lo tanto, invertibles’. El documento explica que la arquitectura transformer de los grandes modelos de lenguaje (LLM) está diseñada de una forma en la que cada prompt le corresponde una “incrustación” diferente en el espacio latente del modelo.

Si bien muchas empresas de IA aseguran que eliminan la conversación en texto plano del usuario con el chatbot, la mayoría no borra los estados internos. Estos los almacenan para monitoreo, diagnóstico o incluso personalización y están relacionados directamente con el texto de entrada. De esta forma, y según el estudio, el prompt sigue siendo recuperable a partir de ese archivo de embeddings. 

“Primero, demostramos matemáticamente que los modelos de lenguaje transformadores que mapean secuencias de entrada discretas a su secuencia correspondiente de representaciones continuas son inyectivos y, por lo tanto, sin pérdida, una propiedad establecida en la inicialización y preservada durante el entrenamiento. Segundo, confirmamos este resultado empíricamente mediante miles de millones de pruebas de colisión en seis modelos de lenguaje de última generación, sin observar ninguna colisión”, dice el estudio. 

Los investigadores también crearon un algoritmo llamado SIPIT (Sequential Inverse Prompt via ITerative updates) que reconstruye el texto de entrada exacto a partir de los estados ocultos. Según explicaron, este algoritmo “establece garantías de tiempo lineal y demuestra la invertibilidad exacta en la práctica”.

De ser así, esto complica los requisitos del cumplimiento normativo de la protección de los datos personales. ¿Por qué? Si pedís que eliminen todos tus datos a una empresa de IA, tenés que asegurarte de que borre no solo los registros de chats, sino también todos los embeddings, ya que si queda algún estado oculto perdido, el prompt original podría recuperarse.

“Más allá de la teoría, los hallazgos tienen implicaciones prácticas y legales. Los estados ocultos no son abstracciones, sino el prompt encubierto. Cualquier sistema que los almacene o transmita está, en efecto, procesando el texto del usuario. Esto afecta la privacidad, la eliminación y el cumplimiento normativo: incluso después de eliminar la solicitud, las incrustaciones (9Preprint) conservan el contenido. Los reguladores a veces han argumentado lo contrario…pero nuestros resultados muestran que, durante la inferencia, las entradas del usuario siguen siendo totalmente recuperables. No existe la «privacidad gratuita» una vez que los datos entran en un Transformer”, concluye el estudio.

Fuente: culturageek.com.ar