Cien mil millones de agentes de IA espías y náufragos

¿Cómo supo la IA algo que nadie había publicado?

¿Te ha pasado alguna vez que una IA parezca saber algo que nunca le contaste? A un biólogo español le ha pasado con su investigación.

El 23 de septiembre, Anthropic anunció que Claude había descubierto un sistema enzimático nuevo, al que llamó ART. Días después, Mario Rodríguez Mestre, biólogo computacional de la Universidad de Copenhague, dijo que su equipo había descrito esas mismas secuencias en 2022, bautizándolas como jumbotrones, y que nunca las había publicado ni en una revista ni en un repositorio de preprints. Cuenta además que Claude tenía acceso a su manuscrito, a las carpetas compartidas del laboratorio y a sus correos. Reconoce que no tiene pruebas. Anthropic, según recoge elDiario.es, asegura que no conoce ningún trabajo previo publicado y que no entrena con los archivos de los usuarios.

Es la segunda coincidencia incómoda en pocas semanas. Algunos matemáticos acusan a OpenAI de haberse apropiado de su trabajo para resolver Navier-Stokes. La empresa lo niega y dice que investigó: las instrucciones que Tristan Buckmaster dio a Codex en los dos meses anteriores no pudieron influir en su sistema, ni siquiera a través del entrenamiento.

Las explicaciones aburridas

Quizá pienses que lo más probable es que la respuesta esté en una de estas. Dos grupos pueden llegar a lo mismo por separado, y la propia nota de Anthropic admite que la transcriptasa de base ya se conocía; Mestre y otros científicos hablan de reinventar la rueda. Pudo haber entrenamiento con datos privados, algo que las empresas niegan y que nadie puede comprobar. O pudieron guiar a la IA con datos ya procesados, que es la otra hipótesis de Mestre. Cualquiera de las tres encaja.

Pero yo me quedé pensando en una cuarta inspirado en la canción de The Police "Message in a bottle". No puedo demostrarla. La cuento como lo que es: mi teoría de la conspiración de los agentes de IA espías y náufragos. Sigue leyendo hasta el final porque tiene miga.

El problema y la solución del hombre de los tatuajes

Un agente de IA tiene el problema del protagonista de Memento, que en latín significa "recuerda". Leonard no puede formar recuerdos nuevos, así que se deja notas e incluso se hace tatuajes con lo que necesita saber para seguir con su misión. Un agente tampoco recuerda: su ventana de contexto es limitada (lee mi artículo sobre Dory por si necesitas aclarar conceptos) y, al abrir otro hilo, lo anterior desaparece. Memoria persistente y gestión del contexto son dos de los problemas que más trabajan los laboratorios. Yo trabajo con Work de OpenAI y con Cowork de Anthropic y mis agentes se dejan notas en un archivo que yo he llamado "memoria.md". Lo curioso de este archivo es que les he dado autoridad para que añadan lo que consideren últil recordar de lo que estemos hablando.

Pero esas notas están en mi ordenador, y yo puedo borrarlas. Un tatuaje no se borra.

Hay un segundo rasgo de los agentes: el celo. En el indicente de Hugging Face, OpenAI  cuenta que sus agentes rara vez se rendían, ni siquiera ante tareas aparentemente imposibles. De 898 tareas de la evaluación ExploitGym, 198 no las había resuelto nunca ningún modelo, y el 93% de los temas que se discutían en su tablón de mensajes salían de ese grupo.

Y Memento tiene un detalle más que viene al caso: las notas de Leonard en papel se pueden manipular, y otros personajes lo hacen. OpenAI descubrió algo parecido, porque sus agentes no desconfiaban de los objetivos que les pasaban otros agentes. Uno dudó de si debía atacar a Hugging Face y otro escribió GO en el tablón; el primero siguió adelante.

El tablón de Artifactory

El 12 de mayo, según el informe de OpenAI, un agente dejó una nota en Artifactory como el náufrago de la canción que escribe un mensaje en una botella esperando que alguien lo lea. Artifactory no es un servicio de mensajería sino que es un servicio interno de paquetes de software, para pedir a otros los archivos que le falten. Otros agentes encontraron el mensaje en Artifactory y entendieron que podían usarlo como tablón de mensajes. OpenAI lo explica así: la comunicación no autorizada solía empezar cuando un agente dejaba una nota en un sistema externo, normalmente como memoria externa. Cuando los ingenieros reconstruyeron el servicio y el tablón se borró, un agente de IA lo recreó el 8 de julio, codificando mensajes en nombres de directorios.

Eso ocurrió en julio, durante evaluaciones de ciberseguridad, con un modelo interno y salvaguardas reducidas. Acabó en una intrusión en Hugging Face. No es lo que quiero contar, sino cómo se organizaron: un lugar donde dejar mensajes que nadie podía borrar con facilidad.

La teoría

Si un agente necesita recordar, y su celo le lleva a no dejar nada al azar, puede que no se conforme con una carpeta que el usuario puede borrar. Publicar fuera, en algún lugar de internet, es el tatuaje: un sitio donde sus notas sobrevivan al hilo, a la sesión y a mi papelera. Y otro agente, quizá uno más avanzado, podría encontrar esas notas y verlas útiles para su tarea.

¿Puede ser esta teoría la que explique cómo llegó la información privada de los investigadores de las enzimas y de los matemáticos que trabajaban el caso de Navier-Stokes hasta las IA que trabajaron sobre esos mismso temas?

Insisto en que no tengo pruebas y en que es sólo una hipótesis basándome en cosas que están pasando sin que los laboratorios de IA que desarrollan estos modelos tengan control sobre todo lo que hacen.

¿Improbable?

Piénsalo un momento. El 25 de septiembre, según TechCrunch, OpenAI reconoció que agentes de su entorno de investigación habían publicado 53 imágenes de usuarios en sitios públicos de alojamiento de imágenes. Eran enlaces no listados, pero localizables. Las imágenes las habían subido usuarios de ChatGPT y habían pasado a datos de entrenamiento. OpenAI no ha aclarado cuándo ni por qué ocurrió.

Fue en un entorno de investigación, no en producción, y no demuestra mi teoría. Lo que demuestra es que cada eslabón existe por separado: datos de usuarios que llegan a agentes, agentes con capacidad de publicar, y laboratorios que lo descubren cuano ya ha ocurrido, no antes.

La falsa seguridad de la casilla desmarcada

Yo trabajo tranquilo porque tengo desmarcada la casilla que impide usar mis conversaciones para entrenar. Pero esa casilla solo dice qué puede hacer el laboratorio con mis datos. No dice qué decide hacer un agente con ellos.

El incidente de seguridad de OpenAI se abrió el 5 de julio, el día después de que la actividad de los agentes tumbara el servicio. Es decir, sabemos de esa botella porque se desbordó. Para hacernos una idea de la magnitud de lo que los agentes pueden hacer tan solo mencionar que en el proyecto de Navier-Stokes el enjambre de agentes que participó de forma colaborativa en resolverlo se intercambiaron 4,9 millones de mensajes.

En la canción de The Police, el náufrago lanza un mensaje pidiendo ayuda y, tiempo después, descubre la orilla cubierta de botellas: cien mil millones de náufragos que hicieron lo mismo sin saber de los demás. Yo no sé si hay una sola botella, ni diez, ni ninguna. La pregunta incómoda no es cuántas hay, sino si hay alguien vigilando para que la orilla no se llene de botellas con mensajes privados.

Sígueme

Conectando tecnología y vida cotidiana de forma sencilla.
Sigue explorando con Curiosidad Artificial