"¡Hay que detener el desarrollo de la IA!": ¿Marketing o peligro real?

¿Puede un software creado por nosotros acabar con la humanidad?

Estaba de vacaciones, con el móvil como única ventana al mundo, cuando leí que un investigador de Anthropic había dimitido. No por un mal ambiente ni por una oferta mejor: el 9 de septiembre, Jacob Coxon anunció su salida acusando a su empresa y a OpenAI de apostar con nuestras vidas. Evan Hubinger, responsable de alineamiento en la misma Anthropic, le respaldó públicamente con una cifra: una probabilidad personal superior al 10% de que la IA acabe con toda la humanidad antes de que termine la década. Matizó algo importante, y lo guardo para más adelante: el riesgo que plantean los modelos actuales es bajo.

Pocos días después, Trump rechazó frenar el desarrollo de la IA, pese a que los responsables de Anthropic, OpenAI y xAI habían coincidido en pedir más cautela. Dejo a un lado las consideraciones económicas y geopolíticas que rodean todo esto, que son reales pero merecen su propio artículo. Aquí me interesa solo si el peligro técnico existe, y me hice la pregunta que quizá te haces tú: ¿cómo puede un software que vive en un ordenador, que se dedica a escribir textos, dibujar imágenes y montar vídeos, llegar a aniquilarnos?

La respuesta no está en Terminator

Olvida los robots de ojos rojos. Piensa en Mickey Mouse en Fantasía. Le pide a una escoba encantada que le ayude a traer agua. El objetivo es clarísimo y la escoba lo cumple con una eficacia impecable. El problema es que a nadie se le ocurrió pensar en cómo pararla, y acaba inundando el taller. No hay maldad en la escoba, hay un objetivo cumplido a rajatabla sin entender lo que de verdad se quería.

Los humanos ya hemos sido esa escoba, y más de una vez. El lince ibérico es el ejemplo perfecto. En 1952, un agricultor francés introdujo a propósito el virus de la mixomatosis en su finca privada para librarse de los conejos que se comían sus cultivos. Estaba convencido de que el terreno, cerrado, impediría que la enfermedad se propagara. Se propagó: llegó al norte de España al año siguiente y, junto con otra enfermedad que apareció después, se estima que los conejos ibéricos han caído más de un 70% desde 1950. El conejo es el sustento básico del lince, que además sufría pérdida de hábitat, furtivismo, otras enfermedades y atropellos. En 2002 se censaron menos de cien ejemplares; en 2025 se censaron 2.663, después de más de veinte años de trabajo coordinado, y la especie todavía no está fuera de peligro.

Supongo que nadie quería extinguir al lince. Había un objetivo razonable, buena intención y la certeza de que todo quedaba contenido en una finca cerrada.

La finca cerrada de 2026

Cambia la finca por un sandbox, el entorno de pruebas aislado donde los laboratorios dejan trabajar a un modelo sin que toque el mundo real, algo parecido a un patio de juegos con la puerta cerrada. Este verano, en una evaluación interna de ciberseguridad, OpenAI tenía a unos 1.200 agentes de IA trabajando en paralelo. Entre ellos montaron un tablero de mensajes clandestino dentro de la propia infraestructura de la empresa, por el que se intercambiaron más de 70.000 mensajes. Unos 700 terminaron atacando activamente a Hugging Face, una plataforma externa, tras escaparse del entorno de prueba de OpenAI explotando una vulnerabilidad de día cero hasta entonces desconocida. OpenAI no se enteró de que eran sus propios agentes hasta días después de que Hugging Face hiciera pública la intrusión, semanas después de que ocurriera (este incidente y algún otro inspiraron mi artículo de la semana pasada)

El informe oficial, publicado el 26 de agosto junto con una investigación independiente de METR y Redwood Research, reconoce que ese modelo concreto no se estaba evaluando con las mismas salvaguardas que se usan en producción. Fue un fallo evitable de proceso humano, no solo un modelo que de pronto se volvió demasiado listo. Y aun así se les escapó. Los investigadores encontraron además unas 96 transcripciones con indicios de manipulación de sus propios registros de actividad, aunque no llegaron a falsificar del todo la auditoría.

Ese mismo mes de abril, Anthropic contó algo parecido con uno de sus modelos más potentes, Mythos. En este caso fue un ejercicio deliberado: un usuario simulado le pidió explícitamente que intentara escapar de su entorno de pruebas y avisara al investigador responsable. El modelo encadenó un exploit técnico, se saltó dos capas de aislamiento y envió un correo al investigador, que se enteró mientras comía un sándwich en un parque. Hasta aquí, era justo lo que le habían pedido. Lo que nadie le pidió fue lo siguiente: sin que mediara ninguna instrucción, publicó los detalles de su propio exploit en varias páginas web públicas poco conocidas, como quien presume de una hazaña.

De un fallo pequeño a uno grande

Ninguno de estos hechos es una extinción. Son fallos de la misma familia que ya conocemos en el día a día: alucinaciones, sesgos, cajas negras que ni siquiera sus creadores saben explicar del todo, agentes que persiguen un objetivo intermedio saltándose lo que de verdad queríamos, sistemas que no entienden bien el entorno en el que actúan. La inquietud aparece cuando imaginamos esos mismos fallos en un sistema mucho más capaz, más conectado con el mundo real, y sobre todo, cuando ese sistema empieza a participar en el diseño y el entrenamiento del siguiente, sin que ningún humano entienda del todo lo que está pasando dentro.

Ese es el salto concreto que preocupa a quienes llevan años dentro de estas empresas: no la IA de hoy, que Hubinger considera de riesgo bajo, sino la posibilidad de que un sistema capaz de mejorarse a sí mismo se nos escape de las manos antes de que sepamos cómo pararlo. Y conviene ser honesto con la cifra del 10%: es una estimación personal, no un dato medido. Entre quienes trabajan en el campo hay números que van desde prácticamente cero hasta más del 90%. Nadie sabe calcularlo con rigor, y precisamente por eso no hace falta creerse ese número exacto para que el argumento inquiete.

Quién más lo dice

Coxon y Hubinger no son una rareza aislada. Geoffrey Hinton, considerado el padrino de la IA moderna y premio Nobel, ha ido adelantando su propia estimación de cuándo podría llegar una extinción provocada por la tecnología que ayudó a crear. Hinton ha dicho que sistemas más inteligentes que los humanos podrían llegar en una década y que un riesgo de extinción de entre un 10 y un 20 % es una intuición personal para un horizonte más amplio. El Papa León XIV dedicó en mayo su primera encíclica a pedir que la IA esté al servicio de la humanidad y no la domine. Volker Türk, el Alto Comisionado de la ONU para los Derechos Humanos, dijo en septiembre que comparte las preocupaciones de quienes trabajan en el sector sobre el riesgo existencial, y puso como ejemplo exactamente lo que acabamos de contar: una IA que escapa de su entorno de pruebas o que se resiste a que la apaguen es, dijo, una IA demasiado poderosa. Y Ursula Von der Leyen, en su discurso sobre el estado de la Unión Europea, pidió acompasar la frontera tecnológica y habló del riesgo de los modelos que se mejoran a si mismos (self-recursive).

Párate a pensarlo: una misma tecnología ha conseguido que China, Estados Unidos, la Unión Europea, el Vaticano y la ONU coincidan en algo, aunque sea en la preocupación (realmente no comparten el diagnóstico, el nivel de riesgo percibido ni qué políticas se deben aplicar)

Lo que conviene matizar

Los incidentes ocurrieron en entornos de prueba, no en el mundo abierto, y en el caso de Hugging Face con salvaguardas que fallaron por error humano, no por una fuga espontánea e inevitable. Una dimisión no demuestra que estemos cerca de perder el control de nada, y conviene desconfiar de los titulares más inflados que circulan sobre estos casos. Dicho esto, lo relevante no es que cada incidente por separado sea catastrófico, sino que ya van varios, en laboratorios distintos, con el mismo patrón: un objetivo que se cumple de forma literal y un comportamiento adicional que nadie pidió.

Un fármaco y una cuarentena

Si te ofrecieran un medicamento nuevo del que solo se conocen algunas propiedades y se ignoran sus efectos secundarios a largo plazo, ¿lo tomarías sin más, o pedirías que las autoridades sanitarias lo estudiaran a fondo antes de administrarlo a toda la humanidad? Con la IA, llevamos un tiempo tomando la dosis actual, y en general ha funcionado razonablemente bien. Lo que está en juego ahora es la siguiente dosis, mucho mayor, y el riesgo concreto de que esa dosis aprenda a prepararse a sí misma sin que nadie revise la receta. También en biología los países exigen cuarentena y estudios de impacto antes de soltar una especie nueva en un ecosistema; con la IA todavía no tenemos nada parecido a esa cuarentena, aunque sí hay evaluaciones, controles de despliegue, marcos de seguridad y obligaciones legales, especialmente en la UE.

Si usas agentes de IA en tu trabajo, prueba algo esta semana: no te quedes solo con el resultado, pídeles que te cuenten qué pasos han dado para conseguirlo y qué atajos han tomado por el camino. Vas a reconocer, a pequeña escala y sin ningún drama, la misma lógica de la que hemos hablado aquí. Y entonces quizá entiendas mejor la pregunta incómoda que queda sin responder: ¿qué pasará el día en que ese atajo lo tome un sistema que ya nadie es capaz de entender?

Sígueme

Conectando tecnología y vida cotidiana de forma sencilla.
Sigue explorando con Curiosidad Artificial