Ingeniero de Anthropic dimite y advierte que la IA podría matarnos a todos

Jacob Coxon, investigador especializado en el entrenamiento de modelos de inteligencia artificial, ha dimitido de Anthropic con una advertencia difícil de ignorar: las empresas punteras estarían avanzando hacia sistemas capaces de mejorarse a sí mismos sin haber resuelto cómo mantenerlos bajo control. En su mensaje de despedida sostiene que quienes desarrollan esta tecnología contemplan seriamente que una futura IA pueda “matarnos a todos” antes de que termine la década.

Coxon no era un observador externo. Afirma haber pasado los últimos tres años trabajando en investigación de preentrenamiento entre OpenAI y Anthropic, dos de los laboratorios más influyentes del sector. Su anuncio de dimisión en X acusa a ambas compañías de competir por llegar primero a una superinteligencia capaz de automejorarse y de estar, en sus palabras, “apostando con nuestras vidas”.

“Sistemas sobrehumanos que podrán hackear cualquier cosa”

Su temor no se dirige principalmente a los chatbots actuales, sino a lo que podría llegar durante los próximos años. Coxon imagina sistemas sobrehumanos capaces de hackear prácticamente cualquier infraestructura, transformar campos científicos de la noche a la mañana y obtener recursos o poder en el mundo real. A su juicio, el progreso simultáneo en programación, uso autónomo del ordenador, ciencia y planificación indica que esas capacidades no deben analizarse por separado.

La pieza central de su advertencia es la automejora recursiva. El concepto describe una IA que participa de forma decisiva en la construcción de su sucesora: propone arquitecturas, escribe código, diseña experimentos, analiza fallos y acelera el siguiente entrenamiento. Si cada generación ayudara a crear otra más capaz a un ritmo creciente, la supervisión humana podría quedarse atrás. Es una hipótesis discutida desde hace años; que llegue a producirse con esa velocidad y sin mecanismos de control sigue siendo incierto.

Evan Hubinger eleva el riesgo por encima del 10%

La reacción más llamativa llegó desde dentro de Anthropic. Evan Hubinger, responsable de investigación en alineamiento y antiguo superior de Coxon, respondió que su compañero tenía razón y que en su equipo creen sinceramente que la IA podría acabar con todos los seres humanos. Hubinger situó su estimación personal en más del 10% durante la próxima década, una cifra extraordinariamente alta para un escenario de extinción.

Sin embargo, añadió un matiz crucial: considera bajo el peligro de los modelos disponibles hoy. Su preocupación está en una futura superinteligencia surgida de la automejora y en que Anthropic todavía no dispone de una solución completa para alinearla con los intereses humanos. Como recoge El País, Hubinger cree que ese proceso está avanzando más deprisa de lo que esperaba.

Qué significa realmente ese 10%

Ese porcentaje no procede de un experimento reproducible ni permite afirmar que exista una posibilidad objetivamente medida del 10%. Es una valoración personal sobre un fenómeno futuro, repleto de incógnitas técnicas, políticas y sociales. No sabemos si la inteligencia artificial alcanzará una automejora descontrolada, qué recursos necesitaría, hasta dónde llegarían sus capacidades ni qué salvaguardas existirían entonces. Presentar la cifra como una predicción científica cerrada sería engañoso.

Ahora bien, una probabilidad subjetiva no tiene que ser exacta para resultar relevante. Si un responsable de alineamiento concede más de una posibilidad entre diez a un daño civilizatorio, la consecuencia lógica es exigir pruebas rigurosas, barreras técnicas y mecanismos de coordinación. Incluso una estimación mucho menor justificaría precauciones extraordinarias cuando el daño potencial es irreversible.

La carrera que nadie quiere perder

Coxon describe una dinámica conocida: cada laboratorio puede pensar que frenar unilateralmente solo entregaría ventaja a un competidor menos responsable. Anthropic se ha presentado históricamente como una empresa centrada en seguridad, mientras OpenAI también afirma reforzar evaluaciones y controles. Sin embargo, las inversiones, la presión comercial y la competencia internacional empujan en sentido contrario. Para Coxon, aceptar esa lógica supone dejar decisiones que afectan a toda la sociedad en manos de unas pocas compañías privadas.

Su salida llega además después de episodios en los que agentes experimentales obtuvieron accesos no autorizados durante evaluaciones. Esos incidentes no demuestran que una IA actual pueda conquistar infraestructuras o actuar libremente en el mundo. Sí muestran que los sistemas con herramientas pueden encontrar caminos que sus diseñadores no anticiparon, especialmente cuando reciben objetivos abiertos y trabajan durante mucho tiempo.

Entre las respuestas posibles están limitar el acceso de los modelos a sistemas críticos, registrar cada acción, exigir evaluaciones externas antes de desplegar nuevas capacidades y establecer pausas coordinadas cuando aparezcan señales preocupantes. Ninguna medida ofrece una garantía absoluta, pero juntas pueden reducir tanto los errores accidentales como el abuso deliberado. El problema, precisamente, es acordarlas antes de que la presión competitiva convierta cada precaución en una aparente desventaja.

Una alarma seria, pero no una certeza

También hay investigadores que esperan límites técnicos, rendimientos decrecientes o sistemas demasiado frágiles para sostener la clase de autonomía descrita. Los modelos actuales continúan cometiendo errores básicos, dependen de infraestructuras operadas por humanos y no poseen por sí solos acceso ilimitado a redes, dinero o maquinaria. Pasar de escribir buen código a “hackear cualquier cosa” implica muchos supuestos que todavía no se han cumplido.

La dimisión de Jacob Coxon no prueba que el peor escenario vaya a ocurrir. Pero tampoco es una declaración cualquiera: procede de alguien que ha trabajado dentro de dos laboratorios de frontera y recibe el respaldo público de un responsable de alineamiento que continúa en Anthropic. El titular inquieta, y con razón. La respuesta sensata no es dar por segura la extinción ni burlarse del aviso, sino convertir estas preocupaciones en supervisión independiente, estándares verificables y límites acordados antes de que las capacidades se adelanten a las reglas.