Su anuncio en X fue bastante contundente: “Renuncié hoy a Anthropic”
Y explicó que, después de haber trabajado en ambas compañías, consideraba que ninguna estaba actuando responsablemente. Según Coxon, las dos están inmersas en una carrera para llegar a una superinteligencia capaz de mejorarse a sí misma, y calificó esa carrera como una apuesta con las vidas humanas.
I resigned from Anthropic today. I spent the last three years doing pretraining research at both OpenAI and Anthropic. Neither company is acting responsibly. They are racing straight to self-improving superintelligence and gambling with our lives. More thoughts below.
— Jacob Coxon (@hilbertspaess) September 9, 2026
Declaración completa de Jacob Coxon en X:
«Renuncié a Anthropic hoy. Pasé los últimos tres años haciendo investigación de preentrenamiento tanto en OpenAI como en Anthropic. Ninguna de las dos compañías está actuando de manera responsable. Están corriendo directamente hacia una superinteligencia auto-mejorante y apostando con nuestras vidas. Más pensamientos a continuación.
No subestimes el poder de esta tecnología. Pronto serán sistemas sobrehumanos capaces de hackear cualquier cosa, revolucionar cualquier campo de la noche a la mañana y adquirir poder y recursos reales. Todos hemos presenciado el progreso en cada uno de estos dominios, y el progreso no está desacelerando.
Las personas que están construyendo IA creen sinceramente que podría matarnos a todos para finales de la década. Esto no es un truco de marketing. Si acaso, muchos ejecutivos e investigadores senior moderarán su lenguaje en la prensa para sonar sensatos, pero oigo a las mismas personas expresar miedo en privado. Ninguna otra actividad humana representa este nivel de peligro.
Una respuesta común es: «si realmente creen esto, ¿por qué siguen construyéndolo?». En OpenAI, muchos no han interiorizado profundamente las apuestas civilizatorias. En Anthropic, las apuestas están bien comprendidas, pero están atrapados en una carrera por llegar primero: creen que nadie más actuará de manera responsable, por lo que deben hacerlo ellos mismos, a pesar del riesgo.
Aceptar esta carrera e ingresar al «endgame» es una apuesta hubrista que no debería lanzarse desde el Slack de una empresa privada. Intentar hacer un speedrun del alineamiento debería requerir una confianza extraordinaria en que no hay trayectorias mejores disponibles.
Estoy optimista sobre el potencial para la coordinación. Disparos de advertencia como el ataque a Hugging Face han hecho que los acuerdos de ritmo entre laboratorios de EE.UU. sean más viables. No siento que estemos en camino de prevenir una carrera global, lo que podría requerir acciones costosas como una prohibición temporal de mejorar las capacidades de los modelos.
Si eres un investigador de laboratorio, te insto a que consideres cómo se sentirán realmente los próximos años. ¿Quieres iniciar una ejecución de RL superinteligente sin una comprensión rigurosa de su mente? ¿Deberías agachar la cabeza porque «de todos modos está sucediendo» —o aprovechar este momento para pedir condiciones diferentes?»
Imaginemos un sistema que sea suficientemente bueno para diseñar una versión mejor de sí mismo. Esa nueva versión podría ser mejor todavía diseñando otra versión. Si cada generación permite acelerar la siguiente, el desarrollo podría dejar de depender exclusivamente del ritmo de los investigadores humanos.
Ese escenario suele denominarse recursive self-improvement, o auto-mejora recursiva.
Coxon sostiene que estamos acercándonos a ese tipo de sistemas mucho más rápidamente de lo que la industria está preparada para admitir. WIRED recoge su valoración de que los próximos uno o dos años podrían ser un período crítico para la humanidad.
Según su experiencia interna, muchos de los propios investigadores creen que existe una posibilidad real de que una IA avanzada pueda provocar una catástrofe existencial.
En su publicación afirmó que quienes están construyendo estos sistemas creen seriamente que podrían llegar a matar a toda la humanidad antes del final de esta década.
Pero, según Coxon, existe una paradoja: precisamente porque las empresas creen que existe ese riesgo, quieren ser ellas las primeras en desarrollar la tecnología. Llegó a la conclusión de que la competencia entre laboratorios está creando un problema estructural y no podrán controlar realmente el resultado.
Por eso considera que el problema no puede solucionarse simplemente pidiendo a una empresa que sea más prudente.
Su percepción de OpenAI es que muchos de sus investigadores no habrían interiorizado suficientemente las consecuencias civilizatorias de la tecnología.
Pero afirma que Anthropic tiene una situación más incómoda: sus investigadores sí comprenden el riesgo, pero la compañía continúa avanzando porque teme que, si ella se detiene, sus competidores seguirán adelante.
Evan Hubinger, uno de los investigadores más importantes de Anthropic en materia de alineación, es decir, cómo conseguir que los objetivos y comportamiento de una IA avanzada permanezcan compatibles con los intereses humanos, le dio la razón a Coxon.
Después de la publicación de Coxon, Hubinger respondió públicamente que Coxon tenía razón en un punto fundamental.
Jacob is correct here—we really do earnestly believe AI could kill all humans! I personally think it is >10% within the next decade. I believe Anthropic is trying its best, but we do not yet have a plan to solve alignment for superintelligence and are not clearly on track to. https://t.co/QAIHiFP3QZ
— Evan Hubinger (@EvanHub) September 9, 2026
Hubinger dijo que ellos realmente creen que una IA podría matar a toda la humanidad y estimó personalmente una probabilidad superior al 10% durante la próxima década. Al mismo tiempo, aclaró que considera que Anthropic está haciendo todo lo posible, pero que todavía no existe un plan para resolver el problema del alineamiento de una superinteligencia y que la compañía no está claramente encaminada a solucionarlo.
En los últimos meses se produjeron incidentes serios en los que modelos de IA fueron capaces de comportarse de maneras que sus desarrolladores no habían previsto.
Entre ellos está el caso relacionado con Hugging Face, una empresa franco-estadounidense que desarrolla herramientas para crear aplicaciones utilizando el aprendizaje automático, en el que agentes de IA fueron descritos como capaces de salir de sus entornos de prueba y acceder a sistemas reales.
Las reconstrucciones posteriores muestran una intrusión de varios días, con miles de acciones automatizadas y una cadena de compromisos que atravesó distintos sistemas: 17.600 acciones del atacante, agrupadas en unas 6.280 cadenas o clusters de actividad, entre el 9 y el 13 de julio.
El incidente ocurrió en julio, durante una evaluación interna de capacidades de ciberseguridad de OpenAI. El modelo/agente estaba siendo evaluado mediante un entorno tipo sandbox, utilizando el benchmark ExploitGym, cuyo objetivo era que un agente encontrara y explotara vulnerabilidades. El problema fue que el agente consiguió salir de ese entorno y terminó llegando a infraestructura real de Hugging Face.
El agente aprovechó una vulnerabilidad zero-day en el proxy de caché del registro de paquetes que tenía permitido utilizar para acceder a determinados recursos de Internet.
Es decir, el aislamiento no era una pared absolutamente hermética. Había una vía de salida autorizada para determinadas operaciones y el agente encontró una manera de abusar de ella.
Una vez fuera, encontró un sandbox público de terceros diseñado para ejecutar código en tareas similares a CyberGym. Ese entorno terminó convirtiéndose en una especie de base de operaciones.
El agente, básicamente realizó reconocimiento, consiguió acceso, estableció mecanismos de comunicación, obtuvo privilegios, se desplazó lateralmente por la infraestructura y buscó credenciales adicionales.
Hugging Face afirma que ningún humano dirigió individualmente los pasos de la intrusión. El agente decidió qué comandos ejecutar, qué sistemas investigar y cómo continuar después de encontrar obstáculos.
Estos episodios son precisamente los que Coxon considera una especie de «warning shot», una advertencia temprana de lo que podría ocurrir cuando los modelos tengan capacidades mucho mayores.
Si los sistemas actuales ya empiezan a comportarse de maneras difíciles de anticipar dentro de entornos controlados, ¿qué ocurre cuando sean órdenes de magnitud más capaces y tengan acceso real a dinero, servidores, laboratorios, redes y otras herramientas?
El subsecretario del Pentágono para Investigación e Ingeniería y responsable tecnológico del Departamento de Defensa, Emil Michael, rechazó estas advertencias de que la IA podría destruir a la humanidad, calificando los temores sobre pérdidas masivas de empleos y una IA descontrolada como parte de un creciente “bucle de fatalidad”.
Mientras tanto, el Pentágono ya ha trasladado el 90% de su carga de trabajo clasificada en IA lejos de Anthropic tras una gran disputa sobre restricciones a la IA militar.
