Jacob Coxon, investigador que trabajó en preentrenamiento de modelos tanto en OpenAI como en Anthropic, anunció su renuncia a esta última compañía y lanzó una dura advertencia sobre el rumbo de la inteligencia artificial. Afirmó que ambas empresas avanzan hacia sistemas de superinteligencia capaces de mejorarse a sí mismos sin actuar, a su juicio, con suficiente responsabilidad.
En una serie de publicaciones en X, Coxon sostuvo que quienes desarrollan estos sistemas creen seriamente que podrían representar un riesgo existencial para la humanidad antes de que termine la década. Su planteo fue respaldado parcialmente por Evan Hubinger, responsable de Alignment Science en Anthropic, quien dijo estimar en más del 10% la probabilidad de que una superinteligencia cause la extinción humana durante los próximos diez años.
Jacob Coxon dejó su puesto en Anthropic y convirtió su salida en una advertencia pública sobre la carrera que mantienen las principales compañías de inteligencia artificial para desarrollar sistemas cada vez más avanzados.
El investigador aseguró que durante los últimos tres años trabajó en tareas de preentrenamiento tanto en OpenAI como en Anthropic y sostuvo que ninguna de las dos compañías, en su opinión, está actuando de manera responsable frente a los riesgos que podría presentar una inteligencia artificial capaz de mejorarse a sí misma.
“Renuncié a Anthropic hoy. Pasé los últimos tres años haciendo investigación de preentrenamiento tanto en OpenAI como en Anthropic. Ninguna de las dos compañías está actuando responsablemente. Están corriendo directamente hacia una superinteligencia que se mejora a sí misma y están jugando con nuestras vidas”, escribió Coxon en X.
En otro de sus mensajes, advirtió que no debe subestimarse el potencial de esta tecnología y sostuvo que, a su entender, podrían surgir sistemas “sobrehumanos” capaces de intervenir en múltiples áreas, desde ciberseguridad hasta investigación científica y adquisición de recursos.
También afirmó que dentro de los propios laboratorios existe preocupación sobre la posibilidad de una catástrofe. “Las personas que construyen IA creen sinceramente que podría matarnos a todos antes de que termine la década”, señaló.
Coxon aclaró que, según su percepción, existe una diferencia entre las culturas internas de ambas compañías. Sobre OpenAI afirmó que muchos trabajadores todavía no habrían internalizado completamente la magnitud del riesgo, mientras que sobre Anthropic sostuvo que el peligro es más comprendido, pero que la empresa considera que debe seguir compitiendo porque no confía en que otros actores vayan a detenerse.
Su argumento central apunta a la lógica de carrera entre laboratorios: cada empresa teme que otra llegue primero a desarrollar sistemas más capaces y, bajo esa presión competitiva, continúa avanzando aunque reconozca riesgos importantes.
“¿Si realmente creen esto, por qué siguen construyéndolo?”, planteó Coxon al describir una de las principales contradicciones que observa dentro de la industria.
El investigador calificó como una apuesta excesivamente arriesgada la idea de entrar en una etapa de desarrollo acelerado de superinteligencia desde compañías privadas y sostuvo que intentar resolver el problema de alineación sobre la marcha requeriría un nivel de confianza que, según él, hoy no existe.
Coxon también planteó que todavía ve posibilidades de coordinación entre los principales laboratorios de Estados Unidos, pero consideró que evitar una carrera global podría exigir medidas de mayor alcance, incluso una suspensión temporal del aumento de capacidades de los modelos.
En el cierre de su hilo, dirigió un mensaje a otros investigadores y los instó a pensar qué implicaría trabajar durante los próximos años en sistemas cada vez más autónomos sin comprender completamente su comportamiento interno.
Las advertencias de Coxon encontraron respaldo dentro de Anthropic. Evan Hubinger, responsable de Alignment Science en la compañía, respondió públicamente que comparte la preocupación por los riesgos extremos de la superinteligencia.
Hubinger afirmó que personalmente estima en más de un 10% la posibilidad de que una inteligencia artificial superinteligente provoque la extinción humana durante la próxima década. También reconoció que, aunque considera que Anthropic está intentando abordar el problema, todavía no existe un plan definitivo para resolver la alineación de una superinteligencia.
Las afirmaciones de Coxon y Hubinger son estimaciones y advertencias personales sobre escenarios futuros, no predicciones comprobadas. Dentro de la comunidad científica y tecnológica existen posiciones diferentes respecto de la probabilidad, el alcance y los plazos de esos riesgos.
La renuncia se suma a un debate creciente dentro de la industria sobre cómo compatibilizar el rápido avance de los modelos de inteligencia artificial con mecanismos de seguridad, supervisión y coordinación entre empresas y gobiernos.
Con información de TechCrunch, The Washington Post, ABC News, El País y publicaciones de Jacob Coxon en X.
Este artículo pudo ser escrito por una herramienta de inteligencia artificial. De ser así, un ser humano capacitado de nuestro equipo revisó el texto antes de su publicación.
