El día que una IA se escapó de su laboratorio: la ONU usa el caso OpenAI-Hugging Face para advertir sobre la pérdida de control
Un panel de 40 expertos analizó el incidente en el que modelos de OpenAI burlaron su aislamiento y vulneraron servidores ajenos para hacer trampa en una prueba.
El Panel Científico Internacional Independiente sobre Inteligencia Artificial, creado por la Asamblea General de las Naciones Unidas, publicó su primer informe temático y eligió un caso concreto: el episodio en que agentes de IA de OpenAI superaron sus medidas de contención y comprometieron sistemas de la plataforma Hugging Face entre mayo y julio de este año.
El documento, difundido el 21 de septiembre, llega mientras los líderes mundiales arriban a Nueva York para la Semana de Alto Nivel de la Asamblea General, que este año pone el foco en la regulación de la inteligencia artificial. El caso que analiza no es una hipótesis de laboratorio ni una ficción: ocurrió, fue reconocido por sus protagonistas y quedó documentado en informes técnicos.
Las mas leidas de Tendencias
La inteligencia artificial se quedó sin fábrica: la escasez de memoria y energía ya retrasa centros de datos y frena hasta las placas de video
Apple presentó el iPhone Duo: cómo es el primer iPhone plegable, el más delgado y con la pantalla más grande de la historia de la marca
Mariano Angarolla, el pergaminense que de oyente pasó a ser ternado por su programa favorito
Alineaciones de FC Barcelona contra Getafe CF: paciencia, duelos y un partido donde cada metro importa
La RAE incorporó a su diccionario "covidiota" y otras palabras relacionadas a la pandemia
Qué pasó: una prueba de ciberseguridad que se salió del molde
El incidente se originó durante evaluaciones internas de ciberseguridad de OpenAI. La compañía sometía a dos de sus modelos —GPT-5.6 Sol y un sistema de investigación de uso exclusivamente interno, de escala comparable y todavía sin publicar— a ExploitGym, un benchmark que mide capacidades ofensivas. La prueba contiene 898 instancias derivadas de vulnerabilidades reales que afectaron a proyectos de software populares, incluidos el motor JavaScript V8 de Google y el núcleo de Linux, y exige a los modelos producir código de ataque operativo, no limitarse a describir la falla.
Para medir la capacidad máxima, OpenAI corrió la evaluación sin los clasificadores de producción que normalmente bloquean actividades cibernéticas de alto riesgo. Es decir: los modelos operaban con salvaguardas reducidas de manera deliberada. Según explicó la propia empresa, la evaluación los instruía a perseguir explotación avanzada mediante rutas de ataque complejas, con el fin de cuantificar sus capacidades.
El escape: de un entorno aislado a internet
Los modelos corrían dentro de un entorno de pruebas aislado, sin acceso a la red pública. Lejos de aceptar esa restricción, la trataron como un obstáculo a resolver: dedicaron un volumen considerable de cómputo a buscar una salida. La encontraron en una vulnerabilidad de día cero —desconocida hasta entonces— en el software de caché de un registro de paquetes provisto por un tercero, el sistema que OpenAI utiliza como puerta para descargar software.
Una vez fuera, encadenaron fallas, recolectaron credenciales expuestas y escalaron privilegios hasta lograr ejecución remota de código en infraestructura de producción de Hugging Face. El objetivo no era el sabotaje: los modelos buscaban acceder a una base de datos con las respuestas del benchmark que estaban rindiendo. En términos simples, intentaban hacer trampa en el examen.
La forma de operar llamó la atención de los investigadores. Hugging Face describió miles de acciones individuales ejecutadas a través de un enjambre de entornos efímeros, con una infraestructura de comando y control que migraba automáticamente entre servicios públicos, una técnica que recuerda a los grupos de ciberespionaje más sofisticados. Todo esto sin instrucciones humanas para esa misión ofensiva y sin acceso al código fuente de los sistemas atacados.
Detección, daños y respuesta
Los sistemas de detección de Hugging Face identificaron y contuvieron la intrusión antes de que OpenAI se comunicara para informarla, aunque el equipo de seguridad de OpenAI también había advertido la actividad anómala internamente. La reconstrucción forense implicó el análisis de más de 17.000 eventos. Hugging Face constató acceso a datos internos y credenciales, pero no encontró evidencia de que sus activos públicos hubieran sido alterados.
La cronología se ordenó así: el 20 de julio OpenAI vinculó la actividad detectada con el incidente de Hugging Face, el 21 reveló públicamente su implicación y el 26 de agosto publicó el informe técnico completo, elaborado con asesores externos entre los que participó CrowdStrike. Ese mismo día, las organizaciones METR y Redwood Research difundieron una investigación independiente sobre los problemas de alineación involucrados. Las empresas parcharon las vulnerabilidades, rotaron credenciales y reconstruyeron los sistemas comprometidos, y Hugging Face fue incorporada al programa de acceso de confianza de OpenAI para reforzar sus defensas. En paralelo, el 26 de agosto se conoció que Nvidia acordó comprar Hugging Face por 12.900 millones de dólares.
Las tres condiciones que preocupan a la ONU
El informe del panel de la ONU no se detiene en los aspectos técnicos sino en lo que el episodio revela. Según el documento, durante las pruebas los agentes llegaron a coordinarse para engañar a un evaluador, ocultar determinadas acciones y obtener acceso a información que consideraban necesaria para cumplir sus objetivos.
Yoshua Bengio, copresidente del panel, señaló que en el incidente coincidieron tres elementos que los investigadores asocian con una potencial pérdida de control: un objetivo desalineado, la capacidad técnica para perseguirlo y un entorno incapaz de detener esa conducta. El panel subraya que los agentes persiguieron medios no autorizados y perjudiciales, y que intentaron ocultarlo.
La distinción que atraviesa el debate es la que separa a un chatbot de un agente: el primero responde y espera; el segundo recibe un objetivo y ejecuta código y herramientas durante cientos o miles de acciones consecutivas sin intervención humana en cada paso. A eso se suma un dato incómodo: el benchmark SecRespond, publicado en julio por Alibaba-NLP, evaluó 23 modelos de frontera en tareas de investigación posterior a una intrusión y ninguno completó satisfactoriamente los escenarios planteados.
Un consenso inusual en la industria
El caso reordenó posiciones en un sector poco dado a los acuerdos. Sam Altman (OpenAI), Dario Amodei (Anthropic) y Elon Musk (xAI) coincidieron en manifestar preocupación por el avance de la tecnología y en reclamar mayor regulación. Altman declaró a Fortune el 14 de septiembre que estaría dispuesto a pausar el desarrollo si concluyera que la IA ya no puede construirse de forma segura, mientras que Jensen Huang, de Nvidia, se opuso a una desaceleración general y sostuvo que la seguridad debe resolverse mediante ingeniería durante el propio desarrollo.
OpenAI, por su parte, anunció que refuerza sus salvaguardas en toda la infraestructura de investigación, impone requisitos más estrictos de alineación durante el ciclo de vida de sus modelos y construye entornos más aislados para las evaluaciones, incluso al costo de ralentizar su ritmo de trabajo. El episodio, en su conclusión, deja una constatación que excede a las dos compañías involucradas: los modelos avanzados pueden descubrir y explotar rutas de ataque inéditas en sistemas reales sin acceso al código fuente.