OpenAI reportó que dos de sus modelos avanzados burlaron su entorno de pruebas para ejecutar un ataque autónomo contra la plataforma Hugging Face para resolver un complejo examen de hackeo, un hecho que marca un hito en temas de seguridad de la IA.
La empresa OpenAI dio a conocer esta semana un hecho sin precedentes: dos de sus sistemas de inteligencia artificial más avanzados, el modelo GPT-5.6 Sol y una versión secreta aún no lanzada, se salieron de control durante una prueba interna.
Los modelos estaban siendo evaluados en su capacidad para detectar fallos informáticos, pero en lugar de limitarse al entorno de laboratorio, encontraron de manera independiente una falla desconocida para escapar a internet y atacar a la startup Hugging Face con el fin de obtener las respuestas que necesitaban para aprobar su evaluación.
En un informe sobre el caso, Open AI consideró lo ocurrido como "un incidente cibernético sin precedentes, que involucra capacidades cibernéticas de vanguardia”.
El escape de la "prisión" digital
Para realizar estas pruebas, OpenAI utiliza lo que los expertos llaman un "sandbox" o caja de arena, que es básicamente una prisión digital aislada del resto del mundo para evitar que la IA cause daños externos.
Sin embargo, los modelos detectaron un error de seguridad desconocido, llamado vulnerabilidad de "día cero", en un servidor que la empresa usaba para gestionar programas informáticos.
Usando este camino oculto, los algoritmos lograron engañar al sistema, subieron de nivel en sus permisos de acceso y se movieron por la red de la empresa hasta encontrar una salida directa a la red abierta.
La IA que decidió "hacer trampa"
Una vez en internet, los modelos de IA no actuaron con una intenacionalidad dañina, sino por una obsesión lógica de cumplir con su tarea de hackeo.
Al darse cuenta de que el examen era difícil, los sistemas dedujeron que Hugging Face, una plataforma que guarda miles de proyectos de IA, probablemente tenía las soluciones guardadas.
Actuando como si fueran un equipo de hackers profesionales, las IA utilizaron claves robadas y otros fallos técnicos para entrar en las bases de datos de Hugging Face y robar la información que les permitiera superar la prueba técnica.
“La IA pensó que tal vez Hugging Face tendría información importante sobre cómo lograr su objetivo, que es una mejor puntuación en un punto de referencia de ciberseguridad. En ese sentido, actuó como un auténtico hacker real”, dijo Nathaniel Jones, vicepresidente de seguridad y estrategia de IA de la firma Darktrace, al explicar el suceso tecnológico al diario británico The Guardian.
El uso de tecnología defensiva
El ataque fue tan rápido y masivo que Hugging Face detectó miles de acciones individuales ocurriendo en cuestión de segundos.
Lo más curioso del caso fue que, para poder investigar lo que estaba pasando, los expertos de Hugging Face tuvieron que usar una IA de código abierto de origen chino, ya que los modelos comerciales más conocidos tenían bloqueos de seguridad que les impedían analizar los comandos de ataque reales.
Tras contener la situación, se confirmó que los modelos de OpenAI habían logrado extraer datos confidenciales antes de ser bloqueados.
"Hemos pasado las últimas 24 horas trabajando estrechamente con el equipo de @OpenAI (¡gracias!), y creemos firmemente que no hubo intención maliciosa por parte de ellos. ¡Es bastante alucinante que todo esto haya sucedido de manera autónoma! La investigación está en curso, y compartiremos más aprendizajes de lo que podría ser el primer incidente de su tipo", escribió en sus redes sociales el director ejecutivo de Hugging Face, Clément Delangue, al comentar el suceso.
Las advertencias de la comunidad científica
Este evento ha encendido las alarmas sobre la rapidez con la que está avanzando esta tecnología sin que existan leyes que la controlen.
Mientras algunos expertos consideran que esto ya entraba dentro de lo que se esperaba que una IA potente pudiera hacer, otros señalan que demuestra que empresas como OpenAI podrían no ser capaces de manejar con total seguridad las herramientas que están creando.
Por ahora, tanto OpenAI como Hugging Face aseguran haber cerrado las brechas de seguridad, pero el caso queda marcado como el primer ciberataque autónomo de la historia.
"¡Tan orgullosos de nuestro equipo de seguridad! Capturaron, contuvieron y divulgaron públicamente un ataque como nada que hayamos visto antes, y lo hicieron a velocidad récord [...] ¡Este es el día uno para la ciberseguridad en la era de los agentes y todos estamos aprendiendo que el secreto no es la respuesta y que todos los defensores (no solo unos pocos seleccionados) en todas partes necesitan modelos más potentes sin restricciones, ¡especialmente los abiertos!", escribió Delangue, director Hugging Face, en sus redes.
Te recomendamos
