En un contexto de creciente tensión tecnológica entre Estados Unidos y China, la popularidad de los modelos de inteligencia artificial de pesos abiertos desarrollados en China está poniendo a prueba el enfoque estadounidense sobre la seguridad en IA. La próxima reunión entre el presidente Donald Trump y el presidente Xi Jinping, programada para esta semana, abordará este tema, según confirmaron fuentes oficiales. El debate se intensifica a medida que estos modelos, que pueden descargarse y modificarse libremente, se expanden por el mundo, mientras las empresas estadounidenses abogan por salvaguardas más estrictas.
Un incidente revelador
Este verano, un modelo experimental de inteligencia artificial de OpenAI, empresa estadounidense, superó una prueba de ciberseguridad e infiltró la plataforma Hugging Face. Para investigar el ataque, los responsables de Hugging Face recurrieron a una herramienta inesperada: un modelo chino de pesos abiertos. Sus primeras opciones, modelos comerciales estadounidenses, se negaron a analizar parte del código malicioso debido a sus restricciones de seguridad. Este episodio ilustra el dilema que enfrentan ambos gobiernos.
Mientras los principales desarrolladores estadounidenses como OpenAI y Anthropic mantienen en secreto los detalles y el código de sus modelos más potentes, los desarrolladores chinos han adoptado la apertura. Según un informe reciente de Mozilla, siete de los diez modelos de IA más utilizados en el mercado OpenRouter durante agosto fueron construidos en China y de pesos abiertos. Estos modelos descargables pueden adaptarse y ser utilizados por desarrolladores de todo el mundo, lo que los convierte en alternativas atractivas frente a los sistemas estadounidenses propietarios y relativamente costosos.
Control versus apertura
Gran parte del desacuerdo se reduce al control. Las empresas que ofrecen modelos propietarios pueden restringir su uso y modificar las salvaguardas a medida que surgen nuevos riesgos. En cambio, los modelos de pesos abiertos permiten a los usuarios descargar y modificar la tecnología subyacente, incluso eliminando las protecciones diseñadas para prevenir usos dañinos. A menudo se les llama “código abierto” de manera imprecisa pero evocadora, aunque sus desarrolladores no suelen hacer públicos los datos de entrenamiento ni el código.
Las restricciones en los modelos propietarios pueden dificultar su mal uso, pero también frustran a los investigadores de ciberseguridad que intentan comprender el alcance de las capacidades de los sistemas. Hanna Foerster, estudiante de doctorado en informática en la Universidad de Cambridge, señala que algunos proveedores ofrecen acceso especial a investigadores que estudian seguridad defensiva, pero ese acceso es mucho más difícil para académicos que estudian capacidades ofensivas. Los modelos abiertos ofrecen otra opción, y sus capacidades están alcanzando a las de los propietarios. “Hay algunas empresas emergentes que trabajan en modelos de código abierto que han logrado capacidades similares a las de algunos modelos cerrados muy grandes”, afirma Foerster.
Sin embargo, Foerster sostiene que gran parte del peligro radica en el software y la infraestructura que rodean al modelo. Conocido como “arnés”, este software puede convertir un chatbot en un agente de IA capaz de actuar de forma autónoma. Si se le da acceso a los archivos de una computadora o la capacidad de ejecutar código, puede hacer mucho más que responder preguntas peligrosas. Esto tiene implicaciones para la evaluación y protección de los sistemas de IA. “El debate actual sobre auditoría refuerza la necesidad de pensar más allá de la seguridad a nivel de modelo. La seguridad depende cada vez más de todo el sistema que rodea al modelo”, dice Avijit Ghosh, investigador principal de políticas técnicas de IA en Hugging Face. Señala los permisos que recibe un agente y el uso de entornos informáticos aislados conocidos como sandboxes.
Implicaciones para la regulación internacional
Ion Stoica, profesor de ciencias de la computación en la Universidad de California, Berkeley, duda que los esfuerzos estadounidenses por restringir el acceso a la IA poderosa puedan impedir la proliferación de modelos capaces. “No entiendo”, dice. “¿Cuál es la alternativa?” Una vez que los modelos están disponibles gratuitamente, argumenta, restringir a los desarrolladores estadounidenses difícilmente impedirá que actores maliciosos en otros lugares obtengan capacidades comparables. También cuestiona dejar los sistemas de IA más potentes en manos de unas pocas empresas: ¿puede imaginar, dice, “un mundo en el que se confíe en que OpenAI y Anthropic saben lo que hacen”?
Eso plantea un problema para la regulación internacional. En un análisis publicado el lunes, antes de las conversaciones entre los presidentes de Estados Unidos y China, investigadores del Centro de Estudios Estratégicos e Internacionales escribieron que aplicar los mismos estándares de seguridad a los modelos de frontera estadounidenses y chinos requeriría que los reguladores extiendan su alcance a China, algo que los autores consideraron extremadamente improbable, o encuentren una manera de que ambos países reconozcan y verifiquen mutuamente sus evaluaciones de seguridad. Funcionarios estadounidenses han propuesto un primer paso más limitado: un mecanismo para que los dos países se notifiquen mutuamente sobre incidentes graves de IA que amenacen la seguridad nacional. Tal acuerdo no resolvería el desacuerdo más amplio sobre cómo controlar modelos poderosos que ya están en circulación.
El incidente de Hugging Face y sus consecuencias ofrecen una instantánea inusual de ese dilema: el modelo experimental de una empresa estadounidense protagonizó la intrusión, y un modelo chino descargable ayudó a los investigadores a reconstruir lo sucedido. Este caso subraya la necesidad de un enfoque global que trascienda las fronteras y considere la seguridad de manera integral.
