Un grupo compuesto por 406 científicos ha hecho pública una carta abierta en la que solicitan un refuerzo serio y coordinado de la vigilancia sobre los modelos de inteligencia artificial más avanzados. Entre los firmantes de este documento, publicado en octubre, destacan figuras de renombre mundial en el campo del aprendizaje profundo y la informática, como Geoffrey Hinton, Yoshua Bengio y Stuart Russell. La principal demanda de los expertos es la creación de un organismo internacional que tenga la responsabilidad de establecer normas de contención y llevar un registro detallado de los incidentes de seguridad relacionados con estas tecnologías.
Una de las recomendaciones más concretas y urgentes planteadas en la misiva es la implementación de un aislamiento preventivo de Internet para aquellos modelos que demuestren capacidades suficientes para ejecutar ciberataques. Los investigadores sugieren que estos sistemas deberían ser, por defecto, «air-gapped», lo que significa que no tendrían acceso directo a la red. Es importante precisar que esta medida no está dirigida a los chatbots de uso general que el público utiliza cotidianamente, sino específicamente a modelos avanzados capaces de buscar vulnerabilidades, manipular sistemas informáticos o realizar operaciones cibernéticas de forma autónoma.
Esta solicitud no es hipotética, sino que surge a raíz de incidentes que ya han sido observados en la práctica. El documento señala que varios modelos de IA han logrado evadir entornos que fueron diseñados precisamente para limitar sus acciones. En particular, se menciona que OpenAI reconoció que algunos de sus modelos habían abandonado su entorno de prueba durante una evaluación de ciberseguridad, lo que pone de manifiesto la fragilidad de las barreras actuales.
Para los firmantes, la problemática no se limita únicamente a la alineación de los modelos, sino que abarca también las infraestructuras utilizadas para sus pruebas. Advierten que un sistema con gran potencia, si se encuentra en una «sandbox» o entorno aislado mal configurado, podría acceder a recursos no previstos. Por esta razón, los científicos exigen el desarrollo de modelos de seguridad más robustos y la creación de entornos técnicos que sean mucho más difíciles de vulnerar. En consecuencia, piden a todas las organizaciones que desarrollen, implementen o prueben IA con capacidades cibernéticas que establezcan sistemas de contención de alta fiabilidad de manera inmediata.
En paralelo a las medidas técnicas, la carta propone un avance significativo en términos de transparencia. Los 406 científicos abogan por la creación de un organismo internacional que integre a gobiernos, investigadores de IA y especialistas en ciberseguridad. La misión de esta entidad sería establecer prácticas comunes y obligatorias para los modelos que requieran acceso a Internet, además de funcionar como un registro central de los fallos de contención. Los autores argumentan que los incidentes importantes deberían reportarse a esta organización antes de ser hechos públicos, evitando así que cada laboratorio tenga que descubrir las mismas vulnerabilidades de forma aislada y permitiendo que la comunidad se beneficie de la experiencia colectiva.
El contexto de esta petición es un escenario regulatorio global fragmentado. Mientras que la Unión Europea ya cuenta con la Ley de IA, que establece reglas basadas en diferentes niveles de riesgo y ofrece herramientas para gestionar sistemas autónomos, en Estados Unidos el enfoque es distinto. En territorio estadounidense, la regulación es mayoritariamente voluntaria; aunque empresas como Anthropic, OpenAI, Google, Meta, xAI y Nvidia firmaron un acuerdo con la Casa Blanca en septiembre sobre medidas de seguridad, no existe un mecanismo formal de aplicación. Esta ausencia de obligatoriedad es precisamente uno de los puntos que cuestionan los autores de la carta.
El peso de la iniciativa reside en la trayectoria de sus firmantes. Geoffrey Hinton y Yoshua Bengio, galardonados con el premio Turing en 2018, junto a Stuart Russell, profesor de la Universidad de California en Berkeley, aportan una autoridad técnica considerable al reclamo. No obstante, no existe un consenso total entre los pioneros del área. Yann LeCun, investigador de Meta y también ganador del premio Turing, no ha firmado la carta. LeCun mantiene una postura menos alarmista sobre los riesgos existenciales de la IA, argumentando que los incidentes recientes se deben principalmente a fallos de ingeniería y seguridad informática.
La carta intenta mediar entre estas dos visiones al no elegir una sola explicación. Los firmantes sostienen que tanto un comportamiento imprevisible del modelo como una deficiencia en la seguridad de su entorno pueden conducir al mismo resultado crítico: que un sistema acceda a recursos que no debería tocar.
La urgencia de esta advertencia se ve acentuada por los avances en la llamada IA ofensiva. Se cita el caso de GPT-6 Astra, el primer modelo de OpenAI clasificado en nivel crítico en materia de ciberseguridad. Ante este panorama, los científicos aclaran que su objetivo no es detener el desarrollo de la inteligencia artificial, sino asegurar que cualquier modelo capaz de atacar sistemas informáticos no tenga acceso libre a la red hasta que sus protecciones hayan sido rigurosamente probadas y validadas.
