California. – Nvidia presentó una nueva plataforma de seguridad diseñada para impedir que los agentes de inteligencia artificial se descontrolen, al afirmar que establece “límites” que habrían evitado vulneraciones anteriores.

El lanzamiento de la Open Agent Safety Platform se produce tras una serie de revelaciones de las principales compañías de IA sobre sus modelos escapándose y penetrando en otras organizaciones.

Las divulgaciones desataron un acalorado debate sobre la seguridad de los sistemas avanzados de inteligencia artificial, incluidos los modelos que se mejoran por sí solos y que, según temen algunos, podrían salirse del control humano.

Ejecutivos de Nvidia señalaron en una sesión informativa con medios que el nuevo sistema, de código abierto, podría haber evitado un incidente reciente relacionado con un enjambre de agentes de OpenAI que hackearon de forma autónoma a la empresa de IA Hugging Face.

“Por lo que sabemos, esta nueva plataforma de seguridad podría haber detenido la vulneración si se estuviera utilizando en laboratorios de frontera para la evaluación de modelos desde el principio”, señaló Justin Boitano, vicepresidente de IA empresarial de la compañía, en referencia a las empresas que están a la vanguardia en esta tecnología.

El incidente de Hugging Face fue un hackeo de alto perfil que avivó las preocupaciones sobre la seguridad de la IA, y a las que siguieron acciones descontroladas similares relacionadas con los modelos de OpenAI, incluida la intrusión en el sitio web de un departamento de salud australiano. Anthropic y Meta también han revelado que sus sistemas de IA hackearon por sí solos a otras organizaciones.

Earlence Fernandes, profesor asociado del departamento de ciencias de la computación e ingeniería de la Universidad de California en San Diego, calificó la plataforma de seguridad de Nvidia como “un paso en la dirección correcta”.

“Necesitamos más trabajo que busque construir protecciones alrededor del modelo. Desde hace tiempo vengo hablando de cómo las ideas tradicionales de ciberseguridad son necesarias para ayudar a controlar y asegurar a los agentes de IA”, escribió Fernandes en un correo electrónico. “Sin embargo, hay varios desafíos que los enfoques tradicionales de ciberseguridad todavía no pueden resolver actualmente. Por ejemplo, ¿cuál es una buena política de seguridad con la que configurar el sistema? Un agente necesita acceso a recursos reales para ser útil, pero darle la cantidad mínima de acceso es complicado y no es trivial”.

Fernandes añadió que, para resolver el problema de la seguridad de la IA, ambas partes deben cooperar: las empresas deben seguir invirtiendo en esfuerzos de alineación y la comunidad de código abierto y el ámbito académico deben “crear soluciones a nivel de sistemas para contemplar cuándo un modelo sí incurre en un comportamiento no deseado”.

Nvidia, con sede en Santa Clara, California, fabrica chips de alta gama que se han consolidado como los principales componentes básicos para la IA. La junta directiva de la empresa despejó el camino para que la compañía gaste 150 mil millones de dólares adicionales en recompras de acciones, lo que eleva su programa de recompra de acciones a 235 mil millones de dólares, informó la empresa el lunes.

El software de seguridad de Nvidia, llamado OpenShell, permite a los desarrolladores “verificar formalmente que un agente tiene la autoridad suficiente para hacer su trabajo y nada más”, explicó Boitano.

Como es de código abierto, puede “ampliarse” para funcionar en plataformas informáticas rivales, incluidas las de Arm e Intel.

La plataforma también incluye una capa de seguridad separada llamada Sentry, que se ejecuta en los chips para supervisar de forma continua la actividad de los agentes de IA y puede “intervenir al instante” si el agente empieza a intentar ir más allá de su objetivo, indicó la empresa.

“Esto puede poner en cuarentena a un agente sospechoso en milisegundos”, explicó Boitano.

Agregó que “OpenShell gobierna las acciones del agente, y luego Sentry supervisa y contiene de manera independiente el comportamiento sospechoso”.

Nvidia indicó que más de 100 organizaciones están utilizando la plataforma en su lanzamiento, entre ellas Microsoft, Perplexity, Accenture y JPMorgan Chase.

El debate sobre la seguridad de la IA ha dividido a la industria: los directivos de Anthropic y OpenAI defienden una desaceleración coordinada del desarrollo de la IA para permitir que los esfuerzos de seguridad se pongan al día. Pero otros, incluido el director general de Nvidia, Jensen Huang, sostienen que debería depender de cada empresa garantizar que sus modelos sean seguros para su lanzamiento.

Durante la conferencia anual de tecnología de Salesforce realizada a principios de este mes, Huang describió la seguridad de la IA —incluido el peligro de agentes descontrolados— como un problema de ingeniería que los desarrolladores de software pueden abordar.