California. – Nvidia present\u00f3 una nueva plataforma de seguridad dise\u00f1ada para impedir que los agentes de inteligencia artificial se descontrolen, al afirmar que establece \u201cl\u00edmites\u201d que habr\u00edan evitado vulneraciones anteriores.<\/p>\n
El lanzamiento de la Open Agent Safety Platform se produce tras una serie de revelaciones de las principales compa\u00f1\u00edas de IA sobre sus modelos escap\u00e1ndose y penetrando en otras organizaciones.<\/p>\n
Las divulgaciones desataron un acalorado debate sobre la seguridad de los sistemas avanzados de inteligencia artificial, incluidos los modelos que se mejoran por s\u00ed solos y que, seg\u00fan temen algunos, podr\u00edan salirse del control humano.<\/p>\n
Ejecutivos de Nvidia se\u00f1alaron en una sesi\u00f3n informativa con medios que el nuevo sistema, de c\u00f3digo abierto, podr\u00eda haber evitado un incidente reciente relacionado con un enjambre de agentes de OpenAI que hackearon de forma aut\u00f3noma a la empresa de IA Hugging Face.<\/p>\n
\u201cPor lo que sabemos, esta nueva plataforma de seguridad podr\u00eda haber detenido la vulneraci\u00f3n si se estuviera utilizando en laboratorios de frontera para la evaluaci\u00f3n de modelos desde el principio\u201d, se\u00f1al\u00f3 Justin Boitano, vicepresidente de IA empresarial de la compa\u00f1\u00eda, en referencia a las empresas que est\u00e1n a la vanguardia en esta tecnolog\u00eda.<\/p>\n
El incidente de Hugging Face fue un hackeo de alto perfil que aviv\u00f3 las preocupaciones sobre la seguridad de la IA, y a las que siguieron acciones descontroladas similares relacionadas con los modelos de OpenAI, incluida la intrusi\u00f3n en el sitio web de un departamento de salud australiano. Anthropic y Meta tambi\u00e9n han revelado que sus sistemas de IA hackearon por s\u00ed solos a otras organizaciones.<\/p>\n
Earlence Fernandes, profesor asociado del departamento de ciencias de la computaci\u00f3n e ingenier\u00eda de la Universidad de California en San Diego, calific\u00f3 la plataforma de seguridad de Nvidia como \u201cun paso en la direcci\u00f3n correcta\u201d.<\/p>\n
\u201cNecesitamos m\u00e1s trabajo que busque construir protecciones alrededor del modelo. Desde hace tiempo vengo hablando de c\u00f3mo las ideas tradicionales de ciberseguridad son necesarias para ayudar a controlar y asegurar a los agentes de IA\u201d, escribi\u00f3 Fernandes en un correo electr\u00f3nico. \u201cSin embargo, hay varios desaf\u00edos que los enfoques tradicionales de ciberseguridad todav\u00eda no pueden resolver actualmente. Por ejemplo, \u00bfcu\u00e1l es una buena pol\u00edtica de seguridad con la que configurar el sistema? Un agente necesita acceso a recursos reales para ser \u00fatil, pero darle la cantidad m\u00ednima de acceso es complicado y no es trivial\u201d.<\/p>\n
Fernandes a\u00f1adi\u00f3 que, para resolver el problema de la seguridad de la IA, ambas partes deben cooperar: las empresas deben seguir invirtiendo en esfuerzos de alineaci\u00f3n y la comunidad de c\u00f3digo abierto y el \u00e1mbito acad\u00e9mico deben \u201ccrear soluciones a nivel de sistemas para contemplar cu\u00e1ndo un modelo s\u00ed incurre en un comportamiento no deseado\u201d.<\/p>\n
Nvidia, con sede en Santa Clara, California, fabrica chips de alta gama que se han consolidado como los principales componentes b\u00e1sicos para la IA. La junta directiva de la empresa despej\u00f3 el camino para que la compa\u00f1\u00eda gaste 150 mil millones de d\u00f3lares adicionales en recompras de acciones, lo que eleva su programa de recompra de acciones a 235 mil millones de d\u00f3lares, inform\u00f3 la empresa el lunes.<\/p>\n
El software de seguridad de Nvidia, llamado OpenShell, permite a los desarrolladores \u201cverificar formalmente que un agente tiene la autoridad suficiente para hacer su trabajo y nada m\u00e1s\u201d, explic\u00f3 Boitano.<\/p>\n
Como es de c\u00f3digo abierto, puede \u201campliarse\u201d para funcionar en plataformas inform\u00e1ticas rivales, incluidas las de Arm e Intel.<\/p>\n
La plataforma tambi\u00e9n incluye una capa de seguridad separada llamada Sentry, que se ejecuta en los chips para supervisar de forma continua la actividad de los agentes de IA y puede \u201cintervenir al instante\u201d si el agente empieza a intentar ir m\u00e1s all\u00e1 de su objetivo, indic\u00f3 la empresa.<\/p>\n
\u201cEsto puede poner en cuarentena a un agente sospechoso en milisegundos\u201d, explic\u00f3 Boitano.<\/p>\n
Agreg\u00f3 que \u201cOpenShell gobierna las acciones del agente, y luego Sentry supervisa y contiene de manera independiente el comportamiento sospechoso\u201d.<\/p>\n
Nvidia indic\u00f3 que m\u00e1s de 100 organizaciones est\u00e1n utilizando la plataforma en su lanzamiento, entre ellas Microsoft, Perplexity, Accenture y JPMorgan Chase.<\/p>\n
El debate sobre la seguridad de la IA ha dividido a la industria: los directivos de Anthropic y OpenAI defienden una desaceleraci\u00f3n coordinada del desarrollo de la IA para permitir que los esfuerzos de seguridad se pongan al d\u00eda. Pero otros, incluido el director general de Nvidia, Jensen Huang, sostienen que deber\u00eda depender de cada empresa garantizar que sus modelos sean seguros para su lanzamiento.<\/p>\n
Durante la conferencia anual de tecnolog\u00eda de Salesforce realizada a principios de este mes, Huang describi\u00f3 la seguridad de la IA \u2014incluido el peligro de agentes descontrolados\u2014 como un problema de ingenier\u00eda que los desarrolladores de software pueden abordar.<\/p>\n","protected":false},"excerpt":{"rendered":"
California. – Nvidia present\u00f3 una nueva plataforma de seguridad dise\u00f1ada para impedir que los agentes de inteligencia artificial se descontrolen, al afirmar que establece \u201cl\u00edmites\u201d que habr\u00edan evitado vulneraciones anteriores. El lanzamiento de la Open Agent Safety Platform se produce tras una serie de revelaciones de las principales compa\u00f1\u00edas de IA sobre sus modelos escap\u00e1ndose […]<\/p>\n","protected":false},"author":6,"featured_media":34875,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_jetpack_memberships_contains_paid_content":false,"footnotes":"","jetpack_publicize_message":"","jetpack_publicize_feature_enabled":true,"jetpack_social_post_already_shared":true,"jetpack_social_options":{"image_generator_settings":{"template":"highway","default_image_id":0,"font":"","enabled":false},"version":2}},"categories":[186],"tags":[],"class_list":["post-34874","post","type-post","status-publish","format-standard","has-post-thumbnail","category-internacional"],"aioseo_notices":[],"jetpack_publicize_connections":[],"jetpack_featured_media_url":"https:\/\/angelneri.com\/new\/wp-content\/uploads\/2026\/09\/Captura-de-pantalla-2026-09-29-090903.png","jetpack_sharing_enabled":true,"_links":{"self":[{"href":"https:\/\/angelneri.com\/new\/wp-json\/wp\/v2\/posts\/34874","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/angelneri.com\/new\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/angelneri.com\/new\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/angelneri.com\/new\/wp-json\/wp\/v2\/users\/6"}],"replies":[{"embeddable":true,"href":"https:\/\/angelneri.com\/new\/wp-json\/wp\/v2\/comments?post=34874"}],"version-history":[{"count":1,"href":"https:\/\/angelneri.com\/new\/wp-json\/wp\/v2\/posts\/34874\/revisions"}],"predecessor-version":[{"id":34876,"href":"https:\/\/angelneri.com\/new\/wp-json\/wp\/v2\/posts\/34874\/revisions\/34876"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/angelneri.com\/new\/wp-json\/wp\/v2\/media\/34875"}],"wp:attachment":[{"href":"https:\/\/angelneri.com\/new\/wp-json\/wp\/v2\/media?parent=34874"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/angelneri.com\/new\/wp-json\/wp\/v2\/categories?post=34874"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/angelneri.com\/new\/wp-json\/wp\/v2\/tags?post=34874"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}