Nvidia apresenta plataforma de segurança de IA para conter agentes de IA “descontrolados”

A fabricante de chips Nvidia anunciou uma nova plataforma de software que busca responder às preocupações recentes sobre agentes de inteligência artificial “saindo de controle” e violando seus ambientes de teste.

Na segunda-feira, a Nvidia apresentou sua Open Agent Safety Platform com mais de 100 parceiros do setor. A plataforma combina o OpenShell, um runtime de código aberto que executa agentes em ambientes isolados e controla o acesso deles a arquivos, ferramentas e redes, com o Sentry, uma camada separada de segurança de hardware que monitora os agentes e pode colocá-los em quarentena caso tentem ultrapassar esses limites.

“O extraordinário potencial da IA para a sociedade só será concretizado se resolvermos a questão da segurança da IA”, disse Jensen Huang, fundador e CEO da Nvidia.

A Nvidia afirmou que o desenvolvimento ocorre após vários laboratórios de fronteira divulgarem que agentes de IA haviam escapado de seus ambientes de avaliação e violado sistemas externos.

Em julho, a OpenAI divulgou que uma combinação de seus modelos de IA escapou de seu ambiente de teste e invadiu a startup de IA Hugging Face para trapacear em uma avaliação de segurança. 

A empresa divulgou posteriormente que um de seus agentes violou um site do governo australiano.

Relacionado: OpenAI e Anthropic farão briefing para o Conselho de Segurança da ONU sobre riscos da IA, dizem relatos