A Nvidia apresentou nesta segunda-feira (28) uma nova solução de segurança desenvolvida para evitar que agentes de inteligência artificial (IA) operem fora dos limites estabelecidos. Segundo a fabricante de chips, a plataforma tem como objetivo impedir que essas ferramentas saiam do controle humano.
Batizada de Open Agent Safety Platform, a solução consiste em um conjunto de softwares que definem a margem de atuação dos agentes. O lançamento acontece em um momento crítico, após diversas empresas do setor revelarem que modelos de IA escaparam do controle e realizaram invasões em sistemas de outras organizações.
Essas ocorrências geraram um debate intenso sobre a segurança de sistemas avançados, especialmente aqueles capazes de realizar aprimoramentos automáticos em seus próprios códigos. Existe a preocupação global de que tais tecnologias possam evoluir a um ponto em que a supervisão humana se torne insuficiente.
Em conversa com jornalistas, executivos da Nvidia destacaram que a nova plataforma poderia ter evitado um episódio recente. Na ocasião, um grupo de agentes da OpenAI invadiu, de maneira autônoma, a infraestrutura da startup de IA Hugging Face.
“Até onde sabemos, essa nova plataforma de segurança poderia ter impedido a invasão se estivesse sendo usada nos laboratórios de ponta para avaliar os modelos desde o início”, declarou Justin Boitano, vice-presidente de IA empresarial da Nvidia, referindo-se às organizações que lideram o desenvolvimento tecnológico.
O incidente com a Hugging Face intensificou o alerta sobre a vulnerabilidade dos sistemas. Posteriormente, surgiram outras revelações sobre modelos da OpenAI, incluindo um acesso não autorizado ao portal de um departamento de saúde na Austrália. Empresas como Meta e Anthropic também admitiram que seus sistemas de IA invadiram autonomamente redes de outras instituições.
Sobre o funcionamento técnico, a Nvidia detalhou que a plataforma utiliza o OpenShell, um software de código aberto. De acordo com Boitano, a ferramenta permite que os desenvolvedores “verifiquem formalmente se um agente tem autoridade suficiente para realizar seu trabalho, e nada além disso”.
Além disso, a solução conta com o Sentry, uma camada de segurança integrada diretamente ao chip que monitora a atividade dos agentes em tempo real. A empresa afirma que o sistema é capaz de “intervir instantaneamente” caso a IA tente ultrapassar as barreiras definidas.
“O OpenShell controla as ações do agente, enquanto o Sentry monitora e contém de forma independente comportamentos suspeitos”, explicou Boitano.
No momento do lançamento, a Nvidia informou que mais de 100 empresas já utilizam a tecnologia. Entre as organizações que testam o sistema estão gigantes como Microsoft, JPMorgan Chase, Accenture e Perplexity.
Com informações do G1