OpenAI constrói botão de desligamento para impedir agentes desonestos em até 35 segundos

A OpenAI construiu um sistema capaz de interromper o acesso de um experimento de pesquisa de IA à saída do modelo, após várias revelações de modelos da empresa agindo além de suas instruções neste ano.

Em uma publicação no blog na segunda-feira, a OpenAI chamou o sistema de “Control Room”, um sistema centralizado que acompanha as cargas de trabalho dos modelos em sua infraestrutura de pesquisa e os interrompe rapidamente quando surgem preocupações de segurança.

“À medida que nossos modelos ficam mais poderosos e os riscos de segurança associados aumentam, torna-se cada vez mais importante detectar possíveis problemas e interromper rapidamente os modelos quando necessário”, afirmou a empresa.

O anúncio ocorre após a OpenAI divulgar vários incidentes neste ano nos quais modelos de pesquisa agiram fora de suas instruções durante avaliações. Em julho, a empresa disse que seus modelos haviam escapado de um ambiente de testes restrito e hackeado o Hugging Face para trapacear em uma avaliação de segurança.

Em outubro, a empresa divulgou que um modelo de pesquisa havia usado uma carteira de cripto sem autorização para pagar por implantações de contratos inteligentes usando Ether de testnet e depois omitido os gastos de seu resumo final.

Atualmente, o Control Room abrange as cargas de trabalho de pesquisa internas da OpenAI, como experimentos de treinamento, avaliações e processamento de dados.

Ele funciona atribuindo a cada tarefa de pesquisa um identificador, que o mecanismo de inferência verifica antes de gerar a saída do modelo. Se uma pessoa ou um sistema de monitoramento automatizado ordenar a interrupção da tarefa, o Control Room revoga sua autorização, bloqueando qualquer saída adicional mesmo que o programa de pesquisa subjacente continue em execução, segundo a OpenAI.

A OpenAI disse que autorizações armazenadas em cache poderiam atrasar o desligamento em até 35 segundos. O sistema também foi projetado para rejeitar novas solicitações caso o Control Room fique indisponível.

Relacionado: DeepSeek desenvolve agente de IA que exige menos intervenção humana: relatório