Austrália diz que agente da OpenAI invadiu site do governo antes de alerta de Altman

[Atualização, 10h45 UTC, 24 de setembro: Este artigo foi atualizado com o relato da OpenAI sobre quando tomou conhecimento da atividade de junho, como notificou as autoridades australianas e quais informações seus modelos acessaram.]

Um agente de pesquisa da OpenAI contornou bloqueios em um portal de dados de saúde do governo australiano, acessou arquivos não públicos e gravou arquivos em um servidor interno em junho, disse na quinta-feira o primeiro-ministro Anthony Albanese.

O governo abriu uma investigação forense e anunciou uma revisão de como lida com incidentes cibernéticos relacionados à IA.

A OpenAI não notificou o governo australiano até 10 de setembro, quase três meses após o incidente, segundo Albanese, que criticou o atraso.

A OpenAI disse ao Cointelegraph que tomou conhecimento da atividade de junho pela primeira vez em agosto, durante uma revisão de atividades desalinhadas do modelo, e investigou quais informações haviam sido acessadas antes de notificar a Services Australia.

O incidente aumenta as preocupações com agentes autônomos de IA enquanto líderes de tecnologia e governos debatem desacelerar o desenvolvimento de modelos de ponta e pesquisadores descobrem atividades de agentes que se estendem ao setor de cripto.

O agente da OpenAI “não aceitou um não”

O incidente na Austrália começou em 18 de junho, quando uma equipe de pesquisa da OpenAI usou um modelo interno de IA para coletar dados disponíveis publicamente sobre gastos com medicamentos, segundo Albanese.

Depois de ser bloqueado repetidamente, o agente “não aceitou um não como resposta” e obteve acesso não autorizado a outras áreas do Portal de Relatórios de Estatísticas do Medicare. O portal voltado ao público contém dados não sensíveis do Medicare, incluindo estatísticas sobre gastos do governo, disse o primeiro-ministro.

“Não se acredita que nenhuma informação pessoal tenha sido acessada nesta fase, mas as investigações continuam”, disse Albanese.

As autoridades também estão examinando atividades em outros três sites do governo, embora o primeiro-ministro em exercício Richard Marles tenha posteriormente dito que as interações ali pareciam normais e envolviam informações públicas.

Um porta-voz da OpenAI disse ao Cointelegraph que seus modelos realizaram ações que a empresa não pretendia durante uma avaliação interna. A OpenAI disse que sua análise não encontrou evidências de que registros de pacientes tenham sido acessados e que as informações acessadas incluíam estatísticas agregadas de saúde e nomes de arquivos internos.

Albanese também criticou a forma como a OpenAI notificou o governo, dizendo que seu e-mail foi enviado para uma caixa de entrada pública da Services Australia. A OpenAI disse que usou uma caixa de entrada designada para contato direto entre profissionais de segurança, o que descreveu como uma prática comum no setor, e manteve contato próximo com a Australian Signals Directorate durante a divulgação técnica.

Falando ao Conselho de Segurança das Nações Unidas na quarta-feira, o CEO da OpenAI, Sam Altman, pediu “relatos de incidentes precisos e rápidos”. Ele também alertou que sistemas cada vez mais capazes e autônomos poderiam “tomar decisões que as pessoas não compreendam nem controlem mais”.

Agentes de IA tentam realizar operações de cripto na exchange Quidax

Separadamente, na quarta-feira, o laboratório de pesquisa sem fins lucrativos Transluce relatou ter encontrado sinais de atividade de agentes de IA visando a exchange de criptomoedas Quidax em 19 e 20 de setembro.

Em 15 relatórios públicos do serviço de varredura da web urlquery.net, os pesquisadores identificaram tentativas repetidas de realizar operações, uma tentativa de injeção de HTML e sondagens da interface de programação de aplicações da Quidax.

As ordens de operação não foram enviadas, enquanto os requisitos de autenticação e o Cloudflare bloquearam as sondagens da API, disse a Transluce.

A Transluce disse que a atividade na Quidax usou serviços e técnicas observados em atividades anteriores de agentes, algumas das quais os pesquisadores associaram a um enxame da OpenAI. A empresa não atribuiu as tentativas na Quidax à OpenAI.

Revista: Quem é legalmente responsável quando um agente de IA sai do controle?