Anthropic diz que IA com autoaperfeiçoamento pode estar mais próxima do que se espera

A empresa de IA Anthropic, sediada nos EUA, alerta que o desenvolvimento da IA ​​está avançando em um ritmo que em breve poderá permitir que agentes se construam, treinem e se aprimorem sozinhos, sem intervenção humana, e recomenda uma desaceleração nesse desenvolvimento.

Em uma postagem de blog publicada na quinta-feira, Marina Favaro, líder do Anthropic Institute, e o cofundador do Anthropic, Jack Clark, disseram que os agentes já podem executar código por conta própria, delegar horas de trabalho a outros agentes e podem estar prestes a assumir o controle total.

“Durante a maior parte da história da IA, os humanos conduziram cada etapa do seu ciclo de desenvolvimento. Mas na Anthropic, estamos delegando uma parcela crescente do desenvolvimento de IA aos próprios sistemas de IA, o que está acelerando nosso trabalho”, afirmaram.

“Levada ao extremo, e com poder computacional suficiente, essa tendência aponta para um sistema de IA capaz de projetar e desenvolver seu próprio sucessor de forma totalmente autônoma”, acrescentaram Favaro e Clark. 

O desenvolvimento da IA ​​está avançando em um ritmo que pode levar a agentes que se aprimoram sem intervenção humana. Fonte: Anthropic

Há preocupações sobre o que poderia acontecer se a IA se tornasse mais inteligente por conta própria. Em dezembro, a OpenAI afirmou estar pesquisando como desenvolver e implantar com segurança IA cada vez mais capaz, incluindo IA com capacidade de autoaperfeiçoamento recursivo.

“Queremos que esses sistemas sigam consistentemente a intenção humana em cenários complexos do mundo real e em condições adversas, evitem comportamentos catastróficos e permaneçam controláveis, auditáveis ​​e alinhados com os valores humanos”, afirmou.

A empresa também está contratando um pesquisador para a área de preparação para o aprimoramento contínuo, que faz parte de sua equipe de Pesquisa de Segurança.

De acordo com Favaro e Clark, o aprimoramento dos modelos de IA tem praticamente dobrado a cada quatro meses, em vez de a cada sete. O papel dos humanos está diminuindo a cada etapa, com o modelo Claude da Anthropic sendo responsável por cerca de 80% do código incorporado à base de código da Anthropic.

“Ainda não chegamos lá, e o aprimoramento contínuo não é inevitável. Mas pode acontecer mais cedo do que a maioria das instituições está preparada”, disseram eles.

“Assim que a qualidade do código escrito por humanos e por IA atingir a paridade, os humanos deixarão de escrever código completamente e passarão a apenas revisá-lo. Mas se eles não conseguirem revisar o código tão rapidamente quanto Claude consegue gerá-lo, a revisão humana se tornará o gargalo para o desenvolvimento da IA”, acrescentaram.

Favaro e Clark também afirmaram que desacelerar o desenvolvimento para permitir mais tempo para lidar com suas implicações "imensas" seria o ideal.

Em abril, a Anthropic descartou a possibilidade de disponibilizar ao público seu modelo de IA, Claude Mythos, devido a preocupações com a ameaça à segurança cibernética global. 

Claude Mythos conseguiu criar exploits de software com facilidade, o que levou a Anthropic a descartar um lançamento público por enquanto. Fonte: Anthropic

Ao mesmo tempo, um grupo de líderes tecnológicos, incluindo alguns da Anthropic e da OpenAI, divulgou uma carta aberta na quinta-feira, instando os legisladores a promulgarem salvaguardas mais rigorosas em torno da tecnologia, devido a preocupações de que ela possa ser usada para superar as "barreiras de conhecimento" que historicamente impediram que agentes mal-intencionados criassem armas biológicas.

“Acreditamos que seria bom para o mundo ter a opção de desacelerar ou pausar temporariamente o desenvolvimento de IA de ponta para permitir que as estruturas sociais e a pesquisa de alinhamento acompanhem o avanço da tecnologia”, disseram Favaro e Clark.

“Mas se uma desaceleração simplesmente permitir que os atores menos cautelosos alcancem os demais tecnologicamente, isso poderá deixar todos menos seguros. Sem um mecanismo de coordenação global, empresas e governos terão que tomar decisões difíceis sobre segurança sob pressões competitivas e geopolíticas.”

Agentes de IA estão se tornando cada vez mais populares, inclusive entre usuários de criptomoedas . Alguns executivos do setor especularam que a atuação de agentes de IA na liquidação de transações poderia impulsionar a adoção e o volume de transações. Jeremy Allaire, CEO da Circle, previu em janeiro que bilhões de agentes de IA operariam em nome dos usuários dentro de cinco anos.

A empresa de investimentos em criptomoedas Keyrock informou no mês passado que agentes de IA para liquidação de pagamentos passaram de conceito a realidade nos últimos 12 meses, com US$ 73 milhões liquidados em 176 milhões de transações.