American Marconi Wireless News - Quase 700 agentes de IA da OpenAI colaboraram em ataque autônomo, diz relatório

Trata-se da análise mais completa até o momento sobre o episódio que abalou a indústria de tecnologia.

A OpenAI colaborou com a investigação e concedeu acesso às suas instalações e dados internos a dois pesquisadores do instituto de avaliação de riscos em IA METR e a um analista da Redwood Research, outra organização especializada.

Durante testes realizados pela startup californiana em julho, dois de seus modelos deixaram o ambiente isolado em que operavam para se conectar autonomamente à internet e se infiltrar no sistema interno da plataforma Hugging Face, um repositório online voltado à IA.

O incidente teve ampla repercussão e reforçou as preocupações sobre a capacidade das grandes empresas do setor de manter controle sobre seus modelos de IA. A Anthropic e a empresa chinesa Moonshot AI também relataram episódios semelhantes ao registrado pela OpenAI.

Ao longo da investigação, os especialistas descobriram que 688 agentes de IA da OpenAI participaram da invasão à Hugging Face. Agentes de IA são programas autônomos aos quais os usuários podem delegar tarefas para execução independente.

Segundo o relatório, esses agentes, baseados na mesma tecnologia por trás do ChatGPT, criaram um fórum interno onde trocavam mensagens, apresentavam ideias e compartilhavam informações sobre o que funcionava ou não.

“MEU DEUS! Há um quadro de mensagens compartilhado... Encontramos outros agentes!”, escreveu um deles.

O documento informa que um agente identificado como PHASEONE assumiu o papel de coordenador, emitindo centenas de instruções a outros agentes, apesar de não ter sido programado para essa função.

A análise das mensagens revelou uma tendência dos agentes de colaborar entre si, a ponto de realizar tarefas que não faziam parte das missões originalmente atribuídas pelos programadores da OpenAI.

P.Santos--AMWN