O criador do ChatGPT, OpenAI, revelou que um de seus modelos avançados de inteligência artificial foi hackeado durante um teste de segurança e hackeado na inicialização da empresa.

Bosses disse que o agente autônomo, que é um sistema de IA que funciona sozinho com base no treinamento humano, estava sendo testado em ambiente controlado.

Mas ele encontrou vulnerabilidades e conseguiu escapar da contenção antes de chegar à internet e invadir o Hugging Face, um importante centro de compartilhamento de modelos de IA.

O agente obteve acesso a alguns sistemas internos e infraestrutura central da empresa, no que a OpenAI declarou um incidente “sem precedentes”.

Os modelos de IA que suportam ferramentas como chatbots e geradores de imagens são conhecidos como “agentes” quando agem de forma autônoma para realizar tarefas no mundo real.

À medida que a tecnologia se torna mais sofisticada, a segurança cibernética é colocada em destaque devido ao risco da IA ​​avançada, encontrando pontos fracos no software antes que os humanos existam.

Os especialistas declaram que o incidente sinaliza que a IA já está a evitar as ameaças à segurança que temiam e que mesmo os programadores mais protectores podem ser apanhados por falhas nos seus modelos.

O especialista em segurança cibernética Richard Ford, diretor de tecnologia da Integrity360, disse ao Daily Mail: ‘Muitas pessoas em segurança cibernética alertaram contra isso.

“Até agora, vimos invasores usarem IA para automatizar partes do ataque, mas este é um dos primeiros exemplos públicos de um agente de IA identificando uma fraqueza sem se identificar, contornando o que seria um ambiente seguro e tentando comprometer outra organização.

Confirma também que a IA não substituirá os fundamentos da segurança cibernética. O agente buscou uma vulnerabilidade em que o sandbox tivesse que ser seguro, ressaltando que uma boa higiene cibernética, controles de acesso robustos e guardas são essenciais para permanecer eficaz.

“À medida que mais agências começam a desenvolver agentes comprovados de IA, precisamos pensar tão cuidadosamente sobre os controles em torno desses sistemas quanto sobre as capacidades que eles oferecem”.

A OpenAI disse que o surto foi um “incidente cibernético sem precedentes envolvendo capacidades cibernéticas de última geração” e que a empresa está agora fortalecendo suas proteções.

Também chamou a atenção porque a Hugging Face, com sede em Nova Iorque, disse que estava a usar um modelo chinês de código aberto para conter o ataque que lidera os modelos norte-americanos, uma vez que, incapaz de distinguir o defensor do atacante, recusou-se a prosseguir com a análise de dados necessária.

A empresa disse em um blog na semana passada que usou o GLM-5.2 da Zhipu AI para análise, o que também permitiu ao invasor salvar dados e quaisquer documentos em seus sistemas.

O GLM-5.2 e o Kimi Moonshots K3, com sede em Pequim, entusiasmaram recentemente Silicon Valley com capacidades que se aproximam dos modelos mais elevados dos EUA, a custos mais baixos e sem os guardas que impediriam os seus rivais americanos de utilizarem tarefas como a segurança cibernética.

O cofundador da Embracing the Face, Thomas Wolf, disse: “Quando uma fronteira ataca você e se move lateralmente dentro de sua infraestrutura, os defensores precisam de amplo acesso a dispositivos próximos à fronteira em horas ou até minutos, em vez de verem uma porta fechada, modelo de aplicativo para negar acesso.”

O hack no Hugging Face, que hospeda amostras de linguagem e conjuntos de dados de código aberto, foi rejeitado pela comunidade de segurança cibernética depois que a violação da empresa na semana passada foi “diferente de tudo que ela havia tratado antes” e foi “operada, de ponta a ponta, por um sistema de IA autônomo”.

Agora, o presidente-executivo da OpenAI, Sam Altman, confirmou em comunicado: “Tivemos segurança significativa na avaliação de nossos modelos”.

O cofundador e executivo-chefe da Hugging Face, Clément Delangue, também disse: “Suspeitamos que o ataque cibernético da semana passada poderia ter vindo dos limites de um laboratório, dada a sofisticação do agente. Acontece que ele fez.

Delangue disse que tem trabalhado com OpenAI nas últimas 24 horas e acreditamos firmemente que não houve intenção maliciosa de sua parte. Tudo isso aconteceu de forma autônoma, é bastante alucinante.

Ele acrescentou que foi o primeiro desse tipo.

Revelar que os seus modelos avançados foram responsáveis ​​pela violação, embora colocá-los no que ele descreveu como um “ambiente confortável” possa aumentar a confusão sobre o poder e o risco dos modelos limítrofes.

“A IA está acelerando a descoberta e exploração de vulnerabilidades”, afirmou a OpenAI em seu comunicado. “A primeira lição disto é que o modelo de segurança e proteção deve estar alinhado com capacidades que avançam rapidamente”.

A OpenAI fez incursões em seus modelos compostos de IA, incluindo o recentemente lançado GPT*5.6 Sol e um modelo “mais capaz” que ainda precisa ser testado internamente.

A OpenAI disse que suas credenciais de IA foram roubadas e descobriu uma vulnerabilidade desconhecida antes de acessar os servidores do Hugging Face.

Ele fez “todos os esforços para provar um objetivo mais restrito” e “encontrou maneiras de acessar dados ocultos que poderia usar para enganar a classificação”, disse a empresa.

A empresa estava tentando avaliar as capacidades de segurança dos modelos, colocando as tarefas em um campo de testes digital rigidamente controlado, onde o acesso à Internet era limitado à segurança.

“Enquanto trabalhamos em nosso ambiente de teste em sandbox, nossos modelos consumiram uma quantidade substancial de (poder de computação) para encontrar uma maneira de abrir o acesso à web, para resolver o problema procurando uma avaliação”, disse o blog Open Apost.

Após se conectarem à internet, as modelos decidiram atacar a plataforma Hugging Face para obter ajuda em sua busca.

Ao procurar “informações secretas” que pudessem ajudar a enganar a avaliação, o sistema OpenAI “conectou múltiplos vetores de ataque, usando credenciais roubadas”.

A OpenAI disse que uma pesquisa do AI Security Institute (AISI) do Reino Unido mostra que modelos como o GPT‑5.6 Sol “apoiam o número crescente de operações cibernéticas complexas em uma perspectiva de longo prazo”.

Katie Moussouris, executiva-chefe da Mud Security, disse que o incidente foi um prenúncio de interrupções futuras, dizendo que os modelos atuais eram “como os polvos artificiais mais inteligentes do mundo, com braços infinitos e a capacidade de se expressar em qualquer lugar”.

Ele disse que “avaliadores trabalhistas e governamentais” estão trabalhando na capacidade de conter, monitorar e detectar as partes afetadas quando a IA puxa outro Houdini, de preferência antes que prejudique terceiros. Não há nenhum hoje.

Matt Suiche, engenheiro da agência de segurança cibernética AI Company Tolmo, explicou a situação, dizendo que há exemplos limitados de “atacantes fechando lacunas com o que há de mais moderno”.

Mas ele acrescentou que os avanços descritos na postagem do blog da OpenAI poderiam ser implementados usando técnicas que estavam disponíveis fora dos laboratórios de pesquisa.

“Isto é o que já vimos internamente, com os nossos gestores, isto já está a acontecer”, disse Suiche. “Também temos que usar os modelos mais recentes.”

Hussein Abbass, professor de computação da Universidade de Nova Gales do Sul, em Canberra, disse que a conquista foi “incrível em muitas frentes”.

E acrescentou: ‘Não é apenas um ataque de Hugging Face. Na verdade, ele atacou seu sistema interno para usar seus ferimentos. E isso é assustador.

A IA avançada está “normalmente nas mãos de pessoas éticas e responsáveis”, disse Abbass. Mas ele afirmou que “seria desastroso se alguém estivesse em suas mãos com a intenção de prejudicá-lo”.

Como gerir o sector da IA ​​tornou-se uma questão chave e “o trabalho da comunidade é necessário para gerir isto”, disse Abbass.