Empresa implementa defesas automatizadas contra manipulações maliciosas, mas admite que problema pode nunca ser totalmente solucionado
A OpenAI divulgou nesta semana que implementou uma atualização de segurança no ChatGPT Atlas, seu navegador equipado com inteligência artificial, para combater ataques de injeção de prompt. No entanto, a companhia reconheceu abertamente que este tipo de vulnerabilidade provavelmente nunca será completamente eliminado, comparando-a aos golpes e técnicas de engenharia social que persistem na internet.
Os ataques de injeção de prompt representam uma ameaça específica para agentes de IA que operam navegadores. Nesse tipo de ataque, instruções maliciosas são incorporadas em páginas da web, documentos ou e-mails, levando o agente artificial a executar ações não autorizadas pelo usuário. A empresa demonstrou um exemplo concreto: um atacante automatizado inseriu um e-mail malicioso na caixa de entrada de um usuário contendo instruções ocultas. Quando o agente de IA posteriormente acessou a mensagem durante a execução de uma tarefa normal, interpretou o comando injetado como legítimo e enviou uma carta de demissão ao CEO, em vez de redigir a resposta automática de ausência solicitada.
Para enfrentar o desafio, a OpenAI desenvolveu um sistema de defesa baseado em aprendizado por reforço, que funciona como um atacante automatizado interno. Este “bot hacker” simula estratégias de ataque em ambiente controlado, analisando as respostas do sistema Atlas para identificar vulnerabilidades antes que possam ser exploradas em situações reais. A companhia afirma que essa abordagem já descobriu explorações que não haviam sido identificadas por equipes humanas de teste de segurança.
A atualização recente incluiu um modelo treinado adversarialmente e medidas de proteção reforçadas. Segundo a OpenAI, após as melhorias, o modo agente do Atlas passou a detectar tentativas de injeção de prompt e alertar os usuários sobre possíveis ataques. A empresa não divulgou métricas específicas sobre a redução de ataques bem-sucedidos, mas afirmou estar trabalhando com terceiros para fortalecer a segurança do navegador desde antes de seu lançamento em outubro.
O reconhecimento da OpenAI sobre a natureza persistente dessa vulnerabilidade encontra respaldo em outras instituições. O Centro Nacional de Segurança Cibernética do Reino Unido emitiu alerta no início do mês advertindo que ataques de injeção de prompt contra aplicações de IA generativa podem nunca ser totalmente mitigados. A agência governamental orientou profissionais de segurança cibernética a focarem na redução de riscos e impactos, em vez de tentarem eliminar completamente esse tipo de ataque.
Especialistas em segurança manifestam preocupação sobre a abordagem de delegação de autoridade a sistemas que não foram projetados com isolamento robusto ou modelos claros de permissão. Como medida preventiva, a OpenAI recomenda que usuários forneçam instruções específicas aos agentes, evitando acesso amplo com direções vagas, e utilizem recursos de segurança adicional como o modo sem login e o modo de observação disponíveis no navegador.
Fonte: Mezha
