Centro Nacional de Segurança Cibernética do Reino Unido adverte que vulnerabilidade pode nunca ser completamente corrigida e representa ameaça crescente à segurança de sistemas
O Centro Nacional de Segurança Cibernética do Reino Unido (NCSC) emitiu um alerta preocupante sobre uma das vulnerabilidades mais persistentes em sistemas de inteligência artificial: a injeção de prompt pode ser um problema sem solução definitiva, diferentemente de outras falhas de segurança já solucionadas no passado.
Há dois anos, a própria agência havia comparado a injeção de prompt à injeção SQL, sugerindo que poderia ser a “injeção SQL do futuro”. No entanto, análises mais recentes indicam que o problema é ainda mais complexo e desafiador do que se imaginava inicialmente.
A vulnerabilidade ocorre porque modelos de IA não conseguem distinguir entre instruções legítimas do sistema e comandos maliciosos inseridos por atacantes. Essa incapacidade fundamental permite que invasores ocultem instruções prejudiciais dentro de conteúdos aparentemente inofensivos, fazendo com que o modelo execute ações não autorizadas.
Para mitigar esses riscos, desenvolvedores implementam guardrails (barreiras de segurança) que tentam impedir que modelos executem ações indesejadas. O processo de contornar essas proteções é conhecido como jailbreaking. A injeção de prompt é um método específico de jailbreak em que atacantes escondem instruções dentro de entradas de usuários ou conteúdos externos.
O problema se agrava significativamente quando modelos de linguagem deixam de ser simples chatbots e passam a atuar como agentes autônomos com capacidade de movimentar recursos financeiros, acessar emails ou modificar configurações de sistemas. Nesses casos, uma injeção de prompt bem-sucedida pode resultar em vazamento de dados ou fraudes financeiras.
Diversos métodos de ataque já foram documentados. Pesquisadores demonstraram que instruções incorporadas em posts do Reddit poderiam fazer navegadores agênticos drenarem contas bancárias de usuários. Documentos maliciosos especialmente elaborados também podem corromper sistemas de IA, e até mesmo imagens aparentemente inofensivas podem ser transformadas em vetores de ataque.
Embora ambas sejam falhas de injeção que introduzem instruções maliciosas em sistemas que deveriam ser seguros, a NCSC enfatiza que comparar injeção de prompt com injeção SQL pode criar expectativas irrealistas de solução rápida.
A injeção SQL, primeiro documentada em 1998 pelo pesquisador Jeff Forristal, tornou-se gerenciável porque desenvolvedores conseguiram estabelecer uma separação clara entre comandos e dados não confiáveis, aplicando essa distinção através de bibliotecas e frameworks. Com modelos de linguagem, essa linha simplesmente não existe internamente: cada token pode ser interpretado como uma instrução.
Essa característica fundamental é o que leva a NCSC a acreditar que a injeção de prompt pode nunca ser totalmente mitigada, potencialmente causando uma onda de vazamentos de dados à medida que mais sistemas integram modelos de linguagem a infraestruturas sensíveis.
A agência alerta que, conforme mais organizações acoplam IA generativa a aplicações existentes sem projetar defesas específicas desde o início, a indústria poderá testemunhar um aumento de incidentes similar às violações causadas por injeção SQL há 10-15 anos, possivelmente com consequências ainda piores devido aos modos de falha ainda desconhecidos.
Embora a NCSC forneça orientações para desenvolvedores, usuários finais também podem adotar medidas preventivas:
- Questionar informações fornecidas por agentes de IA e realizar verificação independente de dados importantes
- Limitar permissões concedidas a navegadores agênticos ou outros agentes, evitando transações financeiras de grande valor ou exclusão de arquivos
- Conectar assistentes de IA apenas aos dados e sistemas estritamente necessários, mantendo informações críticas fora de seu alcance
- Monitorar interações em fluxos de trabalho orientados por IA para identificar comportamentos incomuns
A crescente dependência de sistemas de IA autônomos torna essencial que tanto desenvolvedores quanto usuários compreendam as limitações fundamentais dessa tecnologia e implementem camadas múltiplas de proteção.
Fonte: Malwarebytes
