Bloqueando ataques de combustão lenta: políticas contextuais no Omnigent
Traduzido do original em inglês por IA. Ver em inglês
O Omnigent agora permite políticas contextuais que rastreiam o risco ao longo de toda uma sessão para bloquear ataques de injeção indireta de prompt de "combustão lenta" (slow-burn), interrompendo o roubo de dados na etapa de saída sem exigir nenhuma alteração no agente. Essas políticas resistentes a adulterações não podem ser anuladas ou desativadas pelo agente, garantindo que qualquer negação de política prevaleça e que a aprovação humana seja necessária para quaisquer alterações.
• O ataque: Uma injeção indireta de prompt divide o roubo de dados em etapas comuns: ler um documento, ler outro, escrever um resumo e enviá-lo para fora. Nenhum agente ou modelo isolado consegue detectar isso, pois cada etapa está dentro de suas permissões e parece normal isoladamente. O ataque só é visível ao longo de toda a sessão. • A defesa: Uma única política contextual implementada com o Omnigent rastreia o risco ao longo da sessão e bloqueia a etapa de saída assim que o agente lê material confidencial em excesso. Mostramos como isso interrompe o ataque ao vivo, sem nenhuma outra alteração no agente. • Resistência a adulterações: O agente não pode anular a proteção nem desativá-la. Ele não possui ferramentas para remover ou enfraquecer uma política; adicionar uma exige aprovação humana e, quando as políticas se combinam, qualquer negação prevalece.