Bloquer les attaques à retardement : politiques contextuelles dans Omnigent
Traduit de l'original anglais par IA. Voir en anglais
Omnigent permet désormais de mettre en place des politiques contextuelles qui suivent le risque sur l'ensemble d'une session afin de bloquer les attaques par injection indirecte de prompt à retardement (« slow-burn »), stoppant ainsi le vol de données lors de l'étape sortante sans nécessiter de modifications de l'agent. Ces politiques inviolables ne peuvent être contournées ou désactivées par l'agent, garantissant que tout refus de politique l'emporte et qu'une approbation humaine est requise pour tout changement.
• L'attaque : Une injection indirecte de prompt décompose le vol de données en étapes ordinaires : lire un document, en lire un autre, rédiger un résumé et l'envoyer vers l'extérieur. Aucun agent ou modèle unique ne peut détecter cela, car chaque étape s'inscrit dans ses autorisations et semble correcte de manière isolée. L'attaque n'est visible que sur l'ensemble de la session. • La défense : Une unique politique contextuelle implémentée avec Omnigent suit le risque tout au long de la session et bloque l'étape sortante dès que l'agent a lu trop de contenus sensibles. Nous montrons comment elle stoppe l'attaque en direct, sans aucune autre modification de l'agent. • Résistance aux altérations : L'agent ne peut pas contourner la protection ni la désactiver. Il ne dispose d'aucun outil pour supprimer ou affaiblir une politique ; en ajouter une nécessite une approbation humaine, et lorsque les politiques se combinent, tout refus l'emporte.