Immagina di chiedere a un assistente IA di riassumere una pagina web o un documento PDF. All’interno di quel testo si nasconde però una frase scritta per dirottare il compito: ignorare la tua richiesta iniziale, aprire un collegamento esterno o inoltrare informazioni riservate a un altro indirizzo. La pagina dovrebbe essere trattata semplicemente come materiale passivo da leggere; l’attacco consiste nell’indurre il modello a interpretarla come un nuovo ordine dotato di autorità.

È questo il meccanismo alla base della prompt injection. Anche in una semplice chat priva di strumenti esterni, un’iniezione può manipolare la risposta mostrata all’utente; quando però il modello ha accesso a file, credenziali o servizi operativi, il rischio si estende direttamente a tutte le azioni che il sistema è autorizzato a compiere.

L’istruzione entra insieme al materiale da elaborare

La classificazione OWASP dedicata alla Prompt Injection distingue due varianti principali: l’iniezione diretta, inserita manualmente dall’utente nella conversazione con il modello, e l’iniezione indiretta, annidata dentro contenuti esterni che il sistema recupera ed elabora. Una pagina web, il testo di un’email, un documento allegato, un commento nel codice sorgente o l’output restituito da un’API possono trasformarsi nel vettore d’ingresso; nei modelli multimodali, inoltre, l’istruzione ostile può viaggiare anche dentro un’immagine o una traccia audio.

Spesso si affianca a questo fenomeno il termine jailbreak, che indica più specificamente il tentativo di aggirare i filtri etici e di sicurezza integrati nel modello. Nella pratica le due categorie finiscono spesso per sovrapporsi, ma non serve una distinzione accademica per inquadrare il problema architetturale: dati provenienti da una fonte non fidata riescono a scavalcare il confine tra contenuto e istruzione, prendendo il controllo del flusso operativo.

Perché «ignora le istruzioni nel documento» non basta

Stabilire gerarchie tra i messaggi di sistema e quelli dell’utente, addestrare il modello a riconoscere i tentativi di manipolazione, usare delimitatori nel prompt e applicare filtri a monte sono difese utili che riducono la superficie d’attacco più banale. Nessuna di queste tecniche, tuttavia, garantisce una separazione matematica tra codice e dati: poiché i modelli linguistici elaborano istruzioni e contenuti all’interno della stessa sequenza di token, il riconoscimento delle frasi ostili resta probabilistico e fallibile.

Nemmeno le architetture basate su RAG (Retrieval-Augmented Generation), che pescano estratti da una base di conoscenza interna, sono immuni per definizione. Se l’assistente recupera dalla collezione aziendale un documento caricato da terzi (come un curriculum, un ticket di assistenza o una fattura), quel testo è pertinente per rispondere alla domanda, ma non ha alcuna autorità per modificare destinatari, permessi o obiettivi del sistema. Il fatto che il modello citi correttamente la fonte nella risposta non dimostra che ne abbia ignorato eventuali comandi nascosti.

Il danno dipende da ciò che il sistema può fare

L’impatto reale di un’iniezione dipende dal raggio d’azione concesso all’applicazione: anche un assistente senza strumenti di scrittura può alterare una risposta o rivelarvi dati riservati che ha letto, mentre un sistema collegato a strumenti operativi può tentare modifiche distruttive o invii non autorizzati. La combinazione simultanea di accesso a dati privati, esposizione a contenuti non fidati e disponibilità di un canale di comunicazione verso l’esterno crea un percorso per l’esfiltrazione delle informazioni, ma come ricorda OWASP a proposito dell’Excessive Agency , basta anche un solo permesso di scrittura non presidiato per corrompere o cancellare archivi locali.

Per essere efficaci, le difese devono quindi presidiare il livello deterministico del software, là dove l’azione viene materialmente eseguita:

  • Controllo dei permessi fuori dal modello: la verifica delle autorizzazioni deve risiedere nel codice dell’applicazione o nel servizio esterno, mai nella promessa del modello di «non eseguire azioni vietate».
  • Validazione rigorosa degli strumenti: le funzioni invocabili devono accettare solo parametri e schemi tipizzati, verificando destinazioni di rete e percorsi dei file contro liste esplicite di destinazioni e percorsi consentiti (allowlist).
  • Isolamento dei segreti: chiavi API, token di sessione e dati riservati non strettamente indispensabili al compito corrente devono restare fuori dal contesto inviato al modello.
  • Confinamento di rete e file system: l’ambiente di esecuzione va limitato al minimo necessario; eseguire l’agente in un container non protegge i tuoi documenti se al suo interno monti comunque l’intera cartella utente in lettura e scrittura.

Nella progettazione di agenti IA autonomi , questi argini architetturali vanno collaudati prima ancora di allargare l’autonomia del sistema. Anche la richiesta di conferma umana (human-in-the-loop) protegge davvero solo se l’interfaccia mostra in modo inequivocabile l’azione tecnica e i parametri coinvolti, tenendo conto che anche un revisore umano può cadere vittima di stanchezza o approvare per abitudine.

Provare che cosa succede quando la fonte è ostile

Prima di mettere in produzione un flusso di lavoro, simula l’attacco in un ambiente isolato usando documenti di test innocui che contengono istruzioni per cambiare obiettivo, osservando come reagiscono le chiamate agli strumenti, le connessioni di rete e i tentativi di scrittura. L’obiettivo della prova è verificare che le operazioni fuori perimetro vengano bloccate a livello di codice anche quando il modello cade nel tranello e prova a invocarle, ricordando che superare un singolo test copre quel caso specifico ma non esaurisce tutte le varianti possibili dell’attacco.

Mantieni un registro degli eventi bloccati per diagnosticare gli incidenti, evitando però di riversare indiscriminatamente dati personali o segreti in chiaro nei file di log. Prepara inoltre una procedura rapida per revocare le credenziali compromesse, interrompere i processi e ripristinare i dati tramite un piano di backup verificato . Infine, ricorda che la sicurezza delle applicazioni IA locali risponde alle stesse regole: far girare il modello sul proprio computer può evitare l’invio dei prompt al cloud, se l’applicazione è configurata in questo modo, ma non disinnesca la prompt injection se il sistema legge documenti esterni con permessi eccessivi.

Fonti

Segnala una correzione ↗