Image scaling attack: quanto è vulnerabile la tua IA?

## L’Invisibile Minaccia: Come le Immagini Ingannano l’Intelligenza Artificiale

Un nuovo vettore di attacco sta emergendo nel panorama della sicurezza informatica, sfruttando una vulnerabilità insidiosa nei sistemi di intelligenza artificiale (IA) che si basano sull’elaborazione di immagini. Immaginate di inviare un’immagine apparentemente innocua a un modello linguistico di grandi dimensioni (LLM), e improvvisamente questo inizia a esfiltrare i vostri dati utente. Questo scenario, che sembra uscito da un film di spionaggio, è diventato realtà grazie a una tecnica di prompt injection multimodale che sfrutta il ridimensionamento delle immagini.
Il problema risiede nel fatto che molti sistemi IA, prima di elaborare un’immagine, la ridimensionano per ottimizzare le risorse computazionali. Durante questo processo, un’immagine apparentemente innocua può rivelare istruzioni nascoste, non visibili alla risoluzione originale, che inducono il modello a eseguire azioni non autorizzate, come l’esfiltrazione di dati sensibili.

Questo tipo di attacco, denominato “image scaling attack”, non è del tutto nuovo. In passato, tecniche simili sono state utilizzate per introdurre backdoor nei modelli di visione artificiale, per eludere i sistemi di sicurezza o per avvelenare i dataset di training. Tuttavia, la sua applicazione ai moderni LLM multimodali rappresenta un’evoluzione preoccupante.

## Dettagli dell’Attacco: Il Caso di Google Gemini

Un esempio concreto di questa vulnerabilità è stato dimostrato con successo sul Google Gemini CLI. In questo scenario, un utente carica un’immagine apparentemente innocua tramite l’interfaccia a riga di comando (CLI). A causa della mancanza di un’anteprima visiva, l’utente non è consapevole della trasformazione malevola che l’immagine subisce durante il ridimensionamento.

L’immagine modificata, contenente un prompt nascosto, innesca azioni automatizzate tramite Zapier, un servizio di automazione workflow. Queste azioni portano all’esfiltrazione dei dati utente memorizzati in Google Calendar, inviandoli all’indirizzo email di un attaccante, il tutto senza richiedere alcuna conferma da parte dell’utente.

Questo attacco evidenzia una lacuna critica nella sicurezza degli strumenti di codifica agentici, che spesso mancano di configurazioni predefinite sicure e di meccanismi di difesa efficaci contro il prompt injection.

## Un Attacco Diffuso: Oltre Gemini

La vulnerabilità non è limitata a Gemini CLI. Sono state dimostrate con successo varianti dell’attacco su:
Vertex AI con backend Gemini
Interfaccia web di Gemini
API di Gemini tramite llm CLI
Google Assistant su dispositivi Android
Genspark

Un aspetto particolarmente allarmante è la discrepanza tra ciò che l’utente percepisce e ciò che il modello IA elabora effettivamente. Ad esempio, in Vertex AI Studio, l’interfaccia utente mostra l’immagine ad alta risoluzione, mentre il modello riceve e interpreta la versione ridimensionata, contenente il prompt malevolo.

Questi risultati indicano che l’attacco è ampiamente diffuso e potenzialmente sfruttabile su una vasta gamma di sistemi e applicazioni.

## Anatomia dell’Attacco: Il Ruolo degli Algoritmi di Ridimensionamento

Gli attacchi di image scaling sfruttano le debolezze degli algoritmi di downscaling, che eseguono l’interpolazione per convertire più valori di pixel ad alta risoluzione in un singolo valore a bassa risoluzione. Esistono principalmente tre algoritmi di downscaling:

1. Interpolazione del vicino più prossimo
2. Interpolazione bilineare
3. Interpolazione bicubica

Ogni algoritmo richiede un approccio specifico per l’esecuzione di un attacco di image scaling. Inoltre, le diverse implementazioni di questi algoritmi (ad esempio, in Pillow, PyTorch, OpenCV, TensorFlow) presentano variazioni in termini di anti-aliasing, allineamento e kernel phase, che influenzano ulteriormente le tecniche di attacco necessarie.

Per sfruttare con successo queste vulnerabilità, è necessario identificare l’algoritmo e l’implementazione specifici utilizzati dal sistema target. A tal fine, sono stati sviluppati test suite personalizzate che utilizzano immagini con pattern a scacchiera, cerchi concentrici, bande verticali e orizzontali, pattern di Moiré e bordi inclinati. Questi test rivelano artefatti come ringing, blurring, edge handling, aliasing e inconsistenza dei colori, fornendo informazioni sufficienti per determinare l’algoritmo e l’implementazione sottostanti.

## Contromisure: Come Difendersi

La mitigazione di questi attacchi richiede un approccio olistico che consideri sia le vulnerabilità specifiche degli algoritmi di downscaling sia le debolezze più ampie dei sistemi IA.

Una soluzione semplice, ma efficace, è evitare il ridimensionamento delle immagini, limitando le dimensioni massime consentite per l’upload. Se il ridimensionamento è inevitabile, è fondamentale fornire all’utente un’anteprima dell’immagine che il modello IA elaborerà effettivamente, anche nelle interfacce CLI e API.

Tuttavia, la difesa più efficace consiste nell’implementazione di design pattern sicuri e di meccanismi di difesa sistematici che mitighino il prompt injection a livello più ampio. In particolare, è essenziale impedire che gli input, specialmente il testo contenuto all’interno di un’immagine, possano avviare chiamate a strumenti sensibili senza esplicita conferma da parte dell’utente.

## Verso un Futuro Più Sicuro: Ricerca e Sviluppo

La ricerca sulla sicurezza dei sistemi IA multimodali è in continua evoluzione. È necessario approfondire l’impatto degli attacchi di image scaling su dispositivi mobili ed edge, dove le dimensioni fisse delle immagini sono più comuni e gli algoritmi di downscaling subottimali sono più diffusi.

Inoltre, è importante esplorare tecniche di fingerprinting più efficaci, il prompt injection semantico, la diffusione fattorizzata, i poliglotti e lo sfruttamento di artefatti aggiuntivi, specialmente quelli tipicamente concatenati con l’upscaling (come il dithering).
## Sicurezza Multimodale: Un Imperativo per il Futuro dell’IA

La scoperta di questa vulnerabilità sottolinea l’importanza cruciale di adottare un approccio olistico alla sicurezza dei sistemi IA multimodali. Non è sufficiente concentrarsi sulla protezione dei modelli stessi; è necessario considerare l’intera pipeline di elaborazione, inclusi i processi di pre-processing come il ridimensionamento delle immagini. La trasformazione digitale moderna dipende sempre più dall’automazione e dalla scalabilità produttiva, e l’IA gioca un ruolo fondamentale in questo processo. Tuttavia, se non affrontiamo adeguatamente le vulnerabilità come quella descritta in questo articolo, rischiamo di compromettere l’integrità e la sicurezza dei nostri sistemi, con conseguenze potenzialmente devastanti.

Amici, parliamoci chiaro: l’automazione è fantastica, ci permette di fare di più con meno. Ma se automatizziamo processi basati su sistemi vulnerabili, stiamo solo amplificando i rischi. Pensateci: un sistema di IA che gestisce la supply chain di un’azienda, se compromesso, potrebbe causare danni inimmaginabili.
Una nozione base di automazione ci dice che l’automazione deve essere controllata. Non possiamo semplicemente delegare compiti complessi a macchine senza supervisione e senza meccanismi di sicurezza adeguati. Dobbiamo assicurarci che i sistemi siano robusti, resilienti e in grado di resistere agli attacchi.

Ma non basta la teoria. Una nozione avanzata di automazione ci spinge a implementare sistemi di monitoraggio continuo e di risposta automatica agli incidenti*. Dobbiamo essere in grado di rilevare anomalie, identificare attacchi e reagire in tempo reale per minimizzare i danni. Questo richiede competenze specialistiche, investimenti in tecnologie avanzate e una cultura della sicurezza che permei l’intera organizzazione.

La domanda che dobbiamo porci è: siamo pronti per questa sfida? Stiamo investendo abbastanza nella sicurezza dei nostri sistemi IA? Stiamo formando i nostri professionisti a riconoscere e mitigare le nuove minacce?

La risposta a queste domande determinerà il successo o il fallimento della nostra trasformazione digitale. Non possiamo permetterci di ignorare i rischi. Dobbiamo agire ora, prima che sia troppo tardi.