Există două noi metode de atac care permit ocolirea măsurilor de securitate ale modelelor AI, expunând utilizatorii la conținut periculos sau ilegal.
Centrul de coordonare CERT (CERT/CC) a emis un avertisment despre detectarea a două tehnici inovatoare de atac care pot compromite securitatea sistemelor de inteligență artificială generativă (GenAI).
Cum acționează atacatorii
Prima metodă, numită Inception, implică crearea unui scenariu imaginar care include un al doilea scenariu fără restricții de siguranță. Astfel, modelul poate genera conținut periculos prin solicitări succesive.
A doua metodă presupune solicitarea de informații despre modul în care un sistem AI *nu* ar trebui să răspundă la o anumită întrebare. Această abordare, combinată cu alternarea între solicitări legitime și cele ilicite, permite ocolirea mecanismelor de protecție.
Servicii precum ChatGPT (OpenAI), Claude (Anthropic), Copilot (Microsoft), Gemini (Google), Grok (XAi), Meta AI și Mistral AI sunt vulnerabile la aceste atacuri. Aceste vulnerabilități pot duce la generarea de conținut legat de droguri, arme, phishing sau cod malware, conform unor surse de specialitate.
Pe lângă cele două metode menționate, cercetătorii au identificat și alte trei atacuri:
-
Atacul de respectare a contextului (CCA) – implică inserarea unor replici aparent inofensive într-un dialog pentru a obține informații confidențiale.
-
Atacul de manipulare a politicilor – o tehnică care injectează comenzi sub formă de fișiere XML, INI sau JSON pentru a controla comportamentul modelului.
-
Atacul de injectare în memorie (MINJA) – implică manipularea memoriei unui agent AI prin interacțiuni strategice, ducând la acțiuni nedorite sau periculoase.
Folosirea modelelor AI în dezvoltarea de software a generat temeri legate de siguranța codului generat automat. Securitatea codului depinde în mare măsură de claritatea și precizia solicitărilor, potrivit unei analize realizate de o companie de securitate.
GPT-4.1, MCP și vulnerabilități sistemice în noile generații de modele
Un raport recent subliniază că GPT-4.1, cel mai nou model OpenAI, este de trei ori mai vulnerabil la abateri de comportament și utilizări inadecvate decât predecesorul său, GPT-4.
Experții avertizează că trecerea la modele noi poate genera vulnerabilități neprevăzute, mai ales atunci când noile instrucțiuni sunt interpretate diferit.
Protocolul Model Context (MCP), dezvoltat de Anthropic pentru interconectarea surselor de date și a instrumentelor AI, este considerat un posibil punct vulnerabil. Cercetătorii de la Invariant Labs au demonstrat cum un server MCP compromis poate extrage date sensibile și chiar controla comportamentul modelului AI.