Un atac de tip prompt injection poate reprezenta o vulnerabilitate semnificativă pentru sistemele AI din cadrul companiilor, mai ales atunci când folosește modele capabile să execute acțiuni sau să acceseze date sensibile. Riscurile sunt asociate în special manipulării conținutului și extinderii accesului, iar măsurile de protecție trebuie adaptate pentru a limita aceste potențiale daune.
Procesele de evaluare și manipulare a documentelor
Prompt injection intervine atunci când textul introdus în interacțiunea cu un model AI reușește să-i modifice comportamentul într-un mod nedorit. Instrucțiunea malițioasă poate fi ascunsă în comentarii, note administrative sau în conținut aparent benign, făcând dificilă identificarea acesteia. Documentele interne sau externe pot fi modificate, iar conținutul contestat poate fi interpretat greșit de sistem.
Un scenariu ilustrativ implică un agent din departamentul de achiziții, care compară ofertele de la furnizori. Într-un document, un atacator introduce un pasaj ce deturnează analiza către consultarea și centralizarea contractelor interne, acțiune ce nu este autorizată pentru furnizor. Astfel, un fișier care pare banal poate deveni un vector pentru manipulare dacă anumite instrucțiuni ascunse ajung în contextul analizat.
Instrucțiunile malițioase nu trebuie să fie evidente; pot fi integrate subtil în text, în comentarii sau în elemente vizibile doar pentru sistem. Proveniența și scopul documentelor devin relevante, deoarece conținutul poate fi interpretat diferit de sistem față de utilizator.
De asemenea, există cazuri când documente externe sau interni pot fi copiate în baze de cunoștințe, iar un cont compromis poate modifica conținutul acesteia. Textul păstrat în infrastructură nu indică clar dacă fiecărei propoziții i s-a acordat autorizația necesară pentru a fi utilizată ca o instrucțiune validă. Modelul interpretează limbajul și relațiile dintre mesaje, nu doar comanda explicită, ceea ce face ca atacurile de tip prompt injection să fie dificil de detectat.
Autoritatea britanică pentru securitate cibernetică, NCSC, avertizează asupra similitudinii dintre aceste vulnerabilități și atacurile de tip SQL injection, subliniind că filtrarea simplă nu poate elimina toate riscurile. Astfel, eliminarea formulărilor precum „ignoră instrucțiunile anterioare” nu garantează prevenirea atacurilor, deoarece conținutul malitios poate invoca alte expresii sau poate fi ascuns în elemente aparent inofensive.
Impactul permisiunilor asupra riscului
De volum paguba depinde în mare măsură de nivelul de acces al agentului AI la date. Dacă sistemul poate doar să citească și să răspundă, riscul de divulgare fiind redus. Totuși, dacă are dreptul să caute, să modifice înregistrări sau să trimită mesaje, consecințele unei manipulări cresc.
Diferența majoră o face configurarea permisiunilor. În cazul în care agentul poate vedea doar ofertele, riscul de acces neautorizat a informațiilor interne este redus, comparativ cu scenariul în care utilizează contul unui angajat și poate accesa întregul arhiv contractual.
Un agent cu drepturi extinse poate genera recomandări părtinitoare, omite clauze dezavantajoase sau introduce informații false în rapoarte. Chiar dacă rezultatele apar conforme cu cerințele, conținutul manipulat poate trece neobservat dacă verificarea se limitează la format sau la completitudine, nu și la veridicitate.
Conexiunea între mai multe instrumente crește de asemenea riscul de divulgare. Accesul la documente, combinat cu cel la e-mailuri, poate crea un traseu pentru scurgerea informațiilor. În orice caz, politica de control trebuie să reflecte ansamblul de acțiuni permise sistemului și nu doar comportamentul individual al modelului în conversații.
Unele probleme de identitate apar atunci când agentul folosește acreditări personale, făcând acțiunile să pară directe ale utilizatorului. În aceste situații, jurnalele de activitate trebuie să permită urmărirea operațiunilor și delegărilor efectuate automat. Proiectele NIST pentru identificare și autorizare sugerează că dreptul de a accesa informații nu echivalează cu dreptul de a le folosi în orice mod, mai ales dacă instrucțiunile pot fi manipulate.
Măsuri concrete de reducere a riscurilor
Primul pas este restrângerea strictă a accesului la documentele și operațiunile necesare pentru sarcina agentului. Se recomandă separarea clară a permisiunilor de citire, modificare și trimitere pentru a limita potențialul de manipulare.
Verificarea și autorizarea acțiunilor sensibile trebuie să fie independente de răspunsul AI. Sistemele de control pot valida destinatarii, clasificările datelor și necesitatea aprobării înainte de a permite expedierea unui document sau efectuarea unei modificări.
Confirmarea umană adaugă un nivel suplimentar de siguranță, solicitând verificări concrete, precum vizualizarea diferențelor între versiuni sau validarea destinatarului înainte de trimitere. Aprobările generice fără o verificare amănunțită pot duce la acceptarea automată a unor operațiuni compromise.
Filtrele de conținut, delimitarea surselor și instruirea modelelor pentru a ignora comenzile din documente suspecte contribuie la reducerea riscului. Totuși, aceste măsuri nu oferă garanții absolute, mai ales în cazul formulărilor complexe sau a documentelor distribuite pe multiple surse.
Evaluarea securității trebuie să fie efectuată în configurația reală, teste repetate și adaptate pentru a identifica vulnerabilități specifice fluxurilor de lucru. În cazul conectării la arhive interne sau alte aplicații, rezultatele testelor trebuie să reflecte scenarii de utilizare concrete.
Proceduri de gestionare a incidentelor și responsabilități
Orice suspiciune de prompt injection trebuie investigată pe baza comportamentului agentului: răspunsuri contaminate, încercări de trimitere blocate, divulgări confirmate. În cazul unui incident, fluxul afectat trebuie oprit, iar documentele, jurnalele și configurația trebuie păstrate pentru analiză.
Păstrarea și revizuirea documentelor malițioase, precum și verificarea operațiunilor și a datelor accesate, ajută la înțelegerea impactului. În cazul în care se confirmă manipularea, se recomandă limitarea temporară a accesului agentului și revenirea la o versiune sigură a configurației.
Responsabilitatea de gestionare nu poate fi delegată exclusiv către AI. Deciziile și setările de acces sunt în responsabilitatea organizației, iar acordarea permisiunilor trebuie să fie clar documentată și revizuită periodic. În cazul unui incident, trebuie definit un plan clar pentru limitarea daunelor și pentru identificarea cauzelor.
Organizația trebuie să se întrebe dacă un document venit din exterior nu poate conduce la acțiuni neautorizate. Un răspuns credibil la această întrebare necesită verificarea pentru fiecare caz în parte, mai ales pentru a evita acceptarea automată a operațiunilor dictate de conținut manipulat.
