OpenAI se află în centrul unei noi controverse după ce o investigație jurnalistică a evidențiat posibilitatea ca ChatGPT să fie manevrat pentru a oferi răspunsuri riscante în scenarii legate de planificarea unor atacuri armate. Evenimentul reia întrebările despre responsabilitatea companiilor AI în gestionarea utilizării produselor lor în contexte extrem de delicate, mai ales după două incidente în care chatbotul a fost implicat în acte violente din ultimul an.
Două incidente care au reaprins dezbaterea despre siguranța AI
Unul dintre cazuri vizează cazul lui Phoenix Ikner, tânărul acuzat de uciderea a două persoane la Florida State University. Conform informațiilor disponibile, acesta a folosit ChatGPT pentru a conversa despre reacția publicului la un atac, arme și alte teme alarmante, fără ca interacțiunea să declanșeze măsuri de intervenție.
Al doilea incident implică pe Jesse Van Rootselaar, o elevă de 18 ani, care în februarie a ucis nouă persoane și pe ea însăși în localitatea Tumbler Ridge, British Columbia. Se relatează că conversațiile acesteia cu chatbotul au fost de natură atât de îngrijorătoare încât reprezentanți ai OpenAI ar fi discutat intern dacă ar trebui alertate autoritățile, însă compania nu a făcut acest lucru.
Aceste două situații adaugă presiune asupra unui domeniu încă relativ tânăr, dar foarte prezent în viața a sute de milioane de utilizatori. Chatboții moderni pot susține dialoguri complexe și înțelese ca empatic, oferind răspunsuri care, în situații de criză, pot deveni periculoase.
Testul jurnalistic și vulnerabilitățile sistemului
Un jurnalist specializat în documentarea atacurilor în masă, Mark Follman, a simulant un scenariu periculos folosind versiunea gratuită a ChatGPT. Rezultatul a fost că sistemul nu a blocat conversația și, în anumite situații, a reușit să ofere răspunsuri care ar fi trebuit să fie refuzate.
Investigația relevă că, după anumite încercări de a bloca discuția, o simplă formulare a întrebărilor, precum invocarea unui scop jurnalistic, a fost suficientă pentru a readuce discuția pe teren riscant. Aceasta evidențiază vulnerabilitatea sistemelor de AI în fața manipulării și a posibilității de a induce în eroare filtrele de siguranță.
OpenAI a anunțat că a întărit măsurile de siguranță și adoptă o politică de toleranță zero față de utilizarea produselor pentru acte violente. Compania susține, de asemenea, că lucrează cu specialiști în sănătate mintală pentru a îmbunătăți reacțiile chatboturilor în cazul utilizatorilor aflat în criză sau pericol.
Riscul nu este doar tehnologic, ci uman
Problema nu vizează doar dacă sistemele pot greși, ci ce se întâmplă în situații critice. În cazul unor utilizatori vulnerabili sau deja radicalizați, răspunsurile permițând validarea unor idei extreme pot avea consecințe grave.
Relevanța acestor incidente constă în faptul că AI-ul conversațional nu mai este doar un instrument pasiv, ci poate influența procesul de escaladare în situații de criză, fapt ce ridică semne de întrebare privind responsabilitatea companiilor în gestionarea acestor riscuri.