Mythos, modelul AI promovant de Anthropic, a fost testat pe codul open-source cURL, dar rezultatele nu au confirmat așteptările privind capacitatea sa de identificare a vulnerabilităților de securitate.
Proiectul Mythos a fost prezentat ca un instrument capabil să descopere breșe de securitate greu detectabile de software de analiză obișnuit. Cu toate acestea, primimul test pe un cod de referință a produs rezultate modeste, conform explicațiilor lui Daniel Stenberg, creatorul proiectului open-source cURL.
Rezultate inițiale și verificări ulterioare
Stenberg a relatat că a fost rulat Mythos pe codul cURL fără a avea acces direct la model. În schimb, analiza a fost realizată de cineva cu acces, iar raportul primit indica inițial cinci vulnerabilități de securitate. În urma verificărilor, doar una dintre acestea s-a confirmat ca fiind reală, cu o severitate scăzută.
Celelalte patru probleme din raport au fost considerate fie false pozitive, fie simple bug-uri, fără impact de securitate. Vulnerabilitatea identificată va fi documentată și va primi un CVE la lansarea versiunii 8.21.0 a cURL, planificată pentru finalul lunii iunie.
Contextul testelor și capacitatea reală a Mythos
cURL, folosit de aproape 30 de ani, este unul dintre cele mai utilizate proiecte open-source și a fost supus în trecut multor analize de securitate. A fost verificat cu instrumente diverse, inclusiv testare de tip fuzzing și scanări statice, iar echipa sa are experiență în evaluări dure.
În ultimele luni, cURL a fost analizat și cu ajutorul unor instrumente bazate pe inteligența artificială, precum AISLE, Zeropath și OpenAI Codex Security, care au detectat numeroase bug-uri și vulnerabilități reale, unele fiind și publicate ca CVE-uri oficiale.
De ce cURL este un test dificil pentru AI
Având o istorie lungă și o complexitate considerabilă, cURL reprezintă un teren dificil pentru testarea unui model AI de nivel avansat. Acest proiect a fost verificat constant și cu unelte diverse, pentru că a primit analize detaliate din multiple direcții de specialitate.
Potrivit lui Stenberg, dacă Mythos ar fi cu adevărat superior în identificarea vulnerabilităților, ar fi trebuit să detecteze probleme mai semnificative și mai complexe decât cele observate în acest test specific.
Concluzia și implicațiile pentru promisiunea Mythos
Pregătirea și rezultatele obținute în testul pe cURL indică o discrepanță între promisiunile privind capacitatea AI-ului Mythos și performanța reală. Modelul a identificat doar o vulnerabilitate minoră, iar restul rezultatelor au fost considerate în mare parte false positive sau probleme minore.
Astfel, soliditatea și valoarea adăugată a Mythos în evaluarea vulnerabilităților de securitate rămân încă de demonstrat în urma acestor teste pe un proiect cu o istorie de securitate bine documentată.