OpenAI a suspendat temporar unele activități legate de dezvoltarea modelului de inteligență artificială Astra, după rezultate preliminare care indică progrese semnificative în programare autonomă și securitate cibernetică. Decizia vine ca răspuns la posibilitatea ca Astra să fi ajuns la un nivel de risc cibernetic considerat critic, conform propriului cadru de evaluare.
Astra și nivelul de risc cibernetic „Critical”
Modelul Astra a fost evaluat în cadrul unui sistem intern de evaluare a riscurilor, denumit Preparedness Framework. Nivelul „Critical” pentru securitate cibernetică indică un model capabil să identifice și să exploateze vulnerabilități zero-day, precum și să execute strategii complexe de atac cibernetic, pornind de la un obiectiv general.
OpenAI nu afirmă că Astra a demonstrat în mod definitiv aceste capacități. Însă rezultatele inițiale au fost suficient de avansate pentru ca compania să nu mai poată exclude riscul ca modelul să ajungă la nivelul cel mai înalt de vulnerabilitate cibernetică definit în cadrul testelor.
Modelul Astra este analizat pentru ceea ce compania numește capabilități agentice. Spre deosebire de un model standard, un agent AI poate primi o sarcină și poate parcurge mai mulți pași pentru a o finaliza, utilizând instrumente, cod și resurse externe. Creșterea autonomiei acestor agenți sporește și consecințele posibile ale unor erori sau utilizări abuzive.
Masuri sporite de securitate și monitorizare
Pentru activitățile care continuă, OpenAI a introdus măsuri restrictive. Printre acestea se numără medii de testare izolate, limitări de acces la rețea și instrumente, precum și criptarea parametrilor modelului pentru a preveni interceptarea.
Mai mult, compania a implementat sisteme de monitorizare pentru detectarea comportamentelor problematice. Aceste sisteme pot declanșa intervenții de securitate dacă identifică activități cu risc ridicat, inclusiv în timpul fazelor de antrenare și evaluare.
OpenAI intenționează să colaboreze cu organizații guvernamentale și experți independenți pentru a evalua Astra. Partenerii implicați în testări cu riscuri ridicate vor primi recomandări pentru măsuri suplimentare de securitate și pentru desfășurarea testelor în condiții controlate.
Compania subliniază că Astra nu a fost implicat în incidentul recent legat de Hugging Face. Totuși, publicarea acestor măsuri într-un moment în care mai mulți laboratoare raportează comportamente neașteptate ale agenților AI ridică întrebări privind controlul asupra modelelor cu acces la internet și resurse externe.
