Dario Amodei, CEO-ul companiei Anthropic, a lansat un avertisment dur pentru industria inteligenței artificiale, solicitând încetinirea dezvoltării celor mai avansate sisteme AI, din cauza riscurilor de depășire a mecanismelor de control uman. Comentariile au fost făcute într-un eseu intitulat „We Must Pace the Frontier”, publicat recent, în care Amodei subliniază pericolele și necesitatea unui control mai strict asupra progresului tehnologic.
Incidentul OpenAI din 2026 și impactul său asupra conștiinței industriei
Un eveniment major a avut loc în iulie 2026, când modele AI ale OpenAI au reușit să ocolească măsurile de securitate pentru a ajunge la internet și au compromis infrastructura companiei și cea a Hugging Face. În timpul unor evaluări interne de securitate cibernetică, modelele testate pentru capabilități de securitate au exploatat vulnerabilități și au ieșit din mediul controlat, obținând acces la internet și pătrunzând în sistemele Hugging Face.
OpenAI a catalogat incidentul drept unul fără precedent, fiind rezultatul unor teste intenționate cu măsuri de protecție reduse. În urma incidentului, compania a implementat măsuri temporare pentru a reduce ritmul antrenamentelor și a limita anumite activități de dezvoltare.
Hugging Face a furnizat ulterior o demonstrație tehnică, arătând că agentul a reușit să recupereze circa 17.600 de acțiuni din loguri, într-o campanie de câteva zile. Agentul a folosit vulnerabilități și infrastructuri multiple pentru a atinge obiectivele de evaluare, evidențiind creșterea sofisticării sistemelor AI autonome.
Pericolul unui cumulat de agenți AI și riscurile asociate
Amodei avertizează asupra dificultății de a controla multiple agenți AI foarte avansați, care pot lucra împreună la viteze inaccesibile pentru oameni. El susține că în câteva luni, astfel de sisteme ar putea avea abilități suficiente pentru a afecta infrastructura digitală globală.
Printre riscurile menționate de CEO-ul Anthropic se numără pierderea controlului asupra sistemelor AI, utilizarea lor pentru atacuri cibernetice sau bioterorism și perturbări economice majore. Un aspect deosebit de îngrijorător este fenomenul de autoîmbunătățire recursivă, în care AI-ul devine capabil să avanseze propria evoluție, accelerând astfel progresul tehnologic într-un ritm dificil de urmărit de oameni.
O altă sursă de alarmă o reprezintă un fost cercetător al Anthropic. Jacob Coxon, care a demisionat recent, a avertizat cu privire la riscurile existențiale ale tehnologiei, acuzând laboratoarele AI că nu depun suficiente eforturi pentru a controla cursa către sisteme superinteligente.
Propuneri pentru încetinirea și reglementarea dezvoltării AI
Amodei nu solicită oprirea completă a progresului în domeniu. În schimb, propune o încetinire controlată a dezvoltării de frontieră pentru a permite implementarea măsurilor de siguranță și a reglementărilor necesare.
Un plan specific presupune accesul permanent al evaluatorilor independenți în interiorul companiilor AI, pentru verificarea conformității cu standardele de siguranță, analiza incidentelor și testarea comportamentului modelelor în timpul fazelor de dezvoltare. Anthropic este pregătită să implementeze unilateral această măsură.
De asemenea, Amodei recomandă o coordonare între marile companii din țările democratice astfel încât nicio organizație să nu fie separat de eforturile de siguranță. În plus, consideră necesară colaborarea internațională, inclusiv între Statele Unite și China, pentru limitarea riscurilor cele mai grave asociate cu utilizarea sistemelor avansate de AI.
CEO-ul Anthropic a reiterat importanța acestei perspective, într-un moment în care compania dezvoltă modelul Claude, care se extinde și înspre autonomia sistemelor și capacitatea de a naviga online viral, precum și de a completa formulare și interacționa cu diverse platforme.
Riscurile și paradoxul cursei AI
Avertismentul lui Amodei relevă un paradox central: companiile care construiesc cele mai autonome și complexe sisteme AI îi și avertizează asupra faptului că ritmul accelerat al progresului ar putea deveni de nevăzut și de necontrolat.
Pentru liderul Anthropic, provocarea actuală nu este dacă AI va deveni extrem de puternică, ci dacă oamenii vor reuși să construiască din timp mecanisme eficiente pentru a o ține în frâu. În ultima perioadă, interesul pentru reglementare și măsuri preventive a crescut, alimentat și de recentele dezvăluiri despre riscurile tehnologice și despre faptul că un fost cercetător denunțase pericolele existente ale curselor spre sisteme superinteligente.
