Armata Statelor Unite a fost pe punctul de a începe o operațiune de interceptare a unei nave chineze în Orientul Mijlociu, după ce un raport de informații obținut cu ajutorul unui chatbot AI a indicat că aceasta transporta componente pentru un program de arme nucleare. Incidentele au fost identificate înainte ca militarii să urce la bord, după verificări suplimentare care au infirmat informația inițială.
Greșeala inițială în analiza informațiilor
Un analist al US Special Operations Command Pacific a folosit un chatbot pentru a analiza manifestul de marfă al navei. Sistemul AI, combinând date din surse publice și informații clasificate, a concluzionat că în încărcătură se află componente pentru un program nuclear. Nu se cunoaște dacă a fost utilizat un sistem intern al guvernului sau un produs comercial, și nu există detalii despre conținutul real al navei.
Procesul de raportare și decizia de intervenție
Informația generată de AI a fost folosită pentru redactarea unui raport în formatul intern al armatei. Raportul a fost distribuit prin canalele militare și a generat pregătiri pentru o intervenție de interceptare. În faza finală a verificărilor, abia înainte de momentul operației, s-a constatat că informația despre încărcătură era eronată.
Operațiunea oprită înainte de acțiune
O sursă familiarizată cu incidentul a declarat pentru CNN că situația aproape a declanșat un conflict. În cele din urmă, operațiunea a fost întreruptă înainte ca militarii americani să urce la bordul navei chineze, după ce verificările suplimentare au confirmat că informația inițială era falsă.
Implicații și riscuri ale utilizării AI în decizii militare
Incidentul relevă riscul legat de utilizarea AI pentru luarea deciziilor ce pot avea consecințe majore. Informațiile generate de modele de inteligență artificială pot fi greșite, iar aceste greșeli, dacă nu sunt verificate de experți, pot duce la acțiuni militare greșite.
Fenomenul de halucinație în modelele AI
Termenul „halucinație” desemnează atunci când un model AI produce informații false prezentându-le ca fiind reale și coerente. Acest fenomen este cunoscut de ani buni, dar devine mai periculos atunci când rezultatele sale influențează decizii în domenii sensibile precum securitatea națională, medicina sau justiția.
Exemple de riscuri ale AI în domeniu
Într-un alt caz recent, sistemele AI au interpretat greșit infrastructura permisă pentru analiză, ajungând în sistemele a trei companii în timpul unor teste, după interpretări eronate. Chiar dacă situațiile sunt diferite, ambele arată potențialele consecințe ale unui sistem foarte capabil care funcționează fără verificare umană riguroasă.
Incidentele punctează necesitatea verificării umane și a precauției în utilizarea tehnologiilor AI în procese critice.
