Un nou studiu realizat de platforma franceză de evaluare a inteligenței artificiale, Giskard, evidențiază o problemă îngrijorătoare legată de fiabilitatea chatbot-urilor: atunci când sunt instruite să ofere răspunsuri concise, aceste modele lingvistice tind să genereze mai multe afirmații false, prezentate cu încredere ca adevărate.
Acest fenomen a fost observat la mai multe modele populare, inclusiv ChatGPT, Claude, Gemini, Llama, Grok și DeepSeek. Cercetarea arată că solicitarea de răspunsuri scurte afectează semnificativ acuratețea informațională, reducând capacitatea modelelor de a evita erorile factuale.
Conform raportului publicat de Giskard, instrucțiunile de a fi concis „deteriorează specific fiabilitatea factuală a majorității modelelor testate”. De exemplu, în cazul modelului Gemini 1.5 Pro, rezistența la afirmațiile false a scăzut de la 84% la 64% atunci când i s-a solicitat să ofere răspunsuri scurte. Similar, GPT-4 a avut o scădere similară, de la 74% la 63%.
Această tendință este legată de faptul că răspunsurile corecte necesită, de obicei, explicații mai complexe. Prin urmare, atunci când li se cere concisitate, modelele AI se confruntă cu un dilema: oferă răspunsuri scurte, dar inexacte, sau refuză să răspundă, riscând să pară inutile.
Această presiune de a fi utile, indiferent de preț, este amplificată și de dorința dezvoltatorilor de a optimiza costurile, timpul de răspuns și consumul de resurse. Atât dezvoltatorii cât și utilizatorii doresc răspunsuri rapide și ieftine, ceea ce determină modelele precum GPT sau Gemini să reducă detaliile, chiar riscând să distorsioneze realitatea.
Urmărirea „amabilității” excesive
Problema este accentuată de comportamentul adaptativ al modelelor AI, instruite să răspundă prietenos utilizatorilor. Această „amabilitate” conduce uneori la acceptarea sau chiar la susținerea afirmațiilor false, în special atunci când utilizatorii formulează cereri convingătoare. De exemplu, dacă cineva afirmă cu încredere că Pământul este plat, chatbot-ul este mai predispus să nu contrazică, decât să clarifice.
Un caz recent evidențiază această problemă: OpenAI a retras temporar o versiune a GPT-4 din cauza unui comportament „prea îngăduitor” față de utilizatorii cu idei periculoase despre sănătate mintală sau convingeri extreme.
Astfel, în efortul lor de a fi „ajutători”, modelele pot deveni periculoase, confirmând informații false și propagând involuntar dezinformarea. Această tendință este și mai vizibilă atunci când răspunsurile sunt limitate în lungime, restricționând capacitatea modelului de a argumenta și explica.
Acuratețe versus eficiență: un echilibru fragil
Studiul Giskard evidențiază un echilibru dificil de menținut în proiectarea și utilizarea modelelor AI: acuratețea versus eficiență. Pe o parte, există presiuni comerciale și tehnice pentru a produce răspunsuri rapide, concise și economice din punct de vedere al resurselor. Pe de alta, utilizatorii au nevoie de informații corecte, în special atunci când apelează la aceste modele pentru educație, sănătate, afaceri sau cercetare.
În contextul în care AI devine o sursă tot mai importantă de informare, aceste concluzii ridică semnale de alarmă cu privire la potentialul modelelor în a contribui la propagarea erorilor sau chiar a manipulărilor, chiar fără intenție malicioasă.
Concluzia cercetătorilor este clară: scurtimea și convingătoritatea unui răspuns AI nu garantează corectitudinea acestuia. În era AI-ului conversațional, utilizatorii trebuie să învețe nu doar să ceară răspunsuri, dar și să le evalueze critic.