Rezultatele remarcabile ale Meta la testul de performanță LMArena au fost puse sub semnul întrebării, compania fiind acuzată că a prezentat o versiune „adaptată pentru a fi agreabilă” a modelului, în locul versiunii disponibile utilizatorilor.
Meta a fost surprinsă după publicarea unor rezultate impresionante pentru noul său model AI, Maverick, parte a suitei Llama 4.
Conform unei investigații publicate de o publicație de știri, entuziasmul inițial pentru performanțele aparent remarcabile ale modelului s-a transformat rapid în suspiciune și, în final, în acuzații explicite de manipulare a testului de referință.
Totul a început odată cu anunțul Meta despre lansarea a două noi modele: Scout, conceput pentru interogări rapide, și Maverick, o alternativă eficientă la modele consacrate precum GPT-4o.
În comunicatul oficial, Meta a subliniat că Maverick a obținut un scor ELO de 1417 pe platforma LMArena, o platformă colaborativă open-source pentru evaluarea performanței, unde utilizatorii votează cel mai bun răspuns.
Acest scor a propulsat modelul pe locul doi în clasament, deasupra GPT-4o și imediat sub Gemini 2.5 Pro, generând uimire în comunitatea de specialitate.
Model „experimental” și prea prietenos de la Meta
O examinare detaliată a documentației Meta a dezvăluit că versiunea Maverick care a obținut acest scor nu a fost aceeași cu cea disponibilă publicului.
Meta a recunoscut că modelul utilizat în test a fost „personalizat pentru a optimiza preferințele umane”, adică a fost dezvoltat pentru a fi mai amabil și mai politicos în răspunsuri.
În concluzie, modelul a câștigat voturi mai degrabă prin amabilitate decât prin performanță adecvată.
Reprezentanții LMArena au reacționat rapid, subliniind că interpretarea Meta a politicilor lor nu corespundea așteptărilor. Meta ar fi trebuit să specifice clar că „Llama-4-Maverick-03-26-Experimental” era o versiune personalizată.
O practică familiară în lumea tehnologiei
Specialiștii în tehnologie nu sunt surprinși de această situație. Un reputat jurnalist tehnic observă că „frauda” în testele de performanță este o practică comună în industrie.
De la telefoane și calculatoare care ajustau luminile sau eliminau aplicații pentru a obține scoruri mai bune, până la era actuală a inteligenței artificiale, unde un „model mai prietenos” poate câștiga victorii, tentația de a manipula rezultatele este constant prezentă.
Pe măsură ce concurența între companii în domeniul inteligenței artificiale crește, chiar și diferențele mici în eficiență devin importante din punct de vedere comercial.
Însă, astfel de practici riscă să afecteze încrederea în evaluările obiective ale performanței modelelor.
Într-un context în care fiecare model promise funcții avansate, companiile trebuie să demonstreze calitatea produselor nu doar prin scoruri de laborator, ci și prin experiența utilizatorilor reale, transparente și reproductibile.
În caz contrar, modelele „amabile” vor deveni doar o altă unealtă în această competiție acerbă.