Google a lansat un sistem inovator de reducere a consumului de memorie în modelele de inteligență artificială, promițând îmbunătățiri semnificative pentru funcționarea chatbot-urilor moderne. Numele tehnologiei este TurboQuant, iar dezvoltarea sa are ca scop comprimarea datelor în timpul rulării, fără a afecta performanța sistemului, reducând astfel necesarul de memorie până la de șase ori.
De ce consume AI-ul atât de multă memorie
Modelele AI, inclusiv cele utilizate în chatbot-uri precum ChatGPT, necesită un spațiu temporar pentru a „ține minte” informații în timpul conversației. Acest spațiu se numește KV cache și este fundamental pentru generarea răspunsurilor coerente.
Cu cât un model reține mai multe date, cu atât devine mai eficient. Problema este că volumul de memorie necesară crește rapid, ajungând la zeci de gigabytes pentru un singur flux de conversație. La nivel global, cu milioane sau chiar miliarde de cereri zilnice, costurile operaționale devin foarte mari.
Funcționarea tehnologiei TurboQuant
Google utilizează un proces numit „quantization” pentru a reduce cantitatea de informație necesară pentru reprezentarea datelor în memorie. Această tehnologie constă în transformarea datelor în forme matematice mai compacte și eficiente, păstrând totodată acuratețea rezultatelor.
Compresia se face în timp real, în timpul funcționării modelului, nu doar înainte de rulare, cum era practica anterior. Sistemul folosește o combinație de metode, precum PolarQuant și QJL, pentru a ajusta datele și a păstra calitatea răspunsurilor.
Impactul potențial al acestei tehnologii include posibilitatea rulării modelelelor pe hardware mai puțin performant, procesarea unui volum mai mare de conversații simultan și reducerea costurilor de operare pentru companii.
Impact și perspective de adopție
Aplicarea acestei tehnologii ar putea face inteligența artificială mai accesibilă, inclusiv pe dispozitive personale, nu doar în centrele de date. Deși încă în fază experimentală, TurboQuant a fost testat pe modele precum Llama 3.1, Gemma și anumite soluții de la Mistral AI.
Implementarea pe scară largă este în desfășurare și va necesita timp, întrucât optimizarea se aplică doar în etapa de utilizare a modelelor. Procesul de antrenare, care consumă și mai multe resurse, nu beneficiază încă de acest sistem.
Reacția pieței indică o presiune tot mai mare din partea companiilor de hardware, semn că astfel de inovații pot influența echilibrul dintre infrastructură și software. Noile tehnologii de comprimare a datelor ar putea schimba modul în care se dezvoltă și gestionează sistemele de inteligență artificială, atât la nivel industrial, cât și individual.