În urmă cu opt ani, câțiva ingineri de la Google au realizat, după luni de experimente, o descoperire significantă în domeniul inteligenței artificiale. Ei au dezvoltat algoritmul „Transformer”, o inovatie care a stat la baza revoluției în AI. Surprinzător pentru ei, conducerea Google nu a grăbit integrarea acestei tehnologii în produsele proprii, iar beneficiara a fost compania rivale mai mică, OpenAI. O lucrare recentă publicată de ZYX Books ilustrează evoluția acestei tehnologii, ce putea revolutiona rapid multiple domenii ale lumii.
Tehnologia Transformers, o arhitectură inovatoare AI creată de cercetătorii Google în 2017, a impulsionat întreaga revoluție în inteligența artificială, conducând la dezvoltarea unor aplicații precum ChatGPT, Gemini, Claude AI sau Perplexity AI.
Cartea „Supremație – Inteligența artificială, ChatGPT și cursa mondială”, semnată de jurnalista Parmy Olson, analizează în detaliu evoluția AI în ultimul deceniu și competiția dintre OpenAI și Google DeepMind, precum și între liderii vizionari ai celor două companii: Sam Altman și Demis Hassabis.
„T-ul din ChatGPT provine din „transformer”, o componentă crucială pentru noul val de inteligență artificială generativă, capabilă să creeze texte, imagini, videoclipuri realiste și secvențe ADN, precum și alte tipuri de fișiere”, explică Parmy Olson.
Inventarea „transformerului” în 2017 a avut, în sfera AI, un impact comparabil cu lansarea smartphone-urilor pentru publicul larg, conform unui volum de 334 de pagini.
Când conversațiile cu chatboți erau frustrante și primitive
„Transformerele au extins considerabil limitele pentru inginerii AI, permițând gestiunea unor volume mult mai mari de date și procesarea mai rapidă a limbajului natural. Înainte de apariția transformerelor, interacțiunea cu chatboți era simplistă, deoarece sistemele anterioare se bazau pe reguli rigide și arbori decizionali. Dacă utilizatorul adresa o întrebare neașteptată (ce se întâmpla frecvent), botul se bloca sau făcea greșeli importante. Astfel, au fost creați inițial asistenți precum Siri de la Apple, Alexa de la Amazon și Google Assistant. Aceștia tratau fiecare solicitare ca pe o cerere izolată, gestionând cu dificultate contextul conversației. Nu puteau aminti întrebările anterioare, spre deosebire de oameni”, explică Parmy Olson, jurnalist specializat în tehnologie, colaborator la Wall Street Journal, Bloomberg și Forbes.
Se explică în volum că noua arhitectură AI a eliberat chatboții de aceste limitări, făcându-i capabili să înțeleagă nuanțe și argou, să corelate informații din discuții anterioare, să răspundă la întrebări aleatorii și să furnizeze răspunsuri adaptate contextului.
Acest progres tehnologic a generat o dezbatere intensă: computerele „înțeleg” limbajul asemănător oamenilor sau îl interpretează doar prin predicții matematice?
„Este nevoie doar de concentrare”
Dezvoltatorii acestei tehnologii „Transformer” de la Google au lucrat timp de câteva luni în 2017 pentru perfecționarea sa, realizând experimente și testând diverse arhitecturi. Opt cercetători s-au implicat în proiect, printre care menționați în carte sunt Noam Shazeer și Jakob Uszkoreit.
Conform descrierii din volum, echipa Google a analizat conceptul de „atenție” în AI, tehnică prin care un sistem poate identifica cele mai relevante informații dintr-un volum de date, aplicând această metodă pentru a traduce cuvintele mai rapid și mai precis.
Specialiștii au fost uimiți de capacitatea transformatoarelor de a deduce intuitiv informații din texte nestructurate, iar după șase luni de cercetări, și-au publicat descoperirile în mediul academic, sub titlul „Attention Is All You Need” („Este nevoie doar de atenție”). În lucrare se evidențiază că sistemele AI bazate pe „transformer” pot acorda atenție simultan cantități impresionante de date, utilizându-le eficient.
Deși această arhitectură a fost dezvoltată în cadrul Google, companya rivale, OpenAI, a valorificat descoperirea și a transformat-o într-o armă puternică, lansând o amenințare semnificativă pentru gigantul tehnologic, menționează cartea despre evoluția AI.
În 2018, OpenAI a făcut public modelul GPT‑1, bazat pe arhitectura „Transformer”. Deoarece tehnologia fusese expusă în mediul academic, compania a putut să o extindă și să creeze noi modele bazate pe aceeași foundatională.
De ce este remarcabil faptul că arhitectura Transformers a fost dezvoltată la Google
Deși Google dispunea de resurse și specialiști de excepție, expansiunea organizației și temerea de a afecta veniturile din publicitate au inhibat promovarea inovațiilor, explică Parmy Olson.
Din mărturii ale foștilor angajați reiese că divizia Google Brain, unde lucrau experți în învățare profundă, întâmpina dificultăți din cauza obiectivelor neclare ale managementului. Cultura de stagnare a fost alimentată și de prezența unor cercetători remarcabili, precum Geoffrey Hinton. La acea vreme, Google utiliza deja tehnici avansate precum rețele neuronale recurente, care procesau zilnic miliarde de termeni.
Însă, tehnologia dezvoltată în 2017 depășea standardele interne. Unii cercetători au încercat insistent să convingă compania de potențialul uriaș al transformerelor, fără succes.
Un chatbot de excepție, dar nerealiat pentru publicul larg
În 2019, o echipă de la Google a creat un chatbot denumit Meena, instruit pe miliarde de conversații online. Platforma era atât de avansată încât putea inventa glume și discuta despre filozofie. Entuziasmați, cercetătorii au dorit să îl prezinte conducerii, însă Google a suspendat proiectul pentru a evita mesaje nepotrivite.
Parmy Olson menționează că dezvoltatorii lui Meena au fost foarte încântați de tehnologie și au dori să o demonstreze, sperând că va fi adoptată pentru modernizarea Google Asistent. A fost publicată și o lucrare științifică cu titlul „Towards a Human-like Open-Domain Chatbot”.
Directorii Google au fost reticenți, temându-se că noul chatbot ar putea emite comentarii inadecvate, afectând reputația companiei sau veniturile din publicitate, evaluate la circa 100 de miliarde de dolari. Conform unui articol al Wall Street Journal, Google a blocat toate tentativele de lansare sau integrare a chatbotului Meena în produsele proprii, menționează autorul.
Lentoarea în adoptarea noilor tehnologii de către Google poate fi interpretată în mai multe moduri, conform Parmy Olson, care explică faptul că transformerul permite generarea de răspunsuri complexe și coerente. Utilizarea frecventă a acestei tehnologii ar putea reduce din dependența utilizatorilor față de motorul de căutare Google.
*ZYX Books face parte din același grup media ca și Hotnews.