OpenAI a anunțat rezultate oficiale pentru jalapeño, un cip special dezvoltat pentru inferența modelelor de inteligență artificială. Acceleratorul, creat în colaborare cu Broadcom, are posibilitatea de a oferi între 1,5 și 1,9 ori mai multă performanță pentru fiecare kilowatt consumat în comparație cu sistemele Nvidia GB200 și GB300 în anumite teste.
Performanțe și teste pe modele AI
Rezultatele au fost prezentate la conferința Hot Chips, bazate pe suita publică InferenceX de la SemiAnalysis. Testele au vizat trei modele AI: GPT-OSS 120B, DeepSeek R1 670B și Kimi K2.5 de la Moonshot AI, care are aproximativ un trilion de parametri.
OpenAI susține că avantajul principal al cipului jalapeño este reducerea latenței. În scenarii cu valori scăzute de latență, cipul poate obține între 1,7 și 3,6 ori mai puțină latență end-to-end comparativ cu sistemele Nvidia GB200 și GB300.
Diferențele de performanță raportate cresc în anumite condiții. În unele cazuri, jalapeño atinge un avans de până la 104,3 ori în raport cu performanța raportată la consum, comparativ cu cele mai rapide setări ale sistemului GB300 pentru intervalul dintre tokeni.
Testele au evaluat consumul nominal, cipul jalapeño fiind alimentat cu 700 W, în timp ce acceleratorul GB300 folosit ca referință are un consum de 1.400 W. În timpul testelor, jalapeño a consumat efectiv maxim 550 W. Într-un scenariu care compară consumul total al sistemelor, jalapeño funcționează la aproximativ 1,18 kW pe accelerator, față de 2,55 kW pentru GB300.
Comparație cu soluțiile Nvidia și alte platforme
Rezultatele comunicate de OpenAI nu indică o depășire a tuturor tehnologiilor Nvidia. Testele nu au inclus platforma Vera Rubin, noua platformă Nvidia destinată pentru implementări de mari dimensiuni, cu o capacitate totală de 10 GW, planificată pentru a fi folosită începând din a doua jumătate a anului 2026.
De asemenea, jalapeño este proiectat pentru inferență, nu pentru antrenarea modelelor AI. Acceleratoarele Nvidia continuă să fie preferate pentru această etapă, fiind utilizate frecvent în centrele de date pentru antrenarea rețelelor.
Majoritatea comparațiilor au vizat configurații GB200 și GB300 utilizate pentru predicția unui singur token. Tehnicile Nvidia pentru predicția multi-token, folosite în centrele de date, pot influența rezultatele legate de eficiență, dar nu au fost incluse în aceste teste.
SemiAnalysis a declarat că, deși a realizat testele împreună cu inginerii OpenAI în laborator, rezultatele pentru jalapeño sunt favorabile. Cipul a depășit toate celelalte cipuri Nvidia, AMD și Google testate în aceleași condiții, conform organizației.
Memoria HBM4 și arhitectura cipului
Jalapeño integrează șase stive HBM4, totalizând 216 GB de memorie, cu o lățime de bandă de 15,4 TB/s. În comparație, GB300 are 288 GB de memorie HBM3E, cu un consum nominal de 1.400 W.
Deși capacitatea totală de memorie a jalapeño este mai mică, raportul între memorie și consum de energie favorizează cipul OpenAI. Arhitectura a fost optimizată pentru utilizarea eficientă a întregii lățimi de bandă a memoriei HBM4, nu doar pentru adăugarea de memorie suplimentară.
Producătorii de cipuri precum Samsung, SK hynix și Micron au deja o mare parte din capacitatea de producție pentru HBM4 rezervată pentru următorii ani. Extinderea jalapeño în centrele de date poate duce la o competiție directă cu Nvidia pentru aprovizionarea cu memorie HBM4.
Planuri de dezvoltare și viitor
Jalapeño reprezintă începutul strategiei OpenAI de dezvoltare a hardware-ului propriu pentru inteligența artificială. Primul cip a trecut de etapa RTL și a ajuns în perioada de tapeout în aproximativ nouă luni. Compania lucrează deja la o a doua generație, a cărei etapă de tapeout este aproape, și intenționează să dezvolte și o a treia generație de cipuri.
Rezultatele prezentate indică un avans tehnologic pentru OpenAI în domeniul hardware-ului dedicat pentru inferență, iar planurile de extindere și cercetare continuă.
