Concluzii

Ei bine, in ultima luna, am vazut de ce sunt capabile laptop-urile echipate cu diverse arome de RTX Spark, iar acum a venit momentul sa testam si solutia “serioasa”, dedicata dezvoltatorilor, care foloseste in esenta acelasi chip NVIDIA GB10. Si da, in primul rand trebuie sa va spun ca experienta in utilizare este complet diferita. RTX Spark este un produs gandit pentru consumer / prosumer, care poate fi utilizat in dezvoltare, dar are si rol de laptop normal pe care intreprindem orice alte activitati ne dorim.

La popul opus, DGX Spark, in cazul de fata GIGABYTE AI TOP ATOM, are un scop bine definit, la care de altfel exceleaza, mai precis dezvoltarea si implementarea de solutii AI locale. Fiecare aspect al acestui sistem este dezvoltat cu acest scop in minte, de la eficienta exceptionala fata de un GPU dedicat si pana la posibilitatea de a construi un cluster cu pana la 8 astfel de sisteme, gratie interfetei NVIDIA ConnectX-7, de la excelenta interfata NVIDIA Sync si pana la posibilitatea de a utiliza sistemul exclusiv remote, prin SSH.

Desigur, domeniul inteligentei artificiale aduce o serie noua de provocari, cea mai importanta fiind viteza cu care evolueaza. Astfel, o metodologie pusa la punct in urma cu 6 luni de zile astazi pur si simplu nu ar mai fi valabila. Din acest motiv, dar si datorita timpului limitat avut la dispozitie, nu am comparat RTX Spark si DGX Spark cu alte produse, cum ar fi RTX 5090, Strix Halo sau Gorgon Halo. Sincer sa fiu, asta este in plan pentru anul viitor.

Pana atunci insa, astazi discutam despre NVIDIA DGX Spark, in implementarea GIGABYTE AI TOP ATOM. Si nu suntem singuri in camera, elefantul fiind omniprezent langa noi – ma refer, evident, la pret. Nu la pretul solutiei per se, platforma DGX Spark avand un MSRP de 3999 USD in momentul lansarii, ci la pretul pentru care un astfel de produs a ajuns sa fie comercializat in momentul de fata, datorita crizei memoriilor. Astfel, implementarea Founders Edition a ajuns sa coste ~51000 RON in momentul de fata, adica 9500 EURO, in timp ce GIGABYTE AI TOP ATOM este comercializat pentru 38699 RON, adica 7200 EURO.

Si stiu ca o sa sune ciudat, dar in contextul actual, GIGABYTE AI TOP ATOM chiar ofera un raport performanta pret excelent! De ce spun asta? Pai in primul rand, trebui sa intelegem contextul… Astfel, in momentul de fata RTX 5090 costa aproximativ 10000 EURO in magazinele din tara noastra, o solutie Gorgon Halo echipata cu 192GB RAM si SSD de 4TB costa 7100 EURO (fara TVA), in timp ce o solutie Strix Halo echipata cu 128GB memorie RAM si 2TB SSD costa aproximativ 4700 EURO.

Desigur, acestea sunt solutii locale accesibile, pentru ca la nivel industrial putem discuta despre NVIDIA H200, GB200 sau GB300… dar nu vreti sa stiti cat costa un astfel de sistem. Noi discutam despre solutii accesibile unui laborator universitar sau unei firme care are nevoie de o solutie scalabila pentru AI local. Iar aici, lucrurile sunt cat se poate de simple. Atata timp cat modelele utilizate incap in 32GB de memorie, un RTX 5090 ofera o latime de banda de ~1792 GB/s, in timp ce GIGABYTE AI TOP ATOM ofera o latime de banda de ~273 GB/s.

Cu alte cuvinte, un RTX 5090 poate fi de pana la 6.5 ori mai rapid decat un DGX Spark. Totusi, discutam despre cazuri extrem de specializate, deoarece majoritatea modelelor cu precizie ridicata au nevoie de o cantitate semnificativ mai ridicata de memorie. Iar aici ATOM-ul straluceste cu adevarat, deoarece permite incarcarea de modele dense cu pana la 70 de miliarde parametri, modele MoE cu pana la 120 de miliarde parametri, sau chiar a modelelor FP4 cu pana la 200 de miliarde de parametri. Iar aici nu mai este vorba de viteza – pur si simplu RTX 5090 nu poate incarca astfel de modele in memorie.

Daca ne raportam la platforme AMD, NVIDIA au avantajul ecosistemului nativ NVIDIA CUDA, TensorRT-LLM si vLLM. De asemenea, nucleele Tensor Blackwell ofera o viteza de prefill net superioara concurentei. Desigur, Strix Halo si Gorgon Halo utilizeaza ecosistemul ROCm / Vulkan si llama.cpp, care este bine optimizat pentru rularea locala a modelelor masive, insa ofera o viteza de prefill in sarcini paralele multi-user inferioara solutiilor NVIDIA.

Cu un suport software de invidiat, atat de la NVIDIA, cat si de la GIGABYTE, de la back-end si pana la utilitare sau playbook-uri optimizate special pentru DGX Spark, GIGABYTE AI TOP ATOM ofera compatibilitate nativa CUDA, procesare rapida pentru documente si prompt-uri de mari dimensiuni, posibilitatea de a folosi in paralel multiple sesiuni de agenti si nu in ultimul rand, posibilitatea de a adauga inca o unitate (maxim 7) in cluster, pentru a creste semnificativ atat viteza de procesare, cat si capacitatea memoriei unificate.

Cu alte cuvinte, aceasta cutiuta cu un volum de 1.14L si o greutate de 1.2Kg este in momentul de fata Sfantul Graal al implementarilor AI la nivel local. Indiferent daca discutam despre programare, cercetare in domeniul inteligentei artificiale, cercetare in domeniul biotehnologiei, contabilitate sau drept, GIGABYTE AI TOP ATOM este o solutie puternica si echilibrata, care ofera un raport pret / performata / consum excelent, chiar si in contextul actual, in care memoria RAM este mai valoroasa decat multe metale pretioase.