NVIDIA brengt generatieve AI naar miljoenen, met Tensor Core GPU’s, LLM’s, tools voor RTX-pc’s en workstations

NVIDIA kondigde vandaag GeForce RTX SUPER desktop GPU’s aan voor supercharged generatieve AI-prestaties, nieuwe AI-laptops van elke topfabrikant en nieuwe NVIDIA RTX-versnelde AI-software en -tools voor zowel ontwikkelaars als consumenten.

NVIDIA bouwt voort op tientallen jaren leiderschap op het gebied van pc’s, met meer dan 100 miljoen RTX GPU’s die het AI-pc-tijdperk inluiden, en biedt nu deze tools om pc-ervaringen te verbeteren met generatieve AI: NVIDIA TensorRT-versnelling van het populaire Stable Diffusion XL-model voor tekst-naar-beeld-workflows, NVIDIA RTX Remix met generatieve AI-texturetools, NVIDIA ACE microservices en meer games die DLSS 3-technologie gebruiken met Frame Generation.
 
Daarnaast ondersteunt NVIDIA TensorRT-LLM (TRT-LLM), een open-source bibliotheek die de inferentieprestaties van de nieuwste grote taalmodellen (LLM’s) versnelt en optimaliseert, nu meer vooraf geoptimaliseerde modellen voor pc’s. Versneld door TRT-LLM, Chat with RTX, een NVIDIA technologiedemo die deze maand uitkomt, AI-enthousiastelingen interactie met hun notities, documenten en andere inhoud.
 
“Generatieve AI is de belangrijkste platformtransitie in de geschiedenis van computers en zal elke industrie transformeren, inclusief gaming”, zegt Jensen Huang, oprichter en CEO van NVIDIA. “Met meer dan 100 miljoen RTX AI pc’s en workstations is NVIDIA een enorme install base voor ontwikkelaars en gamers om te genieten van de magie van generatieve AI.”
 
Generatieve AI lokaal op een pc uitvoeren is essentieel voor privacy-, latency- en kostengevoelige toepassingen. Hiervoor is een groot aantal AI-ready systemen nodig, evenals de juiste ontwikkelaarstools om AI-modellen af te stemmen en te optimaliseren voor het pc-platform.
 
Om aan deze behoeften te voldoen, levert NVIDIA innovaties over de volledige technologiestapel, waarbij nieuwe ervaringen worden aangestuurd en wordt voortgebouwd op de meer dan 500 AI-gebaseerde pc-toepassingen en games die al worden versneld door NVIDIA RTX-technologie.

RTX AI pc’s en workstations

NVIDIA RTX GPU’s – die een breed scala aan toepassingen kunnen uitvoeren met de hoogste prestaties – ontsluiten het volledige potentieel van generatieve AI op pc’s. Tensor Cores in deze GPU’s versnellen AI-prestaties aanzienlijk in de meest veeleisende toepassingen voor werk en ontspanning.

De nieuwe GeForce RTX 40 SUPER-serie grafische kaarten, ook vandaag aangekondigd op CES, omvatten de GeForce RTX 4080 SUPER, 4070 Ti SUPER en 4070 SUPER voor topprestaties op het gebied van AI. De GeForce RTX 4080 SUPER genereert AI-video 1,5x sneller – en afbeeldingen 1,7x sneller – dan de GeForce RTX 3080 Ti GPU. De Tensor Cores in de SUPER GPU’s leveren tot 836 biljoen bewerkingen per seconde, wat zorgt voor transformerende AI-mogelijkheden voor gaming, creatie en dagelijkse productiviteit.

Toonaangevende fabrikanten – waaronder Acer, ASUS, Dell, HP, Lenovo, MSI, Razer en Samsung – brengen een nieuwe reeks RTX AI laptops uit, die gebruikers direct uit de doos een volledige set generatieve AI mogelijkheden voor gebruikers. De nieuwe systemen, die een prestatietoename van 20x-60x opleveren in vergelijking met het gebruik van neurale verwerkingseenheden, worden vanaf deze maand geleverd.

Mobiele workstations met RTX GPU’s kunnen NVIDIA AI Enterprise-software uitvoeren, waaronder TensorRT en NVIDIA RAPIDS voor vereenvoudigde, veilige generatieve AI- en data science-ontwikkeling. Een driejarige licentie voor NVIDIA AI Enterprise is inbegrepen bij elke NVIDIA A800 40GB Active GPU, en biedt een ideaal ontwikkelplatform voor workstations voor AI en data science.

Nieuwe pc-ontwikkelaarstools voor het bouwen van AI-modellen

Om ontwikkelaars te helpen bij het snel maken, testen en aanpassen van voorgetrainde generatieve AI-modellen en LLM’s met pc-klasse prestaties en geheugenvoetafdruk, heeft NVIDIA onlangs NVIDIA AI Workbench aangekondigd, een uniforme, eenvoudig te gebruiken toolkit.

AI Workbench, dat later deze maand in bèta wordt uitgebracht, biedt gestroomlijnde toegang tot populaire repositories zoals Hugging Face, GitHub en NVIDIA NGC, samen met een vereenvoudigde gebruikersinterface waarmee ontwikkelaars eenvoudig projecten kunnen reproduceren, eraan kunnen werken en ze kunnen migreren.

Projecten kunnen worden opgeschaald naar vrijwel elke locatie – het datacenter, een publieke cloud of NVIDIA DGX Cloud – en vervolgens worden teruggebracht naar lokale RTX-systemen op een pc of workstation voor inferentie en lichte aanpassingen.

In samenwerking met HP vereenvoudigt NVIDIA ook de ontwikkeling van AI-modellen door NVIDIA AI Foundation Models en Endpoints, waaronder RTX-versnelde AI-modellen en software development kits, te integreren in HP AI Studio, een gecentraliseerd platform voor data science. Hierdoor kunnen gebruikers eenvoudig geoptimaliseerde modellen zoeken, importeren en implementeren op pc’s en in de cloud. Na het bouwen van AI-modellen voor pc-gebruikscases kunnen ontwikkelaars ze optimaliseren met NVIDIA TensorRT om optimaal te profiteren van de Tensor Cores van RTX GPU’s.

NVIDIA heeft onlangs TensorRT uitgebreid naar tekstgebaseerde toepassingen met TensorRT-LLM voor Windows, een open-source bibliotheek voor het versnellen van LLM’s. De laatste update van TensorRT-LLM is nu beschikbaar en voegt Phi-2 toe aan de groeiende lijst van vooraf geoptimaliseerde modellen voor pc, die tot 5x sneller werken in vergelijking met andere inferentie-backends.