Vandaag heeft NVIDIA de samenwerking met OpenAI aangekondigd om de nieuwe gpt-oss familie van open modellen naar consumenten te brengen, waardoor state-of-the-art AI die ooit exclusief was voor cloud datacenters met ongelooflijke snelheid kan draaien op RTX-aangedreven pc’s en workstations.
De lancering luidt een nieuwe generatie snellere, slimmere on-device AI in, versterkt door de paardenkracht van GeForce RTX GPU’s en PRO GPU’s. Er zijn twee nieuwe varianten beschikbaar, ontworpen voor het hele ecosysteem:
- Het gpt-oss-20b-model is geoptimaliseerd voor topprestaties op NVIDIA RTX AI-pc’s met minstens 16GB VRAM en levert tot 250 tokens per seconde op een RTX 5090 GPU.
- Het grotere gpt-oss-120b-model wordt ondersteund op professionele workstations die worden versneld door NVIDIA RTX PRO GPU’s.
Deze modellen zijn getraind op NVIDIA H100 GPU’s en zijn de eerste modellen die MXFP4-precisie ondersteunen op NVIDIA RTX, een techniek die de kwaliteit en nauwkeurigheid van het model verhoogt zonder extra prestatiekosten in vergelijking met oudere methoden. Beide modellen ondersteunen tot 131.072 contextlengtes, een van de langste die beschikbaar zijn in lokale inferentie. Ze zijn gebouwd op een flexibele mixture-of-experts (MoE) architectuur, met chain-of-thought mogelijkheden en ondersteuning voor het volgen van instructies en het gebruik van hulpmiddelen.
De RTX AI Garage van deze week laat zien hoe AI-enthousiastelingen en -ontwikkelaars aan de slag kunnen met de nieuwe OpenAI-modellen op NVIDIA RTX GPU’s:
- Ollama-app: De eenvoudigste manier om deze modellen te testen is met de nieuwe Ollama-app. De gebruikersinterface bevat out-of-the-box ondersteuning voor de gpt-oss modellen, die volledig geoptimaliseerd is voor RTX GPU’s.
- Llama.cpp: NVIDIA werkt samen met de open-source community om de prestaties op RTX GPU’s te optimaliseren, met recente bijdragen waaronder CUDA Graphs om overhead te verminderen. Ontwikkelaars kunnen aan de slag op de Llama.cpp GitHub repository.
- Microsoft AI Foundry: Windows-ontwikkelaars hebben toegang tot de modellen via Microsoft AI Foundry Local (in publieke preview). Aan de slag gaan is zo simpel als het uitvoeren van de opdracht Foundry model run gpt-oss-20b in een terminal.
NVIDIA-oprichter en CEO Jensen Huang benadrukte het belang van deze lancering:
“OpenAI heeft de wereld laten zien wat er gebouwd kan worden op NVIDIA AI – en nu bevorderen ze innovatie in open-source software,” zegt Jensen Huang, oprichter en CEO van NVIDIA. “Met de gpt-oss-modellen kunnen ontwikkelaars overal ter wereld voortbouwen op dat state-of-the-art open-source fundament, waardoor het Amerikaanse technologische leiderschap op het gebied van AI wordt versterkt – en dat allemaal op ’s werelds grootste AI-computinginfrastructuur.”