Unreal Fest Seattle 2024 begint vandaag, en NVIDIA heeft de release aangekondigd van nieuwe on-device plugins voor NVIDIA ACE in Unreal Engine 5, die het maken en inzetten van AI-aangedreven MetaHuman personages op Windows pc’s stroomlijnen. Hieronder de belangrijkste highlights.
Nieuwe Unreal Engine 5 ACE-plugins:
- Audio2Face-3D-plugin: maakt AI-gestuurde lipsynchronisatie en gezichtsanimatie direct binnen Unreal Engine 5 mogelijk.
- Nemotron-Mini 4B Instruct-plugin: biedt antwoordgeneratie voor interactieve karakterdialogen.
- Retrieval Augmented Generation (RAG) Plugin: levert contextuele informatie om personage-interacties te verbeteren.
Audio2Face-3D-plugin voor Autodesk Maya:
- Maakt hoogwaardige, audiogestuurde gezichtsanimaties mogelijk in Maya.
- Inclusief broncode voor aanpassing en integratie met andere tools voor het maken van digitale content.
- Stroomlijnt de workflow tussen Maya en Unreal Engine 5.
Unreal Engine 5 Renderer Microservice met Pixel Streaming:
- Maakt gebruik van Epic’s Unreal Pixel Streaming-technologie
- Ondersteunt nu de NVIDIA ACE Animation Graph microservice en Linux OS in early access.
- Hiermee kunnen ontwikkelaars natuurgetrouwe MetaHuman-personages streamen naar elk apparaat via Web Real-Time Communication (WebRTC).
Voordelen voor ontwikkelaars:
- Vereenvoudigt de integratie van AI-gestuurde digitale mensen in games en applicaties.
- Optimaliseert microservices voor lage latency en minimaal geheugengebruik op Windows pc’s.
- Verbetert de schaalbaarheid voor cloudgebaseerde inzet van digitale mensen.
- Biedt aanpasbare tools en broncode voor ontwikkelingsbehoeften op maat.
Ontwikkelaars kunnen vroegtijdige toegang aanvragen om de Unreal Engine 5 renderer microservice te downloaden met ondersteuning voor de Animation Graph microservice en Linux OS. De Maya ACE-plugin is beschikbaar om te downloaden op GitHub.