NVIDIA vereenvoudigt implementatie van AI-gestuurde MetaHuman met nieuwe ACE-plugins en microservices

Unreal Fest Seattle 2024 begint vandaag, en NVIDIA heeft de release aangekondigd van nieuwe on-device plugins voor NVIDIA ACE in Unreal Engine 5, die het maken en inzetten van AI-aangedreven MetaHuman personages op Windows pc’s stroomlijnen. Hieronder de belangrijkste highlights.

Nieuwe Unreal Engine 5 ACE-plugins:

• Audio2Face-3D-plugin: maakt AI-gestuurde lipsynchronisatie en gezichtsanimatie direct binnen Unreal Engine 5 mogelijk.
• Nemotron-Mini 4B Instruct-plugin: biedt antwoordgeneratie voor interactieve karakterdialogen.
• Retrieval Augmented Generation (RAG) Plugin: levert contextuele informatie om personage-interacties te verbeteren.

Audio2Face-3D-plugin voor Autodesk Maya:

• Maakt hoogwaardige, audiogestuurde gezichtsanimaties mogelijk in Maya.
• Inclusief broncode voor aanpassing en integratie met andere tools voor het maken van digitale content.
• Stroomlijnt de workflow tussen Maya en Unreal Engine 5.

Unreal Engine 5 Renderer Microservice met Pixel Streaming:

• Maakt gebruik van Epic’s Unreal Pixel Streaming-technologie
• Ondersteunt nu de NVIDIA ACE Animation Graph microservice en Linux OS in early access.
• Hiermee kunnen ontwikkelaars natuurgetrouwe MetaHuman-personages streamen naar elk apparaat via Web Real-Time Communication (WebRTC).

Voordelen voor ontwikkelaars:

• Vereenvoudigt de integratie van AI-gestuurde digitale mensen in games en applicaties.
• Optimaliseert microservices voor lage latency en minimaal geheugengebruik op Windows pc’s.
• Verbetert de schaalbaarheid voor cloudgebaseerde inzet van digitale mensen.
• Biedt aanpasbare tools en broncode voor ontwikkelingsbehoeften op maat.

Ontwikkelaars kunnen vroegtijdige toegang aanvragen om de Unreal Engine 5 renderer microservice te downloaden met ondersteuning voor de Animation Graph microservice en Linux OS. De Maya ACE-plugin is beschikbaar om te downloaden op GitHub.