593 
Creativiteit van content creators stimuleren: Virtual production met Crystal LED- en bioscoopcamera’s
Virtual production is een term voor nieuwe videoproductietechnologie die live-action video en computergraphics (CG) realtime verenigt. In-Camera VFX is een vorm van virtual production waarbij het 3DCG-beeld dat gekoppeld is aan de beweging van de camera als achtergrond wordt geprojecteerd op een LED-display. Dit display is in de studio achter de acteur of artiest geïnstalleerd. Deze innovatie maakt het voor de content creators eenvoudiger om de CG-compositie vorm te geven zonder gebruik te hoeven maken van een green-screen. Er zijn geen beperkingen zoals weer, tijd en plaats. Crystal LED is een LED-display dat Sony’s BRAVIA beeld- en singaalverwerkingstechnologie combineert. Dit biedt een hoge resolutie, helderheid en brede kijkhoek. De digitale bioscoopcamera “VENICE 2” is uitgerust met de 8,6K-beeldsensor. Deze produceert een hoge resolutie en een breed kleurengamma voor meer expressie van de beelden. Deze camera is instaat om rijke gradaties weer te geven onder complexe helderheidsomstandigheden. De combinatie van deze in-house Sony displays en Sony camera’s biedt veel voordelen als het gaat om kleurweergave en toonexpressie. De content creator kan zich concentreren op de productie zonder beperkingen van de apparatuur. Sony Group zal blijven luisteren en samenwerken met content creators binnen en buiten de organisatie. De Sony technici zijn nauw betrokken bij filmopnames en volgen actief de ontwikkeling van virtuele producties ter bevordering van een efficiënte en effectieve workflow voor de makers.
Visualisatie van sportprestaties: EPTS en data-visualisatietechnologie
Tijdens Sony Technology Day werd tevens SkeleTRACK toegelicht. Dit Electronic Performance Tracking Systeem (EPTS) van Sony Group Hawk-Eye Innovations Ltd volgt exact de bewegingen van de spelers en bal tijdens (voetbal)wedstrijden. De speciale volgcamera’s verzamelen realtime de bewegingen en zetten deze op de millimeter nauwkeurig om tot een virtuele weergave (skeleton-data) van de prestaties op het speelveld. De gegevensvisualisatietechnologie wordt ook gebruikt om data van EPTS en videobeoordelingssystemen te gebruiken en hiermee virtuele output te creëren. De beeldverwerking en AI-herkenningstechnologieën van Hawk-Eye samen met Sony’s broadcast- en beeldsensortechnologie wordt gebruikt om virtuele data te produceren. Het gaat om volledige wedstrijden, inclusief details over de houding en posities van de spelers. In de toekomst willen de Sony Group en Hawk-Eye deze technologie beschikbaar maken voor diverse entertainmentbedrijven.
Entertainment met puur realisme: OLED Microdisplay en low-latency head-mounted display
Dit is een virtual reality (VR) head-mounted display (HMD) dat een high-definition 3D projectie produceert. Dit met een hoge 4K-resolutie met één oog en 8K voor beide ogen. De hoge beeldkwaliteit wordt mogelijk gemaakt door multi-pixel en miniaturisatie. Dit met behulp van zeer nauwkeurige signaalverwerking en “packaging technology”. De verwerkingstijd en latency van het VR systeem kon worden vermindert door meerdere sensoren te gebruiken. Deze innovatie kwam tot stand dankzij de vernieuwde CMOS-beeldsensoren en Organic Light Emitting Diode (OLED) microdisplays. De persoon die in VR-bril kijkt ziet realtime high-definition beelden die de beweging van zijn of haar hoofd automatisch volgen. Dit OLED-microdisplay zal naar verwachting worden ingezet voor industriële toepassingen en voor entertainmentdoeleinden. Dit display volgt nauwkeurig de bewegingen van het hoofd en geeft de textuur van materialen en menselijke uitdrukkingen realtime weer in high-definition.
Hoge resoluties en efficiëntere workflow: Superresolutietechnologie bij raytracing
Deze technologie maakt gebruik van de imaging machine learning kennis die is ontwikkeld door Sony sinds de jaren 1990. Raytracing garandeert een hoge beeldresolutie met hoge precisie vanuit verschillende perspectieven zonder inzet van krachtige computerbronnen. Dit biedt voordelen voor de productie van 3D-content. Ondanks de grote hoeveelheid data is het mogelijk om de productietijd aanzienlijk te verkorten en het aantal “rays” te verminderen. Het renderen van de 3D-content verloopt efficiënter voor de 3D-figuren, de textuur en belichting. Deze technologie is ontwikkelt in samenwerking met Sony Pictures Entertainment met als doel de mogelijkheden van 2D naar 3D uit te breiden en nieuwe toepassingen voor de entertainmentindustrie te creëren.
Overweldigend realisme in gaming: Drie technologieën gebruikt in de PlayStation 5
Tijdens Sony Technology Day werden drie technologieën van de PlayStation 5 toegelicht. Dit zijn “Tempest 3D audio”, “haptic feedback” en “adaptive triggers”. Tempest 3D-audio is ontworpen met DSP (Digital Single Processor) en biedt een nauwkeurige audiopositionering. Het geluid is 360 graden rondom de luisteraar te horen en voelt als in een bol met talloze luidsprekers. “Haptic feedback” zorgt voor een realistische game-ervaring door de vibratie van de nieuw ontwikkelde dubbele actuator. Deze actuator verandert automatisch en past zich aan binnen de specifieke situatie in de game. Dit zorgt voor een meeslepende game-ervaring. De “adaptive triggers” op de L2/R2-knoppen van de DualSense controller bieden een krachtige realtime gaming sensatie. Dit zeer nauwkeurig dankzij de ingebouwde motor. Sony Interactive Entertainment zal deze technologieën blijven ontwikkelen met als doel: “The Best Place to Play to everyone”.
Nauwkeurige detectie van lichtdeeltjes: Stacked SPAD-dieptesensor voor LiDAR automotive
Sony introduceerde ook sensoren die de afstand tot omringende objecten met hoge nauwkeurigheid kunnen detecteren. Dit door lage niveaus van lichtenergie vast te leggen. De sensoren bestaan uit drie elementen. Allereerst SPAD-pixels (Single Photon Avalanche Diode) die licht opvangen en omzetten in elektrische signalen. Daarnaast uit Cu-Cu-verbindingen die die signalen verzenden. En ten slotte de logic chips die uitgerust zijn met de circuits die afstandsmetingen uit het signaal afleiden. Door gebruik te maken van knowhow van Sony’s CMOS-beeldsensoren kan de SPAD-dieptesensor snelle en nauwkeurige afstandsmetingen doen met een enkele compacte chip. De Sony Group wil met deze detectie- en herkenningstechnologie velligere mobiliteit ondersteunen en bijdrage aan de ontwikkeling van LiDAR voor auto’s.
Nabootsen van de menselijke hand – Manipulator
De Manipulator technologie van Sony stelt robots in staat om objecten zorgvuldig vast te pakken. Dit door middel van zeer nauwkeurige en realtime detectie van het object. Tekenen van wegglijden van het object worden op basis van veranderingen in de drukverdeling van de vingertoppen automatisch gedetecteerd. Het systeem past vervolgens automatisch de handbeweging aan. Met deze technologie kunnen robothanden een object vastpakken zonder het te laten vallen. Dit door het object met de juist kracht vast te pakken en de beweging hierop aan te passen. Bovendien kan de robot het object in de juiste positie en houding vastpakken, aangezien de afstandssensor de afstand van de vingers tot het object detecteert. De manipulator volgt objecten net zo verfijnd als de menselijke hand. De technologie kan worden gebruikt indien conventionele industriële robots niet inzetbaar zijn. Sony combineert AI en geavanceerde detectietechnologie met robots en zal de mogelijkheden van de manipulator uitbreiden. Dit met als doel robottechnologieën te blijven ontwikkelen die het leven van mensen verrijken.
Waakzaam over de planeet aarde – MIMAMORI-platform
Het MIMAMORI platform kan overal op aarde afwijkingen, zoals milieuproblemen en rampen detecteren en helpen te voorkomen. Na installatie van dit systeem kunnen lokale autoriteiten en overheden vooraf worden geïnformeerd over mogelijke afwijkingen. Het systeem spoort aan om direct te handelen met duurzaamheid in het achterhoofd. MIMAMORI bestaat uit een aantal technologieën van de Sony Group. Allereerst speciale bodemvochtsensoren die het vochtgehalte kunnen meten. Daarnaast een satellietcommunicatiesysteem genaamd ELTRESTM dat gebruik maakt van LPWA (Low Power Wide Area) draadloze communicatietechnologie. En tevens geavanceerde AI technologie met voorspellende data-analyse. Door middel van veldwerk en demonstraties wil Sony het functioneren van het MIMAMORI-platform aantonen om zo bij te dragen aan een duurzamere toekomst.
Sony Group Corporation heeft onder het thema “Technology that inspires emotion” een achttal technologieën aangekondigd. Sony is een creatief entertainmentbedrijf met technologie als basis en met als doel de wereld te vullen met emotie, door de kracht van creativiteit en technologie.
Tijdens de virtuele Sony Technology Day in Tokyo sprak Toru Katsumoto, Executive Deputy President en CTO van Sony Group Corporation: “Ik neem graag het voortouw bij het verenigen van de diverse Sony dochterbedrijven van de Sony Group die onze producten, content, en diensten met elkaar verbinden”. Een beknopt overzicht van de technologische innovaties is hieronder terug te lezen. Bekijk tevens de bijbehorende video’s voor meer achtergrondinformatie.
Creativiteit van content creators stimuleren: Virtual production met Crystal LED- en bioscoopcamera’s
Virtual production is een term voor nieuwe videoproductietechnologie die live-action video en computergraphics (CG) realtime verenigt. In-Camera VFX is een vorm van virtual production waarbij het 3DCG-beeld dat gekoppeld is aan de beweging van de camera als achtergrond wordt geprojecteerd op een LED-display. Dit display is in de studio achter de acteur of artiest geïnstalleerd. Deze innovatie maakt het voor de content creators eenvoudiger om de CG-compositie vorm te geven zonder gebruik te hoeven maken van een green-screen. Er zijn geen beperkingen zoals weer, tijd en plaats. Crystal LED is een LED-display dat Sony’s BRAVIA beeld- en singaalverwerkingstechnologie combineert. Dit biedt een hoge resolutie, helderheid en brede kijkhoek. De digitale bioscoopcamera “VENICE 2” is uitgerust met de 8,6K-beeldsensor. Deze produceert een hoge resolutie en een breed kleurengamma voor meer expressie van de beelden. Deze camera is instaat om rijke gradaties weer te geven onder complexe helderheidsomstandigheden. De combinatie van deze in-house Sony displays en Sony camera’s biedt veel voordelen als het gaat om kleurweergave en toonexpressie. De content creator kan zich concentreren op de productie zonder beperkingen van de apparatuur. Sony Group zal blijven luisteren en samenwerken met content creators binnen en buiten de organisatie. De Sony technici zijn nauw betrokken bij filmopnames en volgen actief de ontwikkeling van virtuele producties ter bevordering van een efficiënte en effectieve workflow voor de makers.
Visualisatie van sportprestaties: EPTS en data-visualisatietechnologie
Tijdens Sony Technology Day werd tevens SkeleTRACK toegelicht. Dit Electronic Performance Tracking Systeem (EPTS) van Sony Group Hawk-Eye Innovations Ltd volgt exact de bewegingen van de spelers en bal tijdens (voetbal)wedstrijden. De speciale volgcamera’s verzamelen realtime de bewegingen en zetten deze op de millimeter nauwkeurig om tot een virtuele weergave (skeleton-data) van de prestaties op het speelveld. De gegevensvisualisatietechnologie wordt ook gebruikt om data van EPTS en videobeoordelingssystemen te gebruiken en hiermee virtuele output te creëren. De beeldverwerking en AI-herkenningstechnologieën van Hawk-Eye samen met Sony’s broadcast- en beeldsensortechnologie wordt gebruikt om virtuele data te produceren. Het gaat om volledige wedstrijden, inclusief details over de houding en posities van de spelers. In de toekomst willen de Sony Group en Hawk-Eye deze technologie beschikbaar maken voor diverse entertainmentbedrijven.
Entertainment met puur realisme: OLED Microdisplay en low-latency head-mounted display
Dit is een virtual reality (VR) head-mounted display (HMD) dat een high-definition 3D projectie produceert. Dit met een hoge 4K-resolutie met één oog en 8K voor beide ogen. De hoge beeldkwaliteit wordt mogelijk gemaakt door multi-pixel en miniaturisatie. Dit met behulp van zeer nauwkeurige signaalverwerking en “packaging technology”. De verwerkingstijd en latency van het VR systeem kon worden vermindert door meerdere sensoren te gebruiken. Deze innovatie kwam tot stand dankzij de vernieuwde CMOS-beeldsensoren en Organic Light Emitting Diode (OLED) microdisplays. De persoon die in VR-bril kijkt ziet realtime high-definition beelden die de beweging van zijn of haar hoofd automatisch volgen. Dit OLED-microdisplay zal naar verwachting worden ingezet voor industriële toepassingen en voor entertainmentdoeleinden. Dit display volgt nauwkeurig de bewegingen van het hoofd en geeft de textuur van materialen en menselijke uitdrukkingen realtime weer in high-definition.
Hoge resoluties en efficiëntere workflow: Superresolutietechnologie bij raytracing
Deze technologie maakt gebruik van de imaging machine learning kennis die is ontwikkeld door Sony sinds de jaren 1990. Raytracing garandeert een hoge beeldresolutie met hoge precisie vanuit verschillende perspectieven zonder inzet van krachtige computerbronnen. Dit biedt voordelen voor de productie van 3D-content. Ondanks de grote hoeveelheid data is het mogelijk om de productietijd aanzienlijk te verkorten en het aantal “rays” te verminderen. Het renderen van de 3D-content verloopt efficiënter voor de 3D-figuren, de textuur en belichting. Deze technologie is ontwikkelt in samenwerking met Sony Pictures Entertainment met als doel de mogelijkheden van 2D naar 3D uit te breiden en nieuwe toepassingen voor de entertainmentindustrie te creëren.
Overweldigend realisme in gaming: Drie technologieën gebruikt in de PlayStation 5
Tijdens Sony Technology Day werden drie technologieën van de PlayStation 5 toegelicht. Dit zijn “Tempest 3D audio”, “haptic feedback” en “adaptive triggers”. Tempest 3D-audio is ontworpen met DSP (Digital Single Processor) en biedt een nauwkeurige audiopositionering. Het geluid is 360 graden rondom de luisteraar te horen en voelt als in een bol met talloze luidsprekers. “Haptic feedback” zorgt voor een realistische game-ervaring door de vibratie van de nieuw ontwikkelde dubbele actuator. Deze actuator verandert automatisch en past zich aan binnen de specifieke situatie in de game. Dit zorgt voor een meeslepende game-ervaring. De “adaptive triggers” op de L2/R2-knoppen van de DualSense controller bieden een krachtige realtime gaming sensatie. Dit zeer nauwkeurig dankzij de ingebouwde motor. Sony Interactive Entertainment zal deze technologieën blijven ontwikkelen met als doel: “The Best Place to Play to everyone”.
Nauwkeurige detectie van lichtdeeltjes: Stacked SPAD-dieptesensor voor LiDAR automotive
Sony introduceerde ook sensoren die de afstand tot omringende objecten met hoge nauwkeurigheid kunnen detecteren. Dit door lage niveaus van lichtenergie vast te leggen. De sensoren bestaan uit drie elementen. Allereerst SPAD-pixels (Single Photon Avalanche Diode) die licht opvangen en omzetten in elektrische signalen. Daarnaast uit Cu-Cu-verbindingen die die signalen verzenden. En ten slotte de logic chips die uitgerust zijn met de circuits die afstandsmetingen uit het signaal afleiden. Door gebruik te maken van knowhow van Sony’s CMOS-beeldsensoren kan de SPAD-dieptesensor snelle en nauwkeurige afstandsmetingen doen met een enkele compacte chip. De Sony Group wil met deze detectie- en herkenningstechnologie velligere mobiliteit ondersteunen en bijdrage aan de ontwikkeling van LiDAR voor auto’s.
Nabootsen van de menselijke hand – Manipulator
De Manipulator technologie van Sony stelt robots in staat om objecten zorgvuldig vast te pakken. Dit door middel van zeer nauwkeurige en realtime detectie van het object. Tekenen van wegglijden van het object worden op basis van veranderingen in de drukverdeling van de vingertoppen automatisch gedetecteerd. Het systeem past vervolgens automatisch de handbeweging aan. Met deze technologie kunnen robothanden een object vastpakken zonder het te laten vallen. Dit door het object met de juist kracht vast te pakken en de beweging hierop aan te passen. Bovendien kan de robot het object in de juiste positie en houding vastpakken, aangezien de afstandssensor de afstand van de vingers tot het object detecteert. De manipulator volgt objecten net zo verfijnd als de menselijke hand. De technologie kan worden gebruikt indien conventionele industriële robots niet inzetbaar zijn. Sony combineert AI en geavanceerde detectietechnologie met robots en zal de mogelijkheden van de manipulator uitbreiden. Dit met als doel robottechnologieën te blijven ontwikkelen die het leven van mensen verrijken.
Waakzaam over de planeet aarde – MIMAMORI-platform
Het MIMAMORI platform kan overal op aarde afwijkingen, zoals milieuproblemen en rampen detecteren en helpen te voorkomen. Na installatie van dit systeem kunnen lokale autoriteiten en overheden vooraf worden geïnformeerd over mogelijke afwijkingen. Het systeem spoort aan om direct te handelen met duurzaamheid in het achterhoofd. MIMAMORI bestaat uit een aantal technologieën van de Sony Group. Allereerst speciale bodemvochtsensoren die het vochtgehalte kunnen meten. Daarnaast een satellietcommunicatiesysteem genaamd ELTRESTM dat gebruik maakt van LPWA (Low Power Wide Area) draadloze communicatietechnologie. En tevens geavanceerde AI technologie met voorspellende data-analyse. Door middel van veldwerk en demonstraties wil Sony het functioneren van het MIMAMORI-platform aantonen om zo bij te dragen aan een duurzamere toekomst.
