Home Gadgets Sony introduceert intelligente vision sensor met AI-functionaliteit

Sony introduceert intelligente vision sensor met AI-functionaliteit

by Pim, Sel

Innovatieve sensoren bieden Edge AI-verwerking met hoge snelheid voor het bouwen van optimale cloudsystemen

Sony Corporation kondigt twee intelligente vision sensoren met AI (artificial intelligence) verwerkingsfunctionaliteit aan. Dataverwerking met kunstmatige intelligentie (AI) op de beeldsensor biedt hoge snelheden waarbij alleen noodzakelijke data wordt gebruikt. De gegevensoverdracht bij het gebruik van clouddiensten verloopt hierdoor sneller. Dit draagt bij aan optimaliseren van systemen die verbonden zijn met clouddiensten. Tevens is privacy beter gewaarborgd en nemen stroomverbruik en communicatiekosten af.

Deze nieuwe sensoren zijn tevens interessant om met AI-uitgeruste camera’s te ontwikkelen. Ze bieden een breed scala aan toepassingen voor retail- en industriële toepassingen.

De opkomst van IoT (Internet of Things) zorgt ervoor dat apparaten steeds meer met cloudsystemen worden verbonden. Daardoor neemt ook het aantal informatieverwerkingssystemen dat gebruik maakt van AI-verwerking toe. Deze stijgende datatransmissie zorgt voor allerlei uitdagingen. Zo wordt onder andere de realtime informatieverwerking vertraagd. Daarnaast zijn gebruikers wantrouwender wat betreft de veiligheid met betrekking tot het opslaan van persoonlijke data. Ten slotte stijgen stroomverbruik en communicatiekosten.

Deze nieuwe Sony sensoren zijn gestapeld (stacked) opgebouwd en bestaan uit een pixelchip en een logic chip. Het zijn de eerste beeldsensoren waarin de kunstmatige intelligentie voor beeldanalyse en beeldverwerking is geïntegreerd in de logic chip. Het signaal dat de pixelchip detecteert, wordt verwerkt door de AI op de sensor, zodat er geen krachtige processor of extern geheugen nodig is. Dit maakt de ontwikkeling van Edge AI-systemen mogelijk. In plaats van beeldinformatie verwerkt de sensor metagegevens (d.w.z. semantische informatie behorende bij de beeldgegevens). Dit vermindert het datavolume en biedt een betere gegevensbescherming.

Dankzij deze uitgebreide AI-capaciteiten zijn diverse toepassingen denkbaar, zoals het op hoge snelheid en realtime volgen van objecten. Tevens zijn AI-modellen te selecteren door het intern geheugen aan te passen op de specifieke toepassing van de locatie. Gebruikers kunnen ook andere AI-modellen kiezen door het interne geheugen te herschrijven naar de vereisten of voorwaarden van het gewenste systeem.

Belangrijkste kenmerken

De eerste beeldsensor met AI-functionaliteit

De pixelchip is back-illuminated en heeft 12,4 effectieve megapixels voor het vastleggen van informatie. De logic chip is uitgerust met Sony’s Digitale Signaalprocessor (DSP) voor AI-signaalverwerking en met een intern geheugen voor het AI-model. Dankzij deze configuratie zijn krachtige processors of een extern geheugen niet noodzakelijk.

https://res.cloudinary.com/mynewsdesk-cld/image/upload/t_limit_1000/zyi1rnyamsvpy0ayst7y.jpg

Output van metadata

De signalen die de pixelchip detecteert worden doorgegeven via een ISP (beeldsignaalprocessor). AI-verwerking vindt plaats op de logic chip en de geëxtraheerde informatie wordt uitgevoerd als metadata. Aangezien beeldinformatie niet extern wordt verwerkt is gegevensbescherming optimaal. Behalve het beeld dat door de conventionele beeldsensor wordt opgenomen, kunnen gebruikers een outputformat naar wens selecteren. Denk hierbij aan afbeeldingen in ISP-formaat (YUV/RGB) en specifieke ROI (Region of Interest)-selecties van de afbeeldingen.

https://res.cloudinary.com/mynewsdesk-cld/image/upload/t_limit_1000/g6qobpihb2jio23ggxtt.jpg

High-speed AI-verwerking

Bij het opnemen van video met een conventionele beeldsensor wordt de data doorgestuurd voor AI-verwerking. Dit leidt tot meer datatransmissie waardoor het lastig is om realtime prestaties te leveren. De nieuwe sensoren van Sony voeren ISP-verwerking en high-speed AI-verwerking (3,1 milliseconde verwerkingstijd voor MobileNet V12) uit op de logic chip en voltooien het hele proces in één frame. Dankzij dit ontwerp wordt het mogelijk om realtime en met hoge precisie objecten te volgen tijdens het opnemen van video.

https://res.cloudinary.com/mynewsdesk-cld/image/upload/t_limit_1000/mhbiva0lwwegq8bjp49s.jpg

Selectie AI-model

Gebruikers kunnen de AI-modellen naar wens in het geheugen programmeren afhankelijk van de omstandigheden op de locatie van het systeem. Dit kan bijvoorbeeld handig zijn wanneer meerdere camera’s op een winkellocatie worden geïnstalleerd. De gebruiker kan zo hetzelfde type camera voor meerdere toepassingen inzetten. Als de camera bij de ingang is geïnstalleerd, kan deze worden gebruikt om de klanten te tellen die de winkel binnenkomen. Bij installatie op een winkelschap, kan deze worden gebruikt om voorraadtekorten te herkennen. Is de camera aan het plafond gemonteerd, dan kan deze worden ingezet om warmtebeelden te maken (ter identificatie van gebieden waar veel bezoekers elkaar ontmoeten). Uiteraard kan het AI-model in een bepaalde camera opnieuw geprogrammeerd worden, van één die heatmaps opspoort naar één die consumentengedrag vaststelt, enz.

https://res.cloudinary.com/mynewsdesk-cld/image/upload/t_limit_1000/dgvw1caecs0w2lnkxnlj.jpg

Model nameSample shipment dateSample price (excluding tax)
IMX500 1/2.3-type (7.857 mm diagonal) approx. 12.3 effective megapixel intelligent vision sensor (bare chip product)April 202010,000 JPY
IMX501 1/2.3-type (7.857 mm diagonal) approx. 12.3 effective megapixel intelligent vision sensor (package product)June 2020 (planned)20,000 JPY
Model nameIMX500 (bare chip product)IMX501 (package product)
Number of effective pixels4056 (H) × 3040 (V), approx. 12.3 megapixels
Image sizeDiagonal 7.857 mm (1/2.3 type)
Unit cell size1.55 μm (H) × 1.55 μm (V)
Frame rateFull pixel60 fps
Video4K (4056 × 2288) 60 fps
1080p 240 fps
Full/video+AI processing30fps
Metadata output30fps
Sensitivity (F5.6 standard value)Approx. 250LSB
Sensor saturation signal level (minimum value)Approx. 9610e-
Power supplyAnalog2.7V
Digital0.84V
Interface1.8V
Main functionsAI processing function, ISP, HDR shooting
OutputMIPI D-PHY 1.2 (4 lane) / SPI
Color filter arrayBayer array
Output formatImage (Bayer RAW), ISP output (YUV/RGB), ROI, metadata
PackageIMX500: –IMX501: Ceramic LGA 12.5 mm (H) × 15.0 mm (V)

Related Posts

0 0 stemmen
Artikelbeoordeling
Abonneer
Laat het weten als er
0 Reacties
Inline feedbacks
Bekijk alle reacties
0
Zou graag je gedachten willen weten, laat een reactie achter.x