Innovatieve sensoren bieden Edge AI-verwerking met hoge snelheid voor het bouwen van optimale cloudsystemen
Sony Corporation kondigt twee intelligente vision sensoren met AI (artificial intelligence) verwerkingsfunctionaliteit aan. Dataverwerking met kunstmatige intelligentie (AI) op de beeldsensor biedt hoge snelheden waarbij alleen noodzakelijke data wordt gebruikt. De gegevensoverdracht bij het gebruik van clouddiensten verloopt hierdoor sneller. Dit draagt bij aan optimaliseren van systemen die verbonden zijn met clouddiensten. Tevens is privacy beter gewaarborgd en nemen stroomverbruik en communicatiekosten af.
Deze nieuwe sensoren zijn tevens interessant om met AI-uitgeruste camera’s te ontwikkelen. Ze bieden een breed scala aan toepassingen voor retail- en industriële toepassingen.
De opkomst van IoT (Internet of Things) zorgt ervoor dat apparaten steeds meer met cloudsystemen worden verbonden. Daardoor neemt ook het aantal informatieverwerkingssystemen dat gebruik maakt van AI-verwerking toe. Deze stijgende datatransmissie zorgt voor allerlei uitdagingen. Zo wordt onder andere de realtime informatieverwerking vertraagd. Daarnaast zijn gebruikers wantrouwender wat betreft de veiligheid met betrekking tot het opslaan van persoonlijke data. Ten slotte stijgen stroomverbruik en communicatiekosten.
Deze nieuwe Sony sensoren zijn gestapeld (stacked) opgebouwd en bestaan uit een pixelchip en een logic chip. Het zijn de eerste beeldsensoren waarin de kunstmatige intelligentie voor beeldanalyse en beeldverwerking is geïntegreerd in de logic chip. Het signaal dat de pixelchip detecteert, wordt verwerkt door de AI op de sensor, zodat er geen krachtige processor of extern geheugen nodig is. Dit maakt de ontwikkeling van Edge AI-systemen mogelijk. In plaats van beeldinformatie verwerkt de sensor metagegevens (d.w.z. semantische informatie behorende bij de beeldgegevens). Dit vermindert het datavolume en biedt een betere gegevensbescherming.
Dankzij deze uitgebreide AI-capaciteiten zijn diverse toepassingen denkbaar, zoals het op hoge snelheid en realtime volgen van objecten. Tevens zijn AI-modellen te selecteren door het intern geheugen aan te passen op de specifieke toepassing van de locatie. Gebruikers kunnen ook andere AI-modellen kiezen door het interne geheugen te herschrijven naar de vereisten of voorwaarden van het gewenste systeem.
Belangrijkste kenmerken
De eerste beeldsensor met AI-functionaliteit
De pixelchip is back-illuminated en heeft 12,4 effectieve megapixels voor het vastleggen van informatie. De logic chip is uitgerust met Sony’s Digitale Signaalprocessor (DSP) voor AI-signaalverwerking en met een intern geheugen voor het AI-model. Dankzij deze configuratie zijn krachtige processors of een extern geheugen niet noodzakelijk.
Output van metadata
De signalen die de pixelchip detecteert worden doorgegeven via een ISP (beeldsignaalprocessor). AI-verwerking vindt plaats op de logic chip en de geëxtraheerde informatie wordt uitgevoerd als metadata. Aangezien beeldinformatie niet extern wordt verwerkt is gegevensbescherming optimaal. Behalve het beeld dat door de conventionele beeldsensor wordt opgenomen, kunnen gebruikers een outputformat naar wens selecteren. Denk hierbij aan afbeeldingen in ISP-formaat (YUV/RGB) en specifieke ROI (Region of Interest)-selecties van de afbeeldingen.
High-speed AI-verwerking
Bij het opnemen van video met een conventionele beeldsensor wordt de data doorgestuurd voor AI-verwerking. Dit leidt tot meer datatransmissie waardoor het lastig is om realtime prestaties te leveren. De nieuwe sensoren van Sony voeren ISP-verwerking en high-speed AI-verwerking (3,1 milliseconde verwerkingstijd voor MobileNet V12) uit op de logic chip en voltooien het hele proces in één frame. Dankzij dit ontwerp wordt het mogelijk om realtime en met hoge precisie objecten te volgen tijdens het opnemen van video.
Selectie AI-model
Gebruikers kunnen de AI-modellen naar wens in het geheugen programmeren afhankelijk van de omstandigheden op de locatie van het systeem. Dit kan bijvoorbeeld handig zijn wanneer meerdere camera’s op een winkellocatie worden geïnstalleerd. De gebruiker kan zo hetzelfde type camera voor meerdere toepassingen inzetten. Als de camera bij de ingang is geïnstalleerd, kan deze worden gebruikt om de klanten te tellen die de winkel binnenkomen. Bij installatie op een winkelschap, kan deze worden gebruikt om voorraadtekorten te herkennen. Is de camera aan het plafond gemonteerd, dan kan deze worden ingezet om warmtebeelden te maken (ter identificatie van gebieden waar veel bezoekers elkaar ontmoeten). Uiteraard kan het AI-model in een bepaalde camera opnieuw geprogrammeerd worden, van één die heatmaps opspoort naar één die consumentengedrag vaststelt, enz.
| Model name | Sample shipment date | Sample price (excluding tax) |
| IMX500 1/2.3-type (7.857 mm diagonal) approx. 12.3 effective megapixel intelligent vision sensor (bare chip product) | April 2020 | 10,000 JPY |
| IMX501 1/2.3-type (7.857 mm diagonal) approx. 12.3 effective megapixel intelligent vision sensor (package product) | June 2020 (planned) | 20,000 JPY |
| Model name | IMX500 (bare chip product) | IMX501 (package product) |
| Number of effective pixels | 4056 (H) × 3040 (V), approx. 12.3 megapixels | |
| Image size | Diagonal 7.857 mm (1/2.3 type) | |
| Unit cell size | 1.55 μm (H) × 1.55 μm (V) | |
| Frame rate | Full pixel | 60 fps |
| Video | 4K (4056 × 2288) 60 fps | |
| 1080p 240 fps | ||
| Full/video+AI processing | 30fps | |
| Metadata output | 30fps | |
| Sensitivity (F5.6 standard value) | Approx. 250LSB | |
| Sensor saturation signal level (minimum value) | Approx. 9610e- | |
| Power supply | Analog | 2.7V |
| Digital | 0.84V | |
| Interface | 1.8V | |
| Main functions | AI processing function, ISP, HDR shooting | |
| Output | MIPI D-PHY 1.2 (4 lane) / SPI | |
| Color filter array | Bayer array | |
| Output format | Image (Bayer RAW), ISP output (YUV/RGB), ROI, metadata | |
| Package | IMX500: – | IMX501: Ceramic LGA 12.5 mm (H) × 15.0 mm (V) |