AI-compatibele camera's sturen smart city-test aan

Een AI-powered smart city-test in Rome, met behulp van Sony-afbeelding sensoren met AI-capaciteit als onderdeel van een "Smart Tip"-systeem, zijn bedoeld om de verkeersopstoppingen en vervuiling door het verkeer te verminderen, verkeersongevallen met voetgangers te verminderen en de drukte op de stadsbussen tot een minimum te beperken.

Een AI-aangedreven smart city-proef in Rome, waarbij Sony-beeldsensoren met AI-capaciteit worden gebruikt als onderdeel van een "Smart Tip" -systeem, is bedoeld om de patstelling en vervuiling door het verkeer te verminderen, verkeersongevallen met voetgangers te verminderen en de drukte op de stadsbussen tot een minimum te beperken.

De proef is bedoeld om drie "pijnpunten" aan te pakken die de meeste steden gemeen hebben:verkeersvolume en congestie, met name die met betrekking tot het zoeken naar een parkeerplaats; veiligheid van voetgangers bij het oversteken van de weg; en het optimaliseren van de beschikbaarheid van het openbaar vervoer voor het pandemietijdperk en daarna.

Tot nu toe zijn er drie proof-of-concept Smart Tip-systemen geïmplementeerd in de Eeuwige Stad, bovenop verkeerslichten.

Het Smart Tip-systeem, met twee Sony IMX500 AI-compatibele cameramodules, zit bovenop een verkeerslicht (Bron:Sony Semiconductor Europe)

De Smart Tips zijn elk voorzien van twee Sony IMX500 beeldsensoren. Deze sensoren, die een jaar geleden zijn gelanceerd, beschikken met name over AI-verwerkingscapaciteit waarmee beelden aan de rand van het netwerk kunnen worden verwerkt, zonder dat de beelden de Smart Tip verlaten.

De IMX500-module heeft een 12,3-megapixelsensor naast een logische chip met een Sony DSP-ontwerp gewijd aan AI-verwerking, plus geheugen om het AI-model op te slaan. De mogelijkheid om afbeeldingen binnen het apparaat te verwerken (zonder gegevens naar de cloud te sturen) is van cruciaal belang voor de werking van slimme stads-AI-systemen, omdat het een extreem snelle latentie mogelijk maakt. Het zorgt ook voor de privacy van de consument; afbeeldingen verlaten het apparaat niet, in plaats daarvan wordt informatie via AI geëxtraheerd en omgezet in metadata. Deze metadata kan het aantal mensen zijn dat in- of uitstapt bij een bushalte, of de aanwezigheid van voetgangers die de weg oversteken. (De IMX500 heeft de mogelijkheid om indien nodig hele afbeeldingen of interessegebieden/gedeeltelijke afbeeldingen uit te voeren, maar voor deze proef is alleen het communiceren van metadata geselecteerd).

"Er komt geen beeld uit deze sensor, het is geen camera, het is een camera die als sensor wordt gebruikt - er gaat geen beeld uit", zegt Antonio Avitabile, Managing Director Corporate Alliance and Investment bij Sony. “Wat eruit gaat is slechts een “ja, voertuig” of “geen voertuig” of een aantal mensen. Het idee hier is om het doel te dienen en het werk te doen, maar zonder naar mensen te kijken."

Door de afbeeldingen aan de rand te verwerken, wordt ook voorkomen dat tientallen 12 megapixel-afbeeldingen naar de cloud moeten worden geüpload; de metadata alleen zijn veel beter geschikt voor verzending door het mobiele modem van de Smart Tip.

klik voor afbeelding op volledige grootte

De drie toepassingen die door dit project worden getest (Bron:Sony Semiconductor Europe)

Drie toepassingen

"Verkeerscongestie is een zeer groot probleem in grote steden", zei Avitabile. "Een aanzienlijk deel is vrijwel gecorreleerd met bestuurders die op zoek zijn naar een beschikbare parkeerplaats."

Het Rome smart city AI-systeem heeft tot doel in realtime bij te houden waar er parkeerplaatsen beschikbaar zijn. GPS-locaties van beschikbare plaatsen worden via de mobiele modem van het systeem naar de cloud gestuurd. Locaties kunnen vervolgens via een app voor mobiele telefoons aan chauffeurs worden gecommuniceerd. Het idee is om te voorkomen dat automobilisten lange tijd moeten rondrijden op zoek naar een ruimte, waardoor opstoppingen en vervuiling tegelijkertijd worden verminderd.

Voetgangersveiligheid is een van de belangrijkste pijnpunten voor elke stad; duizenden voetgangers komen elk jaar om op de Europese wegen. De gemiddelde afstand tussen voetgangers en voertuigen is een belangrijke maatstaf die wordt gebruikt om de veiligheid van voetgangers te meten. De proef moet hier een kwantitatieve analyse van maken. De Smart Tips detecteren voetgangers die de weg oversteken en activeren vervolgens visuele of akoestische signalen voor voertuigen wanneer voetgangers oversteken.

Verkeer buiten het Colosseum in Rome (tegoed:Boris Stroujko)

"Elke keer dat een voetganger wordt geïdentificeerd die de weg oversteekt, hebben we een soort lichtsignaal op de oversteekplaats dat de bestuurder waarschuwt dat iemand daadwerkelijk oversteekt", zei Avitabile. "We denken dat dit een afschrikmiddel zal zijn om minder gewonden en doden te veroorzaken bij oversteekplaatsen voor voetgangers."

Het openbaar vervoer is de derde toepassing die de proef zal aanpakken. Het voorbeeld van Avitabile, slimme bushaltes, zou kunnen controleren hoeveel mensen er bij elke bushalte stonden te wachten en deze informatie zouden gebruiken om het aantal mensen op elke bus te controleren (vooral belangrijk tijdens de aanhoudende pandemie). Bussen kunnen ook vermijden te stoppen bij haltes waar geen passagiers wachten. Het systeem kan ook bijhouden hoeveel mensen bij elke halte in- en uitstappen. Deze informatie kan worden gebruikt om busroutes en timing beter te optimaliseren.

Backend-systeem

Het Smart Tip-systeem van Sony omvat een serviceplatform dat in de cloud draait. Dit platform zorgt voor de levering en inschrijving van de Smart Tip-apparaten. Dit platform verzorgt ook de training van de AI-modellen die zullen worden gebruikt om auto's en mensen te detecteren, en de productie van modellen die op het IMX500-apparaat passen.

De schaalbaarheid van de systemen wordt verzekerd door hun bandbreedtevereisten te minimaliseren (door alleen metadata te verzenden zoals hierboven beschreven). De Smart Tips zelf zijn identiek in de drie gebruiksscenario's; alleen de AI-modelsoftware op elk is anders. Het AI-model kan draadloos worden geüpload of geüpdatet om de efficiëntie te verbeteren of om in de toekomst tegemoet te komen aan verschillende toepassingen.

>> Dit artikel is oorspronkelijk gepubliceerd op onze zustersite, EE Times Europa.