Dual-camerasysteem bewaakt bestuurder en weg met enkele AI SoC

KeepTruckin's nieuwe dashcam, gebaseerd op Ambarella's CV22-systeem op een chip, gebruikt AI om chauffeurs van vrachtwagens en andere bedrijfsvoertuigen te monitoren.

Bestuurdersbewakingssystemen zijn een essentieel onderdeel geworden van het gesprek over autoveiligheid. Hoewel een groot deel van de discussie over het monitoren van chauffeurs ging over het gebruik ervan voor personen in personenauto's, is er een enorme markt in de sector bedrijfsvoertuigen voor het bewaken van chauffeurs in hun vrachtwagens om de veiligheid te waarborgen en ongevallen te voorkomen, en om wagenparkbeheerders in staat te stellen om risico's te beoordelen en verzekeringskosten te verlagen.

Het technologiebedrijf KeepTruckin, dat deze markt bedient, zei deze week samen te werken met het edge artificial intelligence (AI) vision system on chip (SoC) bedrijf Ambarella om zijn nieuwe aftermarket-dashcam voor grotere bedrijfsvoertuigen te ontwikkelen. De nieuwe dashcam maakt gebruik van een enkele Ambarella CV22 SoC om tegelijkertijd AI en beeldverwerking te bieden voor zijn systeem met twee camera's, dat één camera integreert voor het geavanceerde rijhulpsysteem (ADAS) aan de voorkant met opname van incidenten, en een tweede RGB-IR-camera voor de Driver Monitoring System (DMS) met chauffeursregistratie.

Dankzij de prestatie-per-watt-specificatie van de CV22 kan de kleine AI-dashcam ook de eigen AI-algoritmen van KeepTruckin uitvoeren voor realtime detectie van risicovol gedrag en actieve waarschuwingen direct op het apparaat met minimale warmteafvoer.

EE Times sprak met leidinggevenden van zowel KeepTruckin als Ambarella om meer te weten te komen over de productontwikkeling. Jai Ranganathan, SVP voor product bij KeepTruckin, zei:"De veiligheid van chauffeurs is belangrijker dan ooit geworden, vooral omdat er meer rechtszaken zijn tegen commerciële operators. Het concept van dashcams is dus erg populair geworden. We werkten samen met Ambarella om onze volgende generatie dashcam te ontwikkelen. Een belangrijke maatstaf voor ons als we naar hun chip kijken, is gevolgtrekking per watt; prestatie in verhouding tot de kosten was ook belangrijk. We moesten dingen doen zoals dieptedetectie met een enkele lens, wat moeilijk kan zijn."

Hij zei dat het hele proces, van het begin tot het vandaag uitbrengen van de dashcam, ongeveer 18 maanden heeft geduurd. “De grootste factor voor ons [om deze snelle time-to-market mogelijk te maken] was het hebben van een partner die kon helpen bij het hele ontwikkelingsproces. Anders was het niet haalbaar geweest om zo snel op de markt te komen.”

KeepTruckin's productdirecteur, Abhishek Gupta, voegde toe:"De ondersteuning van ontwikkelaars was buitengewoon nuttig, vooral omdat we dit hebben gebouwd tijdens een pandemie toen veel mensen op afstand werkten."

Ranganathan zei dat KeepTruckin's AI-dashcam gebruikmaakt van Ambarella's edge AI en vision processing-prestaties om geavanceerde AI-gebaseerde functies te leveren die risicovol gedrag met hoge nauwkeurigheid en efficiëntie detecteren. "Onze voortdurende innovatie op het gebied van wagenparkbeheer wordt mogelijk gemaakt door Ambarella's schaalbare reeks CVflow AI vision-SoC's, die allemaal worden ondersteund door een gemeenschappelijke, robuuste SDK, waardoor een platformbenadering van onze productontwikkeling mogelijk is."

Ian Riches, VP voor de automobielpraktijk en directeur bij Strategy Analytics, vanuit het perspectief van de analist, merkte op:"KeepTruckin's selectie van Ambarella SoC's voor zijn nieuwe AI Dashcam geeft het een krachtig, kosteneffectief en efficiënt platform om op te bouwen. Het ecosysteem van Ambarella geeft het de tools die nodig zijn om op maat gemaakte AI-oplossingen te ontwikkelen waarvan de vlootklanten profiteren.”

De ADAS-functies aan de voorkant die door de CV22 worden ingeschakeld, zijn onder meer waarschuwingen voor het volgen, het verlaten van de rijstrook, aanrijdingen naar voren, te hard rijden en verkeersovertredingen. Door gebruik te maken van dezelfde SoC, met meerdere simultane neurale netwerkmodellen, omvatten de DMS-mogelijkheden van de camera in de cabine monitoring op vermoeidheid van de bestuurder, afleiding en beleidsschendingen, zoals contextueel gebruik van mobiele telefoons of bewaking van de veiligheidsgordel, in combinatie met gegevens van de camera aan de voorkant.

De AI Dashcam is verbonden met de KeepTruckin Vehicle Gateway, die de vooraf geanalyseerde gegevens, video's en stilstaande beelden in realtime uploadt naar KeepTruckin's cloudgebaseerde wagenparkbeheersoftware. De CV22 SoC integreert Ambarella's beeldsignaalprocessor, die HDR-video's van hoge kwaliteit met 1440p-resolutie levert in alle lichtomstandigheden, terwijl de on-chip H.264/H.265-codering wordt gebruikt om de transmissiebandbreedte en opslagkosten te verminderen.

KeepTruckin kan in de loop van de tijd extra functies naar de CV22 uploaden, via over-the-air software-updates, om toegevoegde waarde te leveren aan klanten die in het platform investeren. Bovendien wordt de modeltraining van KeepTruckin steeds nauwkeuriger omdat het interne veiligheidsteam de kwaliteit in realtime beoordeelt, extra risicocontext toevoegt en input levert die de trainings- en ontwikkelingscycli van modellen korter maakt.

Udit Budhia, marketingdirecteur bij Ambarella, zei:"Voor de aftermarket is dit waarschijnlijk het meest geavanceerde AI-visieproduct voor de auto-industrie. We hebben een snelle groei gezien voor ADAS-waarschuwingssystemen, zoals waarschuwingen voor het verlaten van de rijstrook.” Over het voordeel van de CV22 SoC in deze toepassing gesproken, voegde hij eraan toe:"Een belangrijk onderdeel is de beeldsignaalprocessor (ISP). We ondersteunen verschillende sensortypen, waaronder RGGB, RGB-IR, monochroom, RCCB en RCCC, en ondersteunen HDR-verwerking. We kunnen objecten in de scène detecteren en hebben ook filtering bij weinig licht, wat resulteert in minder ruis en dus een efficiëntere verwerking van video. We gebruiken minder bandbreedte en aanzienlijk minder DRAM.”

Over de tools zei Budhia:"Onze tool maakt het mogelijk om zowel camera's aan de voorkant als camera's voor het bewaken van de bestuurder tegelijkertijd te ontwikkelen." De programmeerbaarheid en efficiëntie van Ambarella's CVflow AI-architectuur maakt aanzienlijke computer vision-prestaties mogelijk met een zeer laag stroomverbruik, wat de betrouwbaarheid en efficiëntie verhoogt om meer modellen parallel te laten lopen, wat leidt tot betere detectie en zichtbaarheid rondom. De complete set CV-tools helpt klanten zoals KeepTruckin om hun eigen neurale netwerken te porten en omvat ondersteuning voor industriestandaard machine learning-frameworks zoals PyTorch, ONNX, Caffe en TensorFlow.

>> Dit artikel is oorspronkelijk gepubliceerd op onze zustersite, EE Tijden.

---

Verwante inhoud:

• Op zicht gebaseerde bestuurdersbewakingssystemen winnen aan kracht
• Misvattingen over bewakingssystemen voor bestuurders doorbreken
• Is het nummeringssysteem voor voertuigautomatisering nuttig?
• Beeldsensoren bieden scherpere beelden in de cabine
• De belangrijkste technologieën die ons dichter bij mobiliteit zonder bestuurder brengen

Abonneer u voor meer Embedded op de wekelijkse e-mailnieuwsbrief van Embedded.