AV's een beter gehoor geven

Als bestuurders een sirene kunnen horen, waarom kunnen autonome voertuigen dan niet hetzelfde?

In noodsituaties zoals ernstige verkeersongevallen telt elke seconde en kan een voldoende brede reddingsstrook het verschil maken tussen leven en dood. Als bestuurders een sirene kunnen horen, waarom kunnen autonome voertuigen dan niet hetzelfde doen? Het in Caïro, Egypte gevestigde Avelabs heeft een sensoroplossing ontwikkeld die voertuigen het gehoor geeft om het zicht aan te vullen en autonome rijsystemen te verbeteren.

"Visie is ons belangrijkste zintuig bij het evalueren van het milieu", zei Amr Abdelsabour, directeur Product Management bij Avelabs, in een panelsessie op AutoSens Brussels van dit jaar. “Als menselijke chauffeurs zijn we echter niet alleen afhankelijk van visie. Als we autorijden, zijn we ook afhankelijk van ons gehoor. Er is veel informatie die we kunnen horen maar niet zien als een sirene die van achteren komt. Of, als we een blind kruispunt oprijden en er komt een auto aan, dan kunnen we het niet echt zien, maar wel horen.”

Op AutoSens introduceerde Avelabs AutoHears, een akoestisch detectiesysteem dat geluiden detecteert, classificeert en lokaliseert om de complexe omgeving van het voertuig beter te begrijpen. AutoHears, dat de hardware, de mechanische behuizing en de software voor de detectiefuncties omvat, is bedoeld om detectie van noodvoertuigen, verduisterd veld, natuurrampen (bijv. aardverschuivingen) en veiligheidsgebeurtenissen (bijv. botsingen in de buurt, geweerschoten, explosies) en zoals voertuigzelfdiagnose en spraakherkenning.

In een vervolggesprek met EE Times Europe , legde Abdelsabour uit wat er nodig is om voertuigen gehoor te geven, hoe software en hardware van elkaar afhankelijk zijn, waar en hoe het datafusieproces wordt uitgevoerd en wanneer we AutoHears kunnen verwachten?

EE Times Europe:Kunt u de soorten geluiden beschrijven die AutoHears wel en niet kan detecteren?

Amr Abdelsabour: We zijn begonnen met rijdende voertuiggeluiden (bijv. banden, motor, remmen en aerodynamische geluiden), evenals claxons en sirenes van verschillende normen wereldwijd. Deze klassen zijn tot nu toe getest en gedemonstreerd. We werken momenteel aan het toevoegen van nieuwe klassen, zoals natuurrampen en detectie van botsingen, maar deze bevinden zich nog in de ontwikkelingsfase van de functies. Er wordt gewerkt aan een roadmap voor de ontwikkeling van functies.

EE Times Europe:AutoHears detecteert geluiden vanuit alle hoeken. Zijn er fysieke beperkingen?

Abdelsabour: AutoHears kan geluiden vanuit alle hoeken detecteren, en niet alleen dat, maar ook geluiden die van achter muren en andere obstakels komen. Er zijn natuurlijk fysieke beperkingen. Geluidsmeting is een relatief detectieproces, waarbij geluid wordt waargenomen ten opzichte van zijn omgeving. Dit betekent dat als de omgeving stil was, AutoHears zwakke en zwakke geluiden zou kunnen detecteren, zoals fietsen en zelfs voetstappen. Als de omgeving echter luidruchtig was, zou AutoHears alleen de meest significante geluiden kunnen detecteren. Dus als er bijvoorbeeld een luide sirene in de buurt actief was, zouden we de motorgeluiden van andere voertuigen niet kunnen detecteren, omdat het harde geluid het zachte geluid zou dekken. Desalniettemin werken we eraan om onze exacte fysieke beperking in objectieve cijfers te achterhalen om betrouwbare beperkingen aan onze klanten te kunnen leveren.

EE Times Europe:hoe zit het met de classificatie van geluiden?

Abdelsabour: Classificatie van geluiden is een complex proces, vooral als het gaat om niet-gestandaardiseerde geluiden. Als we het hebben over gestandaardiseerde geluiden zoals sirenes, wordt het classificatieproces eenvoudig en redelijk eenvoudig en kan het worden gedaan met behulp van modelgebaseerde algoritmen. De detectie van rijdende voertuigen is echter een complexer proces, omdat het een niet-standaard combinatie is van geluiden die zijn samengesteld uit verschillende fysieke componenten die de uiteindelijke geluiden creëren die onze oren of sensoren horen. Hier komen verschillende kunstmatige-intelligentiemethoden om de hoek kijken om geluiden te kunnen classificeren op basis van machine learning door middel van verzamelde gegevens en om de geluiden te detecteren en classificeren op basis van wat ze hebben geleerd. Met trots kunnen we zeggen dat we in AutoHears een combinatie van zowel op modellen gebaseerde algoritmen als machine learning hebben ingezet om geluiden te classificeren, afhankelijk van de te detecteren doelgeluiden.

EE Times Europe:Hoe versmelten audiogegevens met beeldgegevens van camera's of andere sensoren die in de auto zijn ingebouwd?

Abdelsabour: Zoals het geval is met menselijke chauffeurs, is geluid een aanvulling op het zicht. Dit is hoe we AutoHears zien en we hebben het dienovereenkomstig ontwikkeld. Omdat we ons voornamelijk bezighouden met het akoestische detectiegedeelte, leveren we de ruwe akoestische detectieinformatie die kan worden samengevoegd met andere sensoren zoals camera's en radars om objecten te classificeren en te lokaliseren om de sterke punten van elke afzonderlijke sensor te gebruiken en hun zwakke punten te overwinnen . Het combineren van bijvoorbeeld een radar, een camera en AutoHears kan leiden tot de volgende detectie van een voertuig in onze dode hoek:De radar kan het obstakel detecteren en de afstand nauwkeurig inschatten (aangezien radars vanuit dat oogpunt zeer betrouwbaar zijn), de camera zou dat object classificeren (als er een camera is die kijkt in de richting waarin het doelvoertuig zich bevindt), zou AutoHears de detectie bevestigen met zijn eigen classificatie en lokalisatie van dit voertuig en de informatie toevoegen als dat voertuig geluiden maakt zoals zoals het toeteren van een hoorn of het afgeven van een sirene. De combinatie van alle sensoren samen maakt de sensorfusie tot een zeer sluitende reconstructie van de omgeving op de best mogelijke manier.

EE Times Europe:Waarom heb je besloten om een ​​compleet systeem te bouwen? Waarom was het essentieel om alle software- en hardwareaspecten aan te pakken?

Amr Abdelsabour, Avelabs

Abdelsabour: AutoHears als detectiesysteem is een van de eerste detectiesystemen in zijn soort, namelijk een akoestisch detectiesysteem. Aangezien Avelabs een softwarebedrijf is, wilden we in eerste instantie dat onze focus alleen lag op het waarnemen van functies vanuit een softwareperspectief en niet op de hardwareonderdelen. Zonder detectiehardware kunnen er echter geen detectiefuncties zijn. De detectiehardware is de belangrijkste factor voor de detectiefuncties, aangezien de sensor niet zo eenvoudig is als het plaatsen van een microfoon in het voertuig om detectie mogelijk te maken, maar de hardware moet zorgvuldig worden ontworpen om nauwkeurige lokalisatie van de omgeving mogelijk te maken. Om een ​​object te lokaliseren, vertrouwen de lokalisatie-algoritmen op fysieke factoren zoals het geluidstijdsverschil van aankomst, dat alleen kan worden gedetecteerd wanneer de hardware zo is ontworpen dat dit kan worden gedetecteerd. Er zijn verschillende hardwarefactoren bij betrokken, zoals het aantal microfoons, de afstand ertussen en hun plaatsing op het voertuig. Al deze hardwarevereisten dwongen ons om de hardware zelf te ontwerpen en te bouwen om de akoestische detectiefuncties die we bieden mogelijk te maken. Simpel gezegd, er is geen bedrijf dat externe akoestische detectiehardware voor voertuigen aanbiedt, daarom hebben we het zelf moeten ontwikkelen.

EE Times Europe:Kun je me wat details geven over de akoestische sensor zelf? En op de CPU waarop het algoritme draait?

Abdelsabour: We hebben gekozen voor een gecentraliseerde architectuur als het gaat om het sensor- en processorsysteem. Deze beslissing is om mee te gaan met de trend die alle autobedrijven momenteel volgen, namelijk te vertrouwen op sensoren die de onbewerkte gegevens detecteren (camera's, radars, ...). De onbewerkte gegevens worden vervolgens naar een gecentraliseerde domeincontroller gestuurd waar de sensorfusie plaatsvindt. Daarom hebben we de akoestische sensor gebouwd als een sensor voor onbewerkte gegevens, die alle akoestische informatie detecteert en naar de gecentraliseerde domeincontroller stuurt waar de detectie-algoritmen worden uitgevoerd. Zoals je weet, hebben we de akoestische sensor zelf ontworpen, maar we gebruiken kant-en-klare automotive domeincontrollers zoals de Xilinx FPGA en de TI ADAS TDA SoC als de CPU die onze algoritmen uitvoert. Omdat elke klant echter zijn eigen domeincontroller gebruikt, gebruiken we deze processors alleen als referentiehardware. Omdat we eenvoudig kunnen worden ingezet op elk type domeincontroller met de nodige aanpassingen.

EE Times Europe:waarom zegt u dat AutoHears "hardwareafhankelijk" is?

Abdelsabour: AutoHears als sensor en als detectiealgoritme heeft generieke componenten en hardwarespecifieke componenten, afhankelijk van de door de klant gewenste functies en de verwerkingscontroller die de klant gebruikt. Dus als de klant bijvoorbeeld alleen de richting van de geluidsgebeurtenis wil (zonder de afstand tot het object dat het geluid uitzendt), is het nodig om slechts één sensor te gebruiken. Maar als de klant ook de afstand van het object wil detecteren, is het nodig om meerdere sensoren te gebruiken om de afstand van het object te trianguleren. Dit is bijvoorbeeld een hardwareafhankelijke functie.

De andere kant met betrekking tot hardware-afhankelijkheid is de domeincontroller die wordt gebruikt om de detectiefuncties te verwerken. De prestaties van onze functies zijn afhankelijk van de processors waarop ze worden uitgevoerd en hun mogelijkheden. Er is een afweging tussen de prestatie- en verwerkingsvereisten van de hardware. Dus als we bijvoorbeeld willen dat AutoHears detecteert met een resolutie van één graad, dan zijn er meer verwerkingsbronnen nodig. Als we onze gewenste prestaties verlagen, zullen de verwerkingsvereisten dat ook doen. Bovendien wordt elke nieuwe hardware geleverd met enkele hardwarespecifieke aanpassingen voor de microcontroller-abstractielaag, zoals de AutoHears-sensorstuurprogramma's die in de basissoftwareomgeving van de klant worden geïmplementeerd.

EE Times Europe:waar sta je qua ontwikkeling? Wanneer bent u van plan om AutoHears op de openbare weg te testen? Wanneer verwacht u dat AutoHears in productie gaat?

Abdelsabour: AutoHears kan worden overwogen in de productontwikkelingsfase. We hebben het concept al technisch en financieel bewezen, demonstraties en tests uitgevoerd om de haalbaarheid aan te tonen en momenteel werken we aan het "productiseren" van de ontwikkeling. Dit omvat validatie op de openbare weg en het behalen van autocertificeringen. Dit zijn de twee stappen die we nodig hebben om van productontwikkeling naar commercialisering te gaan. Dit zijn noodzakelijke stappen die moeten worden genomen voordat ze productieklaar zijn.

EE Times Europe:Heeft u vroege klanten die de oplossing testen?

Abdelsabour: Hoewel we in september zijn begonnen met de aankondiging van het product op AutoSens, zijn we al met klanten in gesprek over het testen van de oplossing. Terwijl we proberen een nieuw product op de automarkt te lanceren, hopen we op onze klanten en partners te kunnen vertrouwen om meer te weten te komen over de marktverwachtingen en -vereisten, en om onze sensoren te integreren in wagenparken voor gegevensverzameling om meer gegevens te verzamelen voor training en validatiedoeleinden.

---

Verwante inhoud:

• Succesvolle realtime akoestische verwerking vereist een zorgvuldige planning
• Hard- en software combineren voor betere audio
• Low-power apparaten kunnen luisteren met een siliconen cochlea
• Adaptieve ANC-oplossingen zorgen voor verbeterde audiomogelijkheden

Abonneer u voor meer Embedded op de wekelijkse e-mailnieuwsbrief van Embedded.