Hardware-inferentiechip is gericht op automobieltoepassingen

Het in Hongarije gevestigde AImotive, een ontwikkelaar van op software en hardware gebaseerde technologieën voor geautomatiseerd rijden, is begonnen met de verzending van zijn aiWare3 neurale netwerk (NN) hardware-inferentie-engine intellectueel eigendom (IP) naar zijn belangrijkste klanten.

De aiWare3P IP-kern, die vorig jaar werd aangekondigd, biedt een hardware NN-versneller voor automotive vision-toepassingen met hoge resolutie en als onderdeel binnen ISO26262 ASIL A, B en hoger gecertificeerde subsystemen. De kern, die kan worden ingezet binnen een systeem op chip (SoC), of als een stand-alone NN-accelerator, wordt geleverd als volledig synthetiseerbare RTL; de microarchitectuur op laag niveau is ontworpen om veel minder host-CPU of gedeelde geheugenbronnen te gebruiken dan andere hardware-NN-versnellers.

Toegewijde NN-versnellers zoals de aiWare3P IP die in verschillende delen van het voertuigelektronicaplatform wordt gebruikt (Bron:AImotive)

Spreken met EE Times Europe over hoe het AIMotive-aanbod verschilt van andere oplossingen, zei Tony-King Smith, de uitvoerend adviseur van het bedrijf, dat de meeste chipspelers in academische termen praten over versnellers op basis van GPU's en SoC's, getest in een laboratoriumomgeving, wat niet echt goed vertaalt. naar de echte wereld. “Het cruciale verschil is dat het nodig is om de principes van neurale netwerken te begrijpen in plaats van de versneller. In onze oplossing zijn er geen DSP's, geen NOC's (netwerk op chip). aiWare is alleen ontworpen voor auto-inferentie, daarom zijn we in staat om een ​​lage latentie van input tot output te bieden.” Hij voegde eraan toe dat verbeteringen in de RTL-output van de nieuwe kern betekent dat het CPU-hoofdsubsysteem vrijkomt en dat de kern vervolgens kan worden aangesloten op elke versneller-SoC.

De aiWare3P IP-kern bevat functies die resulteren in verbeterde prestaties, lager stroomverbruik, grotere host-CPU-offload en eenvoudigere lay-out voor grotere chipontwerpen. Elke core biedt tot 16 TMAC/s (>32 TOPS) op 2GHz, met multi-core en multi-chip implementaties die tot 50+ TMAC/s (>100 INT8 TOPS) kunnen leveren – handig voor multi-camera of heterogene sensorrijke toepassingen. De kern is ontworpen voor gebruik bij AEC-Q100 bij langdurige temperaturen en bevat functies waarmee gebruikers ASIL-B-certificering en hoger kunnen behalen.

De schaalbaarheid van de prestaties van de IP-core tot meer dan 50 TMAC/s (>100 TOPS) per chip en aanhoudende inferentie met lage latentie is het resultaat van de micro-architectuur op laag niveau. Het maakt gebruik van een gepatenteerd basisontwerp voor zeer deterministisch gegevensstroombeheer, met een zeer parallelle geheugengerichte architectuur met tot 100x meer geheugenbandbreedte op de chip dan andere hardware-NN-versnellers, waardoor tot 95% aanhoudende efficiëntie wordt gegarandeerd voor complexe DNN's die worden gebruikt met grote ingangen zoals meerdere HD-camera's.

De aiWare SDK ondersteunt de NNEF- en open standaard ONNX-ingangen van Khronos en compileert rechtstreeks binaire bestanden zonder dat DSP's of MCU's op laag niveau hoeven te worden geprogrammeerd. Het bevat geautomatiseerde tools voor FP32 tot INT8-kwantisatie met weinig of geen verlies van nauwkeurigheid, naast een groeiend portfolio van geavanceerde DNN-prestatieanalysetools. Deze laatste zijn ontworpen om software- en AI-ingenieurs te helpen bij het migreren en transformeren van in een laboratorium getrainde NN's naar efficiënte realtime oplossingen die worden uitgevoerd op aiWare-aangedreven productie-autohardwareplatforms.

De bouwstenen van een AI-versneller voor auto's, inclusief de aiWare hardware IP (Bron:AImotive)

Marton Feher, senior vice president hardware engineering voor AImotive, zei:"Onze productieklare aiWare3P-release brengt alles samen wat we weten over het versnellen van neurale netwerken voor op vision gebaseerde AI-inferentietoepassingen in de auto-industrie. We hebben nu een van de meest efficiënte en overtuigende NN-acceleratieoplossingen van de auto-industrie voor volumeproductie L2/L2+/L3 AI.”

De hardware-IP van aiWare3P wordt ingezet in een reeks L2/L2+-productieoplossingen en wordt ook gebruikt voor studies van meer geavanceerde heterogene sensortoepassingen. Klanten zijn onder meer Nextchip voor hun aanstaande Apache5 Imaging Edge-processor en ON Semiconductor voor hun samenwerkingsproject met AImotive om geavanceerde heterogene sensorfusiemogelijkheden te demonstreren.

AImotive zei dat het in het eerste kwartaal van 2020 een volledige update van hun openbare benchmarkresultaten zal uitbrengen op basis van de aiWare3P IP-kern. Dit maakt deel uit van haar streven naar open benchmarking met behulp van goed gecontroleerde benchmarks die echte toepassingen weerspiegelen, zoals hoge resolutie-ingangen voor camera's, in plaats van onrealistische openbare benchmarks met 224×224 ingangen.

Geen tussenkomst van host-CPU nodig

Nieuwe kenmerken van de hardware-IP van aiWare3P omvatten ondersteuning voor een veel grotere portfolio van vooraf geoptimaliseerde ingebouwde activerings- en poolingfuncties, zodat 100% van de meeste NN's binnen de aiWare3P-kern worden uitgevoerd zonder tussenkomst van de host-CPU; real-time datacompressie, waardoor de vereisten voor externe geheugenbandbreedte worden verminderd - vooral voor grotere invoerformaten en diepere netwerken; en geavanceerde kruiskoppeling tussen C-LAM-convolutie-engines en F-LAM-functie-engines, om de overlappende en verweven uitvoeringsefficiëntie te vergroten.

De op fysieke tegels gebaseerde microarchitectuur maakt een eenvoudigere fysieke implementatie van grote aiWare-kernen mogelijk door moeilijke timingbeperkingen op elk procesknooppunt te minimaliseren; en logisch op tegels gebaseerd gegevensbeheer maakt een efficiënte schaalbaarheid van de werklast mogelijk tot maximaal 16 TMAC/s per kern, zonder de noodzaak van caches, NOC's of andere complexe multi-core processorgebaseerde benaderingen die knelpunten creëren, determinisme verminderen en meer stroom verbruiken en siliciumgebied De aiWare3P RTL wordt vanaf januari 2020 naar alle klanten verzonden en een verbeterde SDK bevat een verbeterde compiler en nieuwe prestatieanalysetools voor zowel offline schattingen als realtime fijnmazige analyse van doelhardware.