Waarom DSP's ineens overal zijn

Toen ARM CPU-cores voor het eerst werden gevalideerd, hoewel ze werden gebruikt door enkele van de belangrijkste namen in de computerwereld, waaronder Apple, explodeerde het gebruik, vooral voor mobiele applicaties. Achteraf bezien was het voordeel duidelijk:elk apparaat zou veel flexibeler en rijker kunnen worden gemaakt met een ingebouwde processor. Tegelijkertijd zou die mogelijkheid in software kunnen worden geüpgraded:een enkel hardwareplatform zou meerdere productreleases kunnen aansturen via alleen software-upgrades.

(Bron:CEVA)

Deze rekenengines zijn zeer flexibel en zijn perfect voor veel van de beheertaken en algemene rekentaken in onze smartphones en andere mobiele producten, maar die algemeenheid heeft een nadeel. Er zijn bepaalde bewerkingen die op een computer voor algemeen gebruik veel te langzaam zouden verlopen en veel te veel stroom zouden verbruiken om praktisch te zijn. De modem in het draadloze communicatiegedeelte van je smartphone was een vroeg voorbeeld. Dit moet radiosignalen in realtime verwerken, waarbij het in elk geval niet gaat om de bekende digitale woorden en bits die in het computergedeelte van de telefoon worden gebruikt, maar eerder om een ​​gedigitaliseerde versie van de continu variërende analoge signalen die worden gebruikt bij radiotransmissie en -ontvangst .

Digitale signaalprocessors (DSP's) zijn ontworpen voor dit soort analyse. Ze hebben de ingebouwde drijvende-kommaweergave die nodig is voor gedigitaliseerde signalen en ze hebben sterke ondersteuning voor de wiskundige functies die nodig zijn bij signaalverwerking, zoals multiple-accumulate (MAC)-functies. Ze zijn ook geoptimaliseerd voor het verwerken van streaminggegevens, in plaats van de meer batchgewijze verwerking die gebruikelijk is in conventionele computers, een essentiële functie in dit geval voor het afhandelen van continue radiotransmissie en -ontvangst.

De behoeften voor audioverwerking hebben veel van dezelfde functies gemeen als bij draadloze signaalverwerking. Deze toepassing van DSP's werd gemeengoed in high-end audiotoepassingen zoals egalisatie en bereikcompressie (bijvoorbeeld Dolby-compressie), en vervolgens steeds meer in functies zoals de ruisonderdrukkende hoofdtelefoon waarmee u ongestoord kunt slapen tijdens uw vlucht.

Toen nam AI een vlucht, aanvankelijk alleen in datacenters maar nu steeds meer in mobiele en andere edge-applicaties. Onze auto's kunnen nu voetgangers en mogelijke aanrijdingen detecteren, en ze kunnen rijstrookmarkeringen detecteren om het sturen te begeleiden in een basisvorm van zelfrijden. We kunnen onze tv's of onze slimme luidsprekers bedienen via spraakopdrachten, om een ​​nummer of een film te zoeken of om het volume te verlagen of te verhogen. We kunnen zelfs de GoPro op onze fietsveiligheidshelm bedienen via spraakopdrachten om het maken van foto's te starten of te stoppen.

Al deze mogelijkheden zijn afhankelijk van het verwerken van streaminggegevens (spraak) of afbeeldingen (stilstaande camerabeelden) of mogelijk beide (video), elk in realtime of zeer dicht bij realtime. Kijk eerst naar audioverwerking. Eerst moet u een streaming audiosignaal van hoge kwaliteit vastleggen - via audio beamforming van meerdere microfoons, echo-onderdrukking en ruisonderdrukking - allemaal gebieden waar er al jarenlange ervaring is met DSP-implementaties.

Dan moet je commando's herkennen met behulp van een getraind neuraal netwerk, de basis van bijna al deze AI-technieken. Deze algoritmen zien er heel anders uit dan die op een CPU; en hoewel ze op een CPU kunnen werken, zouden ze traag zijn en de batterij snel leegmaken. Een betere benadering is om het neurale netwerk te programmeren op een architectuur die een hoog niveau van parallellisme biedt, waardoor veel berekeningen tegelijkertijd kunnen worden uitgevoerd in plaats van serieel zoals op een CPU. Dit is een andere kernkracht van een DSP - parallellisme in berekeningen.

Je kunt je afvragen of, ondanks al deze voordelen, DSP's gewoon te complex zijn om te gebruiken om door iemand anders te worden overgenomen dan de specialisten die geen andere keuze hebben dan ze te gebruiken. Ze zijn zeker niet zo eenvoudig te gebruiken als CPU's, maar de verschillen zijn niet zo groot. Je schrijft C-code voor beide, maar je moet wat bedachtzamer zijn in de code die je schrijft voor een DSP om optimaal te profiteren van de prestaties.

(Bron:CEVA)

Wat de wijdverbreide acceptatie betreft, gebruikt elke radio op uw telefoon - Bluetooth, Wi-Fi en mobiel - een of meer DSP's. Bluetooth-oordopjes gebruiken DSP's, voor de Bluetooth en ook voor de audio. Veel slimme speakers gebruiken een DSP. Spraakgestuurde afstandsbedieningen gebruiken DSP's. Beveiligingssystemen voor in huis gebruiken DSP's om afwijkende bewegingen op camera's en ongebruikelijke geluiden zoals blaffende honden of brekend glas te detecteren. Slimme sensoren in uw auto gebruiken DSP's om vooruit- en achteruitrijdende gevaren te detecteren en om rijstrookmarkeringen te detecteren.

Waarom gebruik je geen GPU's voor al deze functies? GPU's zijn inderdaad erg bekend, vooral voor AI, en worden veel gebruikt in datacenters voor training van neurale netwerken. Maar ze zijn te groot, te veel energie verbruikend en te duur voor veel edge-toepassingen. Er is een grote druk om meer AI-functies naar deze apparaten te verplaatsen om redenen van kracht, veiligheid en privacy. Maar dit moeten zeer kosteneffectieve oplossingen zijn. In de meeste gevallen is er weinig animo om aanzienlijk toe te voegen aan de kosten van de totale oplossing (auto, tv, huisbeveiliging).

Dat is de reden waarom embedded DSP's overal komen. U kunt stembesturing, objectdetectie, audiokwaliteitscontrole en nog veel meer aan uw product toevoegen tegen lage kosten en met een laag stroomverbruik en toch met de flexibiliteit van softwareprogrammeerbaarheid. Ze zullen CPU's niet vervangen voor beheer en algemene verwerking, maar het lijkt erop dat ze alles overnemen wat te maken heeft met slimme audio en video/beeldvorming.

Deze blog is de eerste in een reeks en gaat verder met berichten "Als een DSP een hardwareversneller verslaat ” en “Beslissingen, beslissingen:hardwareversneller of DSP ?“.