Prestaties optimaliseren met multi-chip inferentie-architecturen

De afgelopen twee jaar hebben een vlucht van innovatie in inferentie-chip-ontwerp gezien. Terwijl nieuwe oplossingen bijna wekelijks verschijnen, worstelen veel bedrijven om ze te vergelijken omdat betrouwbare benchmarks schaars zijn. Tot nu toe hebben leveranciers TOPS of TOPS/Watt geadverteerd zonder modellen, batch-groottes of werkomstandigheden te specificeren, en de populaire ResNet-50-benchmark is te simpel voor de meeste real-world workloads.

Wat echt telt bij het meten van een inferentie-chip's prestaties zijn hoge MAC-gebruik, laag stroomverbruik, en een compact silicium-footprint. Eenmaal deze metrics begrepen, is de volgende logische stap het verkennen van de voordelen - en valkuilen - van het implementeren van meerdere chips in een enkel ontwerp.

Waarom meerdere chips lineaire winsten kunnen leveren

Wanneer een chip is ontworpen voor parallelisme, kan schalen naar twee, vier of meer eenheden, in theorie, de doorvoer proportioneel verhogen - vergelijkbaar met het uitbreiden van een een-baan snelweg naar een multi-baan corridor. De sleutel is om verkeersknelpunten te vermijden door de juiste chip te kiezen en het neurale netwerk correct te partitioneren.

Partitioneren van een neuraal netwerk over chips

Neurale netwerken zijn georganiseerd in lagen. Elke laag verbruikt de output-activaties van de vorige. In diepe modellen zoals ResNet-50 (50 lagen) of YOLOv3 (meer dan 100 lagen), genereren vroege lagen de grootste activaties, die geleidelijk krimpen naarmate het netwerk voortschrijdt.

Om een model over meerdere chips te splitsen, examineer zowel activatiegrootte als het aantal Multiply-Accumulate (MAC) operaties per laag. Het doel is om de workload te balanceren: elke chip moet een vergelijkbaar aantal MAC's en vergelijkbare datavolumes afhandelen. Als één chip het grootste deel van het werk verwerkt terwijl de ander onactief is, wordt de totale doorvoer beperkt door de langzamere eenheid.

Bovendien bepaalt het snijpunt in het model de data die tussen chips moet worden overgedragen. Het kiezen van een split waar de activatiegrootte minimaal is, vermindert inter-chip bandbreedtevereisten en latentie, wat voorkomt dat de communicatielink een prestatieknelpunt wordt.

Illustratief voorbeeld: YOLOv3 op twee vs. vier chips

Voor YOLOv3 draaiend op een 2-megapixel afbeelding met behulp van het Winograd-convolutie-algoritme, worden de cumulatieve MAC-operaties en activatie-uitvoergroottes geïllustreerd hieronder. Een twee-chip-configuratie splitt de workload typisch nabij de 50% MAC-markering, wat resulteert in ~1-2 MB activaties die tussen chips worden doorgegeven. Een vier-chip-opstelling zou snijpunten plaatsen op ongeveer 25%, 50% en 75%, met de vroegste split vaak 4-8 MB data-overdracht vereist.

Klik hier voor grotere afbeelding

Activatie-uitvoergrootte (blauwe balken) en cumulatieve MAC-operaties (rode lijn) voor YOLOv3/Winograd/2Mpixel afbeeldingen, illustrerend workloadverdeling over meerdere chips (Afbeelding: Flex Logix)

Prestatiemodellerings-tools benutten

Moderne prestatietools kunnen nu zowel single-chip als multi-chip-configuraties modelleren. Ze rekening houden met per-laag MAC-tellingen, activatiegroottes, en de impact van data-overdrachtbandbreedte. Accurate modellering is essentieel omdat onvoldoende inter-chip bandbreedte de theoretische versnelling kan annuleren.

Voor een vier-chip-pipeline nemen bandbreedte-eisen toe omdat de vroege lagen - waar activaties het grootst zijn - tussen alle eenheden gedeeld moeten worden. Terwijl hogere bandbreedte meer chips ondersteunt, voegt het ook overhead toe die elke chip moet dragen, zelfs als afzonderlijk geïmplementeerd.

Conclusie

Het implementeren van meerdere inferentie-chips kan significante prestatieverbeteringen ontgrendelen, maar alleen wanneer het neurale netwerk intelligent is gepartitioneerd en de gekozen chip-architectuur hoge MAC-gebruik en efficiënte data-verplaatsing ondersteunt. Prioriteer doorvoer boven headline-benchmarks zoals TOPS of ResNet-50-scores, en ontwerp het netwerk om te passen bij de chip's sterktes. Met de juiste strategie kunt u een single-lane inferentie-pipeline transformeren in een hoog-capaciteit, lage-latentie systeem.

— Geoff Tate, CEO van Flex Logix