AI-chips rijzen de pan uit, AI-software komt in de schijnwerpers

Terwijl de tech-industrie een 'renaissance' van kunstmatige intelligentie, is het aantal startups van AI-chips begonnen af ​​te vlakken naarmate grote spelers in-house oplossingen bouwen en zich meer richten op AI-software.

Terwijl de technische industrie een "renaissance" van kunstmatige intelligentie blijft aanprijzen, begint het aantal AI-chipstartups te stabiliseren. AI-startups ontdekken dat de toegangsdrempels voor datacenters, ooit een veelbelovende markt, hoog zijn - misschien wel onbetaalbaar. Hun probleem is terug te voeren op hyperscalers zoals Google, Amazon en Facebook die nu hun eigen AI-processors en accelerators ontwikkelen die aan hun specifieke behoeften voldoen.

Voor alle duidelijkheid:machine learning (ML) blijft vooruitgaan. Er duiken meer varianten van neurale netwerken op. AI wordt een intrinsiek onderdeel van elk elektronisch systeem.

Laurent Moll, chief operating officer bij Arteris, voorspelt dat in de toekomst "iedereen een soort AI in zijn SoC's heeft." Dat is goed nieuws voor Arteris, omdat het bedrijven (groot en klein, of nieuw en oud) helpt bij het integreren van SoC's door netwerk-on-chip (NoC) IP- en IP-ontwikkeltools te bieden.

Voor AI-chipstartups? Niet zo veel. De concurrentie wordt heviger, wat de uitdaging bemoeilijkt om marktsegmenten te kraken die geschikt zijn voor een bepaald AI-ontwerp.

EE Times zal volgende maand onze "Silicon 100" (2021-versie) onthullen, een jaarlijkse lijst van opkomende elektronica- en halfgeleiderstartups. De auteur van het rapport, Peter Clarke, volgt het opstarten van halfgeleiders al twintig jaar op de voet. Hij vertelt ons dat het aantal gespecialiseerde chipstartups, gericht op GPU's en AI, "plat is vergeleken met het voorgaande jaar." Hij merkt op:"We hebben het gevoel dat de industrie het punt van 'AI-piek' heeft bereikt."

Kortom, de saladedagen van AI-chipstartups zijn misschien voorbij.

Kevin Krewell, hoofdanalist bij Tirias Research, verwacht meer overnames van AI-chipstartups. “De explosie van AI-opstartfinanciering vond immers plaats nadat Intel Nervana had gekocht. VC's en angels zagen een mogelijke lucratieve exit-strategie." Hij voegde eraan toe dat er tegenwoordig “te veel [AI] startups zijn dan de industrie op lange termijn kan ondersteunen. Ik weet zeker dat er nog een paar zullen verschijnen met meer exotische oplossingen met betrekking tot analoog of optisch. [Maar] uiteindelijk zullen AI/ML-functies worden ondergebracht in grotere SoC's of in chipletontwerpen."

Laurent Moll

Tegen deze achtergrond, EE Times ging onlangs om de tafel met de nieuw aangestelde Chief Operating Officer van Arteris. Moll, die ooit CTO van Arteris was, heeft meer dan zeven jaar bij Qualcomm gewerkt, meest recentelijk als Vice President of Engineering van de mobiele chipgigant.

We vroegen Moll naar veranderingen in het AI-chiplandschap en waar de startups naartoe gaan.

Goudkoorts

Het is niet verwonderlijk dat Moll de vlucht van de industrie naar AI beschreef als "een van de grootste goudkoortsen" die hij ooit heeft gezien. Deze hedendaagse 49ers zijn echter niet langer alleen startups of kleinere bedrijven. De goudzoekers omvatten bedrijven die "al heel lang silicium maken, en veel nieuwe mensen die [eerder] geen silicium hebben gemaakt", zei Moll. Iedereen 'speelt in dezelfde arena' en iedereen 'probeert de noot te kraken'.

De groeiende basis van ontwikkelaars en diversificatie van applicaties speelt in het voordeel van Arteris, maar het schetst een heel ander beeld voor AI-chipstartups. Ze concurreren niet langer alleen met andere AI-startups met vergelijkbare heldere nieuwe ideeën. Maar nu nemen ze het ook op tegen de grote jongens. Hyperscalers en auto-OEM's zijn bezig met AI-ontwikkeling, zodat ze hun eigen chips voor hun systemen kunnen gebruiken.

Nog in uitbreidingsfase

De markt voor AI-chips bevindt zich "nog steeds in de uitbreidingsfase" en "iedereen is nog aan het verkennen", merkte Moll van Arteris op. Toch ziet hij de opkomst van "een beetje orde" op het front van het datacenter. Dit komt grotendeels omdat hyperscalers hun lot in eigen handen nemen door hun eigen AI-processors en accelerators te ontwikkelen.

Het onderscheid tussen hyperscalers en andere AI-chipontwerpers komt neer op één factor. "Ze bezitten datasets", zegt Moll. Hyperscalers delen geen datasets met anderen, maar ontwikkelen propriëtaire softwarestacks. "En ze hebben het gevoel dat ze silicium kunnen maken, veel meer geoptimaliseerd voor hun eigen gegevenstoegang."

Ondertussen ontwikkelen externe leveranciers - kleinere AI-chipstartups - "nieuwe methoden om SoC's te structureren, nieuwe manieren om SRAM en DRAM te gebruiken, te stapelen en optisch te gebruiken", zei Moll. "Er zijn veel manieren om een ​​geheime saus te maken, waardoor ze AI veel beter kunnen doen dan wat kant-en-klare AI-chips tegenwoordig kunnen doen. De kleinere jongens veranderen het spel, ze zijn erg slim in het doen van dingen anders dan anderen.”

Daarentegen zijn AI-chips die door hyperscalers worden nagestreefd niet zo innovatief. Hyperscalers kunnen het zich veroorloven om een ​​meer traditionele aanpak te gebruiken, merkte Moll op. Een goed voorbeeld is de TPU van Google. "Als je ernaar kijkt, is de architectuur geweldig, maar het is niet revolutionair - in veel opzichten." Desondanks:“Het werkt buitengewoon goed voor wat Google wil doen. Het dient dus hun doel.”

Als de chips van kleinere AI-startups zo nieuw zijn, zouden ze zich dan niet een weg moeten banen naar de datacenters van hyperscalers?

'Nee, nee, nee,' zei Mol. "Het is onwaarschijnlijk dat een van de kleinere jongens uitbreidt in de datacentermarkt ... of hyperscalers hun producten kopen." Hij merkte echter op dat "hyperscalers zeker een aantal van deze startups zullen kopen, zodra ze hebben gezien dat hun technologieën nuttig zijn en toepasbaar zijn op wat ze willen doen."

Moll beschreef de hyperscaler gedachtengang als:“Ik weet wat mijn dataset is. Ik weet hoe ik een soort meer gecentreerde architectuur moet maken. Als iemand een geweldig idee heeft dat goed werkt, laten we deze groep mensen en het IP-adres pakken en ons eigen product verbeteren."

Krewell van Tirias Research was het daarmee eens. "Je moet iets spectaculairs doen om hyperscalaires zover te krijgen dat ze je machine learning-chip gaan gebruiken." Cerebras, bijvoorbeeld, duwde de envelop met zijn flinterdunne chip, zei Krewell. "Nvidia is nog steeds het standaardplatform voor AI-ontwikkelingswerk vanwege de alomtegenwoordige software en schaalbaarheid."

Hoe zit het met de rand?

Voor AI-chipontwerpers is "de rand een heel ander verhaal", in vergelijking met datacenters, merkte Moll op. De eindmarkt voor de edge is veelzijdig, met een verlangen naar een veel groter scala aan oplossingen. "Veel mensen zijn nog aan het uitzoeken waar ze AI kunnen toepassen en hoe ze het moeten implementeren", zegt Moll.

klik voor afbeelding op volledige grootte

19 procent van de totale beschikbare markt voor halfgeleiders zal in 2025 gerelateerd zijn aan AI/ML. (Bron:Bernstein; Cisco; Gartner; IC Insights; IHS Markit; Machina Research; McKinsey-analyse — samengesteld door Arteris)

Krewell van Tirias Research was het daarmee eens. “Edge is nog een relatief onontgonnen gebied. Er zijn nog steeds mogelijkheden om ML toe te voegen aan sensoren en edge devices. Analoge en in-memory-apparaten met zeer laag vermogen zijn veelbelovend, evenals versnellers in MCU's en app-processors. Ik zie veel potentieel voor INT4- en INT2-inferentie in edge-processors - goede nauwkeurigheid met veel lagere stroom- en geheugenvereisten."

Hoewel verschillende toepassingen opwindend klinken, bestaat het gevaar dat je verstrikt raakt in de hype-cyclus van Edge AI.

Edge AI werd een modewoord, niet omdat edge een nieuwe markt is en het evenmin een specifieke productcategorie aanduidt. Integendeel, een gebrek aan definitie heeft 'edge' veranderd in een allesomvattende term waarmee startups hun producten kunnen associëren.

Onder de brede randtoepassingen ziet Moll twee uiteenlopende trends. Een daarvan is een "AI in een chip die iets anders doet", merkte hij op. "Dat is waar de explosie is."

Deze markt voor embedded systemen is "waar zaken als vormfactoren, vermogen en warmte er echt toe doen", voegde hij eraan toe.

Een andere trend aan de andere kant van het spectrum is "enorme chips die gewoon AI doen", merkte Moll op. Toepassingen voor grote chips aan de rand zijn echter nog in ontwikkeling.

Het beste voorbeeld van "AI in een chip" zijn waarschijnlijk applicatieprocessors voor smartphones, die Moll goed kent. AI-versnellers hebben een sleutelrol gespeeld bij spraakherkenning en beeldverwerking. Tegenwoordig is AI een groot deel van de aantrekkingskracht van mobiele telefoons geworden. Een resultaat is dat "de gevestigde exploitanten op het gebied van mobiel [zoals Qualcomm] voordelen hebben", erkende Moll.

AI in de auto-industrie

Moll ziet AI in voertuigen is een heel ander verhaal.

Hij merkte op dat er een spectrum aan oplossingen zal zijn, van AI-zware computer vision-chips tot een grote AI-chip die alle zware verwerkingen doet. Naarmate voertuigen evolueren van ADAS naar autonomie, verwacht Moll dat grotere AI-processors een cruciale rol zullen spelen op de duurdere voertuigmarkt.

Terwijl gevestigde exploitanten in de auto-industrie, vaak gewapend met hun eigen kleine AI-chips, voordelen hebben in ADAS, is er in de autonomiemarkt voldoende ruimte voor AI-chipstartups met vrij grote AI-chips.

Maar hier is de wending.

Auto-OEM's - die hyperscalers nabootsen - gaan ook verticaal. Tesla heeft al een eigen chip ontworpen, een zogenaamde "Full Self-Driving" computer. Een paar weken geleden vertelde Volkswagen-CEO Herbert Diess aan een Duitse krant dat het bedrijf van plan is om zijn eigen krachtige chips voor autonome voertuigen te ontwerpen en te ontwikkelen, samen met de benodigde software.

Moll bevestigde dat autofabrikanten "dit allemaal heel zorgvuldig bekijken". Ook al is Arteris een IP-bedrijf:"We krijgen telefoontjes van auto-OEM's omdat ze de hele stapel willen begrijpen en ze willen de controle hebben" over "de grote stapel silicium" die op het punt staat binnen te komen en de architectuur van het voertuig te veranderen .

AI-chipstartups zoals Recogni, Blaize en Mythic noemen automotive als een edge AI-marktsegment waarop ze zich richten. Hoe autofabrikanten dergelijke chips uiteindelijk in een voertuig zullen implementeren, valt nog te bezien.

Krewell benadrukte:“Automobielplatforms zijn nog steeds in ontwikkeling. Gedistribueerde functionaliteit heeft de voordelen van modulariteit en verminderd risico, maar het is duurder om te bouwen en te onderhouden dan een gecentraliseerd verwerkingscomplex.”

Hij voegde eraan toe:"Het andere probleem zijn gegevens. Sensoren zullen veel gegevens verzenden, met intelligentie aan de rand vermindert de gegevensoverdracht, maar dit gaat ten koste van een grotere sensorvertraging en meer verdeeld vermogen in het chassis. Een evenwicht tussen lichtgewicht edge-verwerking bij de sensor zou de belasting van de centrale processor kunnen verminderen zonder buitensporige latentie toe te voegen of te veel gedistribueerd vermogen te vereisen."

AI-strijd verschuift van chips naar software

Krewell merkte op:"Ik zie de focus van AI verschuiven van chips naar software. Het inzetten van ML-functionaliteit vereist goede software. En om ML toegankelijk te maken voor meer ingebedde ontwerpingenieurs en programmeurs, moet ML low-code worden gemaakt. Het vereist ook het automatiseren van het maken van aangepaste modellen voor de specifieke toepassing.”

Moll is tot een soortgelijke conclusie gekomen. Op de vraag waarom hij besloot terug te keren naar Arteris van Qualcomm, noemde hij twee punten.

Ten eerste speelden de Arteris in een niche - "een smalle plaats tussen IP-leveranciers." Maar die niche is nu "een van de belangrijkste ruimtes" geworden waar AI-chipontwerpers hulp zoeken om "zeer grote en gecompliceerde SoC's samen te stellen" door veel netwerken op chips te bouwen. Dat is waar een Network on Chip (NOC) van Arteris kan komen om problemen op een holistische manier op te lossen.

Ten tweede heeft Arteris IP vorig jaar Magillem overgenomen. Moll ziet de "softwarelaag" die door Magillem wordt aangeboden als een andere sleutel tot het creëren van een zeer grote en gecompliceerde SoC. Omdat ik bij Qualcomm verantwoordelijk was voor het team dat chips van het hoogste niveau leverde, "ben ik de waarde gaan inzien van wat Arteris biedt als gebruiker, niet als marketeer."

>> Dit artikel is oorspronkelijk gepubliceerd op onze zustersite, EE Tijden.