Google AI genereert code die beter presteert dan menselijke programmeurs

In mei 2017 kondigde het Google Brain Team een nieuwe aanpak aan, genaamd AutoML. Het is een neuraal netwerk van de controller voor het ontwikkelen van kindermodelarchitectuur, dat kan worden getraind om een ​​bepaalde taak uit te voeren. Simpel gezegd is het een AI die zijn eigen AI kan genereren.

De gebruikte dataset

Google-onderzoekers hebben AutoML getest op kleine academische datasets zoals Penn Treebank en CIFAR-10. Later besloten ze AutoML de zwaarste uitdaging tot nu toe voor te leggen. Deze keer testten ze grotere datasets zoals COCO-objectdetectie en ImageNet-beeldclassificatie, en het resultaat was verbluffend.

Verschillende geavanceerde machine learning-architecturen zijn door mensen ontwikkeld om aan grotere datasets in academische competities te werken. Bij het leren van overdraagbare architecturen voor schaalbare beeldherkenning hebben Google-onderzoekers AutoML toegepast op twee van de populairste academische datasets:COCO en ImageNet. Als u AutoML standaard op deze enorme datasets toepast, duurt het enkele maanden training voordat u het gewenste resultaat krijgt.

Hoe het werkt?

AutoML is gebouwd op versterkende leeralgoritmen en evolutionaire algoritmen. Om het echter op ImageNet toe te passen, hebben onderzoekers het aangepast zodat het beter toepasbaar is op grootschalige datasets  –

1. De zoekruimte opnieuw ontworpen om de beste laag te vinden, die flexibel meerdere keren kan worden gestapeld om een uiteindelijk netwerk te bouwen
2. Het zoeken naar architectuur wordt uitgevoerd op CIFAR-10 en de best geleerde architectuur wordt verzonden naar COCO-objectdetectie en ImageNet-beeldarchitectuur.

Na deze wijzigingen kon AutoML de beste lagen vinden, niet alleen voor CIFAR-10, maar ook voor COCO-objectdetectie en ImageNet-classificatie. Deze twee lagen zijn samengevoegd om een nieuwe architectuur te bouwen, genaamd NASNet .

Zoals weergegeven in de afbeelding bevat de NASNet-architectuur (ontwikkeld door AutoML) 2 soorten lagen:normale laag en reductielaag

Bron:Google Researchblog

Resultaten

NASNet behaalde een voorspellingsnauwkeurigheid van 82,7% op het gebied van ImageNet-beeldclassificatie, wat veel beter is dan eerdere modellen die door het Google Brain-team zijn gebouwd. Bovendien presteerde het 1,2% beter dan eerdere gepubliceerde en niet-gepubliceerde resultaten.

Het formaat van NASNet kan ook worden aangepast om een reeks modellen te genereren die een behoorlijke nauwkeurigheid bereiken en tegelijkertijd lage rekenkosten behouden. Een kleine versie van NASNet levert bijvoorbeeld een nauwkeurigheid van 74% op (terwijl de rekenkosten tot de helft worden teruggebracht), wat meer dan 3% beter is dan verschillende ultramoderne modellen van dezelfde grootte, ontworpen voor mobiele platforms.

Zoals u in de figuur(en) kunt zien, zijn de nauwkeurigheid van NASNet hoger dan die van door mensen bedachte modellen bij talrijke modelgroottes, waarbij verschillende aantallen (in miljoenen) bewerkingen en parameters betrokken zijn, voor ImageNet-beeldclassificatie.

Deze tabel toont de prestaties van architectuurzoekopdrachten en andere door mensen ontwikkelde modellen op het gebied van ImageNet-classificatie. Mult-Adds verwijst naar het aantal samengestelde vermenigvuldig-accumulerende bewerkingen voor één afbeelding.

Objectdetectie met Faster-RCNN met NASNet

Google-onderzoekers hebben de functies die ze van ImageNet hebben geleerd, overgedragen naar COCO-objectdetectie. In de tests overschaduwde de integratie van geleerde functies van ImageNet met het Faster RCNN-framework de eerdere voorspellende prestaties op de COCO. Het grootste model behaalde een mAP van 43,1%, wat ongeveer 4% beter is dan de resultaten uit het verleden van de modernste modellen.

Referentie: arxiv.org

De broncode van NASNet voor gevolgtrekking over beeldclassificatie en voor objectdetectie is beschikbaar op Github.

Wat is het volgende?

De functies die NASNet heeft geleerd op COCO en ImageNet kunnen worden hergebruikt voor verschillende vision-apps. Bovendien kan deze aanpak ons iets leren over waarom specifieke typen neurale netwerken zo goed presteren.

AutoML zou het gebied van machinaal leren kunnen ontsluiten voor niet-experts, en zou kunnen worden gebruikt om geavanceerde, door AI aangedreven machines/robots te ontwikkelen. Volgens onderzoek kan AI op dit intelligentieniveau mensen met een visuele beperking helpen weer te zien.

Uiteraard kan deze architectuur worden gebruikt in zelfrijdende auto's. U kunt zich ook voorstellen dat het systeem helpt bij het identificeren van verkeer, gevaren op de weg en voetgangers. Het kan ook worden gebruikt in Augmented Reality om applicaties beter te laten communiceren met de omgeving. Maar misschien moeten de meest intrigerende toepassingen van deze AI nog ontdekt worden.

Lees:15 geavanceerde kunstmatige intelligentieprojecten

In de toekomst zal het onderzoeksteam van Google werken aan het analyseren en testen van dit soort computergegenereerde architecturen om ze te verfijnen en beter te begrijpen. Als ze hierin slagen, kunnen ze een geheel nieuw type neurale netwerken inspireren, dat een grotere impact op iedereen zou hebben.