Aya

Aya is een interactieve robot die uw foto opslaat om u te herkennen en met u te communiceren. Winnaar van Hack the North 2017 en beste gebruik van AWS.

Verhaal

Inspiratie

Toen we zagen wat Amazon deed met Alexa en wat Google deed met thuis, waren we er zeker van dat het tijdperk van geautomatiseerde persoonlijke assistenten aangebroken was. We vroegen ons echter af hoe we ze menselijker konden maken:Aya is een proof of concept voor persoonlijke robotassistenten die er menselijk uitzien en aanvoelen.

Wat het doet

Aya is een interactieve robot die je foto opslaat om je te herkennen en om je te vertellen welk object je vasthoudt.

Hoe we het hebben gebouwd

Aya is een nachtmerrie voor embedded systemen! Een servosysteeminterface met audiocodecs die op verschillende threads worden uitgevoerd voor multiprocessing.

We hebben de fysieke onderdelen 3D-geprint (met dank aan InMoov®, een open source-robot) in een proces dat meer dan 26 uur duurde. Het werd gebouwd en geassembleerd op Hack the North 2017.

Aya gebruikt AWS Rekognition om gezichtsgeometrieën te vergelijken om mensen te herkennen die ze al heeft ontmoet en om nieuwe mensen te ontmoeten. We kiezen het object met het hoogste vertrouwen dat niet menselijk is en voeren dat door Amazon Polly, dat een.ogg-bestand genereert. Terwijl dit allemaal gebeurt, loopt parallel een andere thread met aangepaste servobesturingen om de kaak te laten bewegen met spraak.

Uitdagingen die we tegenkwamen

Hardwarehacks zijn moeilijk! We kwamen duizend problemen tegen, niet beperkt tot:smeltende draden, brandende breadboards, oververhitte servo's en natuurlijk onderdeeltoleranties!

Een ander moeilijk aspect van het project was de servobesturing - hiervoor moest een nieuwe thread worden gestart en servobesturingen tegelijk met spraak worden uitgevoerd.

Softwarematig, aangezien Amazon Rekognition alleen een reeks labels en hun betrouwbaarheidsniveaus uitvoert, is het vaak moeilijk om het meest relevante label voor een afbeelding te kiezen. We hebben geprobeerd dit op te lossen door k . te gebruiken - betekent clustering om groepen van vergelijkbare woorden te genereren en vervolgens zinnen voor elke groep te genereren. Omdat hardware echter zoveel van onze tijd in beslag nam, hadden we helaas niet de tijd om dit volledig te implementeren.

Ten slotte was dit alles doen met een budget van 36 uur (slapen niet meegerekend!) de grootste uitdaging van allemaal, maar het dwong ons om ons aan een schema te houden en ons project flexibel te maken.

Prestaties waar we trots op zijn

We zijn er trots op dat we het servosysteem en de software op elkaar hebben kunnen afstemmen. Bovenal zijn we trots dat we als team ongelooflijk goed hebben samengewerkt, met weinig wrijving en een geweldige output.

Wat volgt er voor Aya

We willen werken aan het gebruik van TensorFlow voor het clusteren van de uitvoer van de AWS-herkenning, en pyAudioAnalysis om golfvormanalysetechniek toe te passen op het gegenereerde audiobestand om het geluid beter te synchroniseren met de servo-aansturing.

Lees meer informatie...

Aya