Aya: Prijswinnende Interactieve Robot Persoonlijke Assistent Aangedreven door AWS

Aya is een prijswinnende interactieve robot die AWS Rekognition gebruikt om gezichten te herkennen en objecten te identificeren, en natuurlijke spraakresponsen levert via Amazon Polly.

Verhaal

Inspiratie

Het zien van Amazon's Alexa en Google Home ontketende onze visie van een echt menselijke persoonlijke assistent. Aya is ons proof-of-concept robot dat menselijke uiterlijk combineert met geavanceerde AI.

Wat Het Doet

Aya slaat een gebruikersfoto op om hen te herkennen en kan het object voor haar identificeren, het resultaat communicerend via gesproken taal.

Hoe We Het Bouwden

Het bouwen van Aya vereiste een complex ingesloten systeem: servocontroles liepen op aparte threads van audio codecs om gelijktijdige spraak en kaakbeweging mogelijk te maken. We 3D-printten het chassis – een open-source InMoov-ontwerp – gedurende 26 uur tijdens Hack the North 2017. Het systeem steunt op AWS Rekognition voor gezichtsvergelijking, Amazon Polly voor spraaksynthese, en een parallelle thread voor realtime servo-actuatie.

Uitdagingen

Hardware-obstakels variëerden van smeltende draden en verbrande breadboards tot servo-oververhitting en tolerantieproblemen. Het synchroniseren van servocontrole met spraak vereiste zorgvuldige multithreading. Aan de softwarekant bleek het kiezen van het meest relevante label uit Rekognition's confidence-array lastig; we verkenden k-means clustering maar tijdsbeperkingen beperkten volledige implementatie. Al dit binnen een 36-urige hackathon voltooien, met minimaal rust, dwong ons om agile en gefocust te blijven.

Prestaties Waar We Trots Op Zijn

We integreerden het servosysteem succesvol met de softwarestack en handhaafden uitstekende teamcollaboratie doorheen het evenement, wat resulteerde in een afgerond eindproduct.

Wat Er Komt Voor Aya

Toekomstig werk omvat het toepassen van TensorFlow om Rekognition-uitvoeren te clusteren en het gebruik van pyAudioAnalysis om audiogolven nauwkeuriger te synchroniseren met servobeweging.

Lees Meer Informatie…

Aya