Slimme gebaar-naar-tekst handskoen voor gebarentaal

Onderdelen en benodigdheden

Apps en online diensten

Over dit project

RATIONALE De bedoeling achter dit project is om dove en spraakbeperkte kinderen te helpen normaal te leren en te communiceren via gebarentaal. Het voorgestelde apparaat kan handgebaren omzetten in elektriciteitssignalen die naar een microcontroller worden gestuurd, die ze omzet in letters of commando's. Dit zou een grote zegening zijn voor deze fysiek beperkte kinderen door de communicatiekloof tussen hun gemeenschap en de 'gewone' wereld te verkleinen. Het is een laagkost, compact, flexibel systeem dat minimale stroom verbruikt.

1. Om de implementatie van dit project als hulpmiddel voor het leerproces te stimuleren.
2. Om het concept van SOLE (Self Organised Learning Environment) toe te passen in de lesmethodiek.

MAATSCHAPPELIJKE IMPACT DOELEN

1. Het eindproduct gebruiken als leer- en communicatiehulpmiddel voor fysiek beperkte kinderen via gebarentaal. We kiezen voor handschoen-gebaseerde gebarenherkenning omdat het eenvoudig en gebruiksvriendelijk is.
2. Een gevoel van empathie ontwikkelen bij studenten tegenover fysiek beperkte kinderen. Het voelde goed om moed en motivatie te verspreiden onder teamleden. Maar er is iets dat me altijd stil maakt: het belang van het teruggeven aan de gemeenschap in ons leven. Belangrijker nog, leren hoe je teruggeeft aan de gemeenschap.

METHODOLOGIE

Om dit project uit te voeren, gingen we door het design thinking-proces:

1. Brainstormen
2. Idee en onderzoek
3. Ontwerpen van het prototype
4. Bouwen en programmeren (Arduino) van het prototype
5. Evaluëren en testen van het prototype

• Het was belangrijk om een kosteneffectief product te maken.

WERKING VAN DE SLIMME HANDSCHOEN

De handschoen detecteert verschillende handgebaren en verwerkt ze tot letters van de Amerikaanse Gebarentaal (ASL).

• Het voorgestelde systeem bestaat uit twee hoofddelen: 1. Zendersectie 2. Ontvangersectie
  • Apparaten in de zendersectie: 1. Buigsensoren 2. Versnellingsmeter 3. Arduino Pro-Micro Microcontroller 4. HC-05 Bluetooth Module. De handschoen bevat buigsensoren, de hoofdsensoren. Ze tonen variabele weerstand afhankelijk van de buighoek.

• De sensoren zijn aangesloten in een spanningsdeler-schakeling zodat de resulterende spanning naar een analoge poort van de microcontroller gaat. De handschoen heeft 5 buigsensoren, één op elke vinger.

BUIGSENSOR SCHAKELING AANSLUITINGEN De Amerikaanse Gebarentaal bevat ook letters die polsbewegingen vereisen. Daarom ondersteunt een versnellingsmeter de microcontroller bij het detecteren van gebaren. De microcontroller zal deze analoge stroomsignalen en versnellingsmeterwaarden mappen naar codes die elk gebaar corresponderen.

Het apparaat in de ontvangersectie is een laptop. De handschoen kan echter met elke Bluetooth-ontvanger communiceren om passende acties uit te voeren. De codes die de microcontroller mapt, worden verwerkt door de ontvanger zodat de laptop de gedetecteerde tekst op het scherm toont. Het kan ook spraak-naar-tekst converteren wat door een luidspreker afgespeeld kan worden.

UITKOMST EN ONDERWIJSLIJKE IMPLICATIES

PEDAGOGISCHE UITKOMST Dit project biedt een effectieve manier om studenten te betrekken en hen te helpen 21e-eeuwse vaardigheden te ontwikkelen zoals creativiteit, probleemoplossend vermogen, kritisch denken en presentatievaardigheden. Het SOLE-concept bereidt ze voor op probleemoplossing met effectief teamwerk gemotiveerd door een ruggengraat van motivatie.

MAATSCHAPPELIJKE UITKOMST Als geïmplementeerd, zou dit project nuttig zijn voor dove en spraakbeperkte kinderen door hen een medium te geven om met elkaar en met normale kinderen te communiceren. De standaard gebarentaal is voor een gemiddelde mens moeilijk te interpreteren. Dit apparaat kan de gebarentaal omzetten in stem, wat het proces vereenvoudigt. De output wordt ook op een scherm getoond voor dove kinderen. Ongeletterde dove en spraakbeperkte kinderen in de samenleving kunnen eenvoudige letters, woorden leren voor dagelijkse communicatie.

DE TOEKOMST VAN "DE SLIMME HANDSCHOEN"

TOEKOMSTIGE VERBETERINGEN

1. De handschoen is gemodelleerd op een specifieke hand. Omdat handen verschillen in grootte en bewegingsvrijheid, kunnen we de handschoen verbeteren om met elke handgrootte te werken door adaptieve leerpossibilities te geven.
2. In het huidige project wordt de output getoond via een PC. Voor betere draagbaarheid kan een Android-app worden ontwikkeld voor tekst- en spraakoutput op een Android-apparaat. Alternatief kan het algoritme op een Raspberry Pi geïmplementeerd worden voor draagbaarheid.
3. Bij grootschalige productie kan de hele schakeling in een enkele chip geïntegreerd worden.
4. Dit prototype kan ook aangepast worden voor visueel beperkte kinderen door ultrasone sensoren toe te voegen. Slimme handschoenen zullen een groot deel zijn van de toekomst van computing, dus ons prototype heeft potentieel voor een veel bredere marktimpact, zelfs als we begonnen met een humanitaire motivatie. Voor sommigen lijkt het odd om je handen te gebruiken om te spreken, maar gezien hoe vaak we communiceren via e-mail, chat, tweets, blogs en artikelen zonder onze stem te gebruiken, zijn we die oraal kunnen communiceren in een betere positie dan ooit om de inspanningen van de slimme handschoen te vieren naast hen die naar de technologie uitkijken.

GELD ZAKEN! De benaderingskost van elke handschoen die we maakten is ongeveer Rs. 6000/-, maar we verwachten dat dit met bijna 50% daalt zodra we de ontwikkeling verfijnen en het apparaat in massa produceren. Het product kan gerepliceerd worden door andere scholen en instellingen voor het onderwijzen en ontwikkelen van communicatievaardigheden bij dove en spraakbeperkte kinderen.

REFERENTIES

Dit project was niet mogelijk zonder bronnen van diverse internetbronnen:

1. SparkFun Flex Sensor Hookup Guide
2. KSCST project
3. Cornell ECE project
4. NIDCD American Sign Language
5. Arduino.cc
6. Deaf Library ASL

Aangepaste onderdelen en behuizingen

smart_hand_glove_3d_model_gt3SG3iqaE.obj