Speathe

Spreken door te ademen:een intelligent communicatiesysteem voor verlamden .

Dingen die in dit project worden gebruikt

Hardwarecomponenten

Luidspreker:3W, 4 ohm

Android-apparaat

Walabot

Raspberry Pi 3 Model B

Software-apps en online services

Python

reactief

Verhaal

Speathe:een innovatieve en evoluerende communicatiemethode voor verlamden die sprakeloos zijn na verlamming. Ook al zijn er methoden voor de verlamde Speathe helpt een handje door de adem om te zetten in auditieve geluiden en overdraagbare teksten. Ik hoop dat er een grote evolutie van deze code zal plaatsvinden en ik verzoek alle enthousiastelingen hieraan te werken om dit een effectieve communicatie te maken voor onze verlamde medemensen.

Hardwarecomponenten

Speathe-componenten

Walabot luistert naar de ademhaling en classificeert deze in korte en lange ademhalingen. Raspberry zal stippen en streepjes toewijzen aan respectievelijk korte en lange ademhalingen en voegt ze toe om een ​​alfabet te vormen. Er zijn verzamelingen van 3-letterige acroniemen die vooraf gedefinieerde betekenissen hebben om de communicatie te vereenvoudigen. Raspberry bepaalt het woord speathe per gebruiker en wijst een waarde toe aan een variabele en plaatst de gegevens op de server die in python draait. De mobiele applicatie is ontwikkeld met behulp van react-native die continue verzoeken naar de server stuurt op zoek naar de waarde van de variabele. Telkens wanneer een niet-null-waarde wordt ontvangen, geeft de mobiele app deze weer. We bieden ook een extensie voor mensen om terug te reageren op verlamde door de tekst die door de gebruiker is getypt terug naar de server te posten en deze luid uit te spreken voor de verlamde.

Softwareontwikkeling

1. Walabot SDK instellen en programmeren met Python

Als je de Python IDE niet hebt geïnstalleerd, is Python3 beschikbaar op: https://www.python.org/downloads/

Als dat klaar is, kun je de Walabot SDK downloaden voor je besturingssysteem. Gedetailleerde informatie over de Walabot Python API is beschikbaar op: https://walabot.com/api/_pythonapi.html

Als je het.deb-bestand eenmaal hebt geïnstalleerd, kun je in de bronmap verschillende voorbeeldprogramma's vinden die zijn geschreven voor zowel C++ als Python. De voorbeeldprogramma's zijn ook beschikbaar op de Walabot API-website. Voor dit project raad ik aan om het BreathingExample python-programma te doorlopen.

2. Ademdetectie en letter matching

Het vermogen van walabot om de ademhalingsenergie te bepalen, wordt gebruikt om lange en korte ademhalingen te bepalen. We nemen 10-15 opeenvolgende lussen en als de energie daarin aanzienlijk hoog is dan een drempelwaarde, wordt deze toegewezen aan een lange adem en als de energie lager is dan de drempel, is het een korte ademhaling. In die zin kan voor elke persoon een eenmalige kalibratie nodig zijn.

Na het detecteren van lange en korte ademhalingen, opeenvolgende ademhalingen en gerangschikt in een array met '-' voor lange ademhalingen en '.' voor korte ademhalingen die een morsecode kunnen vormen zoals ['-.-.-' ]. Specifieke morsecodepatronen en voorgedefinieerd voor letters en als ademhalingen daarmee overeenkomen, wordt die letter uitgesproken.

3. Letters, woorden, zinnen, gevoelens

We hebben in de eerste versie van Speathe drieletterige acroniemen ontwikkeld voor veelvoorkomende uitdrukkingen die in het dagelijks leven worden gebruikt, zodat de verlamden niet te veel zullen spreken. Als een drieletterige acroniemovereenkomst wordt gevonden, wordt de waarde van de variabele die door de mobiele applicatie wordt genomen, vervangen door de overeenkomstige zin. Zo is een effectieve communicatie mogelijk voor degenen die volledig verlamd zijn.

4. Server

De server draait op raspberry pi en wordt volledig beheerd door python. Flask-module wordt gebruikt om de server in Raspberry Pi 3 te laten draaien. Een statisch IP-adres is ingesteld op Raspberry Pi en de server wordt gestart op een poort (zeg 80).

Hoe in te stellen Statisch IP

1. Typ sudo nano /etc/dhcpcd.conf bij de opdrachtprompt.

2. Scroll naar de onderkant van het script en voeg de volgende regels toe:

interface eth0
statisch ip_address=192.168.43.211
statische routers=192.168.43.1
statisch domain_name_servers=192.168.43.1
interface wlan0
statisch ip_address=192.168.43.211
statische routers=192.168.43.1
statische domain_name_servers=192.168.43.1

3. Sla het bestand op met ctrl + o en sluit nano af met ctrl + x.

4. Start opnieuw op met sudo reboot.

5. Mobiele applicatie

De mobiele applicatie is ontwikkeld in react-native. React-native verzoeken voor de waarde op dezelfde poort van de server. Wanneer een waarde wordt gevonden, wordt deze weergegeven in de gebruikersinterface. En als de gebruiker iets terug wil sturen, post de reactie-native de gegevens naar een variabele in de server en python-code die de waarde van die variabele controleert, zal het luider uitspreken zodat de verlamde en horen en een antwoord geven, indien nodig.

Mobiele app zoekt clientMobiele applicatie ontvangt bericht 'Apple' van paralyzedBericht terug naar server

5. Testen

Voer de python-bestanden uit in Raspberry Pi en stel een statisch IP-adres in voor uw Raspberry Pi. Wijzig het IP-adres en poortadres in de JavaScript-code en render de apk. In mijn geval heb ik het IP-adres ingesteld op 192.168.43.211 en de debug-apk wordt in de repository gegeven. Nadat de apk is gegenereerd, verbindt u de Raspberry Pi met het Android-apparaat via Wi-Fi en verbindt u walabot met de Raspberry Pi. Open gewoon de applicatie en start Speathing.

Lees meer informatie….

Spreken