Speathe: Adem-gedreven communicatie voor gelumde gebruikers

Speathe is een innovatief, evoluerend communicatieplatform dat de adempatronen van een gebruiker omzet in hoorbare spraak en tekst. Ontworpen voor individuen die spraak verloren hebben door verlamming, biedt het een discrete, handvrije methode om berichten, emoties en alledaagse zinnen over te brengen.

Hardwarecomponenten

Speaker

3 W, 4 Ω speaker voor heldere audio-uitgang.

Android-apparaat

Draait de React-Native mobiele applicatie.

Walabot

Akustische sensor die ademenergie vastlegt en classificeert als korte of lange ademhalingen.

Raspberry Pi 3 Model B

Draait de Python-backend en Flask-server.

Softwarestack

• Python 3 – voor de backend-logica en Walabot-integratie.
• Flask – lichtgewicht webserver op de Raspberry Pi.
• React-Native – cross-platform mobiele interface.

Hoe het werkt

Ademdetectie & Morse-achtige codering

De Walabot-sensor meet de energie van elke ademhaling. Na een korte kalibratie worden ademenergieën vergeleken met een drempel om ademhalingen te classificeren als kort (punt) of lang (streep). Een reeks ademhalingen wordt vertaald naar een Morse-codepatroon (bijv. "-.-.-"). De Raspberry Pi matcht dit patroon met vooraf gedefinieerde letters en zinnen.

Vooraf gedefinieerde acroniemen

Om type-inspanning te verminderen, mappen veelvoorkomende drie-letter acroniemen (bijv. ABC, XYZ) direct naar volledige zinnen. Wanneer het systeem een acroniem detecteert, toont de mobiele app de uitgebreide tekst onmiddellijk.

Serverarchitectuur

De Raspberry Pi host een Flask-server op een statisch IP. Het ontvangt adem-afgeleide data, slaat de huidige "message"-variabele op en blootlegt endpoints voor de mobiele app om te polllen of responses te posten.

sudo nano /etc/dhcpcd.conf
# Voeg aan het einde van het bestand toe
interface eth0
static ip_address=192.168.43.211
static routers=192.168.43.1
static domain_name_servers=192.168.43.1
interface wlan0
static ip_address=192.168.43.211
static routers=192.168.43.1
static domain_name_servers=192.168.43.1
# Opslaan met Ctrl+O en afsluiten met Ctrl+X
sudo reboot

Mobiele applicatie

De React-Native-app pollt continu het Flask-eindpunt voor het laatste bericht. Wanneer een niet-lege string ontvangen wordt, toont het de tekst en speelt het het hard af. Gebruikers kunnen antwoorden door in de app te typen, wat de tekst terug naar de server post. De server spreekt het antwoord dan uit via de speaker, wat tweerichtingscommunicatie mogelijk maakt.

Implementatiestappen

1. Installeer Python 3 op de Raspberry Pi.
2. Download de Walabot SDK voor jouw OS. Verken het meegeleverde BreathingExample.py om sensor-data-acquisitie te begrijpen.
3. Zet de Flask-server op de Raspberry Pi op en configureer een statisch IP zoals hierboven getoond.
4. Bouw de React-Native-app, werk de server-URL bij om te matchen met het IP van je Pi.
5. Verbind de Walabot met de Pi, de speaker en het Android-apparaat via Wi‑Fi.
6. Start de app, voer een snelle kalibratie uit en begin te spreken door adem.

Testen

Draai de Python-backend op de Raspberry Pi, zorg dat het statische IP bereikbaar is, en deploy de APK op je Android-apparaat. Open de app, lijn je adempatroon af, en observeer realtime vertaling van adem naar tekst.

Voor meer gedetailleerde codevoorbeelden en debug-tips, raadpleeg de repository's documentatie.

Word lid van de community

We nodigen ontwikkelaars, onderzoekers en gezondheidsprofessionals uit om bij te dragen aan de evolutie van Speathe. Samen kunnen we een robuuste, toegankelijke communicatiehulp creëren voor de gelumde gemeenschap.

Contact & Bronnen

• Walabot API Docs: https://walabot.com/api/_pythonapi.html
• Python 3 Downloads: https://www.python.org/downloads/
• React-Native: https://reactnative.dev/