Speathe

Parler par la respiration :un système de communication intelligent pour les paralysés .

Choses utilisées dans ce projet

Composants matériels

Haut-parleur :3 W, 4 ohms

Appareil Android

Walabot

Raspberry Pi 3 modèle B

Applications logicielles et services en ligne

Python

réactif-natif

Histoire

Speathe :Une méthode de communication innovante et évolutive pour les paralysés qui restent sans voix après la paralysie. Même s'il existe des méthodes pour le paralysé, Speathe donne un coup de main en convertissant son souffle en sons auditifs et en textes transférables. J'espère qu'il y aura une grande évolution de ce code et je demande à tous les passionnés de travailler dessus pour en faire une communication efficace pour nos semblables paralysés.

Composants matériels

Composants Speathe

Walabot écoutera la respiration et la classera en respirations courtes et longues. Raspberry attribuera respectivement des points et des tirets aux respirations courtes et longues et les ajoutera pour former un alphabet. Il existe des collections d'acronymes à 3 lettres qui ont des significations prédéfinies pour simplifier la communication. Raspberry déterminera le mot prononcé par l'utilisateur et attribuera une valeur à une variable et publiera les données sur le serveur fonctionnant en python. L'application mobile est développée en utilisant react-native qui envoie des requêtes continues au serveur cherchant la valeur de la variable. Chaque fois qu'une valeur non nulle est reçue, l'application mobile l'affiche. Nous fournissons également une extension permettant aux personnes de répondre aux paralysés en publiant le texte tapé par l'utilisateur sur le serveur et en le prononçant à haute voix pour les paralysés.

Développement de logiciels

1. Configuration du SDK Walabot et programmation à l'aide de Python

Si vous n'avez pas installé l'IDE Python, Python3 est disponible sur : https://www.python.org/downloads/

Une fois cela fait, vous pouvez télécharger le SDK Walabot pour votre système d'exploitation. Des informations détaillées sur l'API Python Walabot sont disponibles sur : https://walabot.com/api/_pythonapi.html

Une fois que vous avez installé le fichier.deb, vous pouvez trouver divers exemples de programmes écrits pour C++ et Python dans le répertoire source. Les exemples de programmes sont également disponibles sur le site Web de l'API Walabot. Pour ce projet, je recommanderais de suivre le programme python BreathingExample.

2. Détection du souffle et correspondance des lettres

La capacité du walabot à déterminer l'énergie de la respiration est utilisée pour déterminer les respirations longues et courtes. Nous allons prendre 10 à 15 boucles successives et si l'énergie y est considérablement plus élevée qu'une valeur seuil, alors elle est attribuée à une respiration longue et si l'énergie est inférieure au seuil, c'est une respiration courte. En ce sens, un étalonnage unique peut être nécessaire pour chaque personne.

Après avoir détecté des respirations longues et courtes, des respirations successives et disposées dans un tableau avec '-' pour les respirations longues et '.' pour les respirations courtes qui peuvent former un code Morse comme ['-.-.-' ]. Modèles de code Morse spécifiques et prédéfinis pour les lettres et si les respirations leur correspondent, cette lettre est prononcée.

3. Lettres, mots, phrases, sentiments

Dans la première version de Speathe, nous avons développé des acronymes en trois lettres pour les expressions courantes utilisées dans la vie de tous les jours, afin que les paralysés ne parlent pas trop. Si une correspondance d'acronyme à trois lettres est trouvée, la valeur de la variable qui est prise par l'application mobile est remplacée par la phrase correspondante. Ainsi, une communication efficace est possible pour ceux qui sont complètement paralysés.

4. Serveur

Le serveur fonctionne sur raspberry pi et est entièrement contrôlé par python. Le module Flask est utilisé pour exécuter le serveur dans Raspberry Pi 3. Une adresse IP statique est définie sur Raspberry Pi et le serveur est démarré sur un port (disons 80).

Comment configurer Statique IP

1. Tapez sudo nano /etc/dhcpcd.conf à l'invite de commande.

2. Faites défiler jusqu'en bas du script et ajoutez les lignes suivantes :

interface eth0
static ip_address=192.168.43.211
static routers=192.168.43.1
static domain_name_servers=192.168.43.1
interface wlan0
static ip_address=192.168.43.211
routeurs statiques=192.168.43.1
serveurs_domaines_statiques=192.168.43.1

3. Enregistrez le fichier avec ctrl + o, puis quittez nano avec ctrl + x.

4. Redémarrez avec sudo reboot.

5. Application mobile

L'application mobile est développée en react-native. React-native demandes pour la valeur sur le même port de serveur. Lorsqu'une valeur est trouvée, elle s'affiche dans l'interface utilisateur. Et si l'utilisateur veut renvoyer quelque chose, réagit-native publie les données dans une variable du serveur et le code python en vérifiant la valeur de cette variable la prononcera plus fort afin que le paralysé entende et réponde, si nécessaire.

L'application mobile recherchant le client L'application mobile a reçu le message « Apple » de paralysedMessage vers le serveur

5. Tests

Exécutez les fichiers python dans Raspberry Pi et définissez une adresse IP statique pour votre Raspberry Pi. Modifiez l'adresse IP et l'adresse de port dans le code JavaScript et affichez l'apk. Dans mon cas, j'ai défini l'adresse IP sur 192.168.43.211 et l'apk de débogage est donné dans le référentiel. Une fois l'apk généré, connectez Raspberry Pi à un appareil Android via Wi-Fi et connectez Walabot à Raspberry Pi. Ouvrez simplement l'application et lancez Speathing.

Lire plus d'informations….

Spethe