Système de traduction langue des signes
Objectif du projet : ce projet propose la mise au point d'une solution technologique de traduction de la langue des signes. Une solution proposée est l'utilisation d'un Data Glove, une autre l'analyse d'images.
Sommaire
État de l'art
Les personnes sourdes et malentendantes font face à de nombreuses difficultés dans notre société; c’est donc pour cela que des systèmes de traduction de la langue des signes ont été en réflexion. Ces systèmes représentent une réponse incontournable pour garantir l'accessibilité universelle à l'information et à la communication. En effet, avec les progrès technologiques rapides de ces dernières décennies, il est devenu impératif de veiller à ce que personne ne soit exclu de la communication en raison de sa surdité ou de sa malentendance. Les langues des signes étant souvent méconnues et mal comprises, ces systèmes de traduction comblent un vide linguistique crucial, permettant ainsi de faciliter les échanges entre les personnes sourdes ou malentendantes et les personnes entendantes.
Projets suggérés
Voici quelques technologies qui ont été développées :
- Un ensemble composé d'un bracelet et de plusieurs bagues qui peut traduire le langage des signes :
Ce système va analyser les mouvements des mains et des doigts, puis va retransmettre en voix ce que le porteur signe. Son interlocuteur pourra ainsi comprendre ce qu'il dit même s'il ne comprend pas le langage des signes. Le système pourra également détecter les phrases de l'interlocuteur et les traduire sous forme écrite sur le bracelet qui comporte un petit écran.
- My Voice, l’appareil qui traduit la langue des signes en sons:
un groupe d’étudiants de l’Université de Houston, a mis au point un appareil nommé My voice, qui peut traduire la langue des signes en sons et vice-versa. L’appareil tient dans une main. Il comprend un microphone, un haut-parleur, une caméra vidéo et un écran. A l’aide de la caméra vidéo, l’appareil détecte les mouvements de mains pour traduire la langue des signes en sons. Il peut également faire l’inverse en traduisant des paroles en langue des signes grâce à l’affichage sur l’écran.
D'autre part , il y a la technologie '"SignALL" qui est une technologie se reposant sur l’intelligence artificielle et est utilisée pour traduire les langues des signes (ASL, LSF.. multiplicité des langues) dans différentes langues. Cette technologie prend les mouvements de la main grâce à un gant électronique (Data Glove) conçu exprès et analyse ce qui est dit en langue des signes et la caméra pour regarder les expressions du visage.
C'est vrai que l'idée du Data glove reste une des meilleurs jusqu'à maintenant , en effet , c'est déjà plus pratique et facile à porter pour la vie quotidienne ainsi que la plus abordable niveau coût 50 dollars
Un projet dans lequel L’UE a contribué avec 50 000 euros et le projet a coûté environ 71 500 euros.
D’après CORDIS (le site de la recherche de l’UE), au moins 5% de la population mondiale (466 millions de personnes) souffrent d’une perte auditive incapacitante et 800 000 personnes utilisent la langue des signes pour communiquer dans l’UE.
-> Ces personnes ont donc du mal à s’intégrer pleinement dans la société et nécessitent une solution digne d'être utilisée dans la vie quotidienne .
Les défis à relever
Il est vrai que la réalisation d'un système de traduction de langues de signes fiable et de prix abordable reste un défi et présente des limitations qui soulèvent plusieurs questions et problématiques :
Précision et fiabilité : Les traductions doivent être précises et fiables pour assurer une communication fluide et efficace. Les systèmes actuels peuvent parfois présenter des erreurs de traduction ou des incompréhensions, ce qui peut entraîner des malentendus et des difficultés de communication.
Variabilité linguistique: La langue des signes est riche et diversifiée, avec des variantes régionales et culturelles. Les systèmes de traduction doivent être capables de prendre en compte cette variabilité linguistique pour garantir des traductions adaptées à différents contextes et utilisateurs.
Accessibilité et disponibilité: Les systèmes de traduction de langue des signes doivent être accessibles à tous, quel que soit leur niveau de maîtrise de la langue des signes ou leur accès aux technologies. Il est essentiel de développer des solutions qui soient facilement disponibles et utilisables par le plus grand nombre.
Intégration sociale: Les technologies de traduction de langue des signes ne doivent pas seulement se concentrer sur la traduction linguistique, mais aussi sur l'intégration sociale des personnes sourdes ou malentendantes dans différents contextes, tels que l'éducation, le travail et les interactions sociales.
Malgré les progrès réalisés dans le domaine des systèmes de traduction de langue des signes, il reste encore des défis à relever :
Complexité gestuelle: Les systèmes de traduction doivent être capables de reconnaître et d'interpréter cette complexité gestuelle de manière précise et efficace.
Biais technologique: Les systèmes de traduction de langue des signes sont souvent développés par des personnes entendantes, ce qui peut entraîner des biais culturels et linguistiques dans la conception et l'implémentation de ces systèmes. Il est important de veiller à ce que les perspectives des utilisateurs sourds ou malentendants soient prises en compte dans le processus de développement.
Dépendance technologique: Bien que les technologies de traduction de langue des signes puissent faciliter la communication, elles ne doivent pas remplacer les interactions humaines et l'apprentissage de la langue des signes. Il est essentiel de trouver un équilibre entre l'utilisation des technologies et le maintien des compétences linguistiques et culturelles.
les systèmes de traduction de langue des signes ont le potentiel de transformer la manière dont les personnes sourdes ou malentendantes communiquent avec le monde qui les entoure. Cependant, pour réaliser pleinement ce potentiel, il est nécessaire de relever les défis techniques, linguistiques, culturels et sociaux associés à ces systèmes.
Besoins en matériel
- Flexomètres : capteur électronique qui mesure le taux de flexion ; plus l'angle de flexion est élevé, plus la résistance est grande.
- La carte ESP32 Thing est une carte de développement complète, avec tous les éléments nécessaires pour programmer, exécuter et développer un projet connecté.
- Un câble USB - Micro-USB
- Une breadboard
- Des résistances afin de réaliser des ponts diviseurs de tension
- Des câbles
A la découverte du flexomètre !
Lorsque le capteur subit une flexion, il convertit cette flexion en un signal électrique mesurable, généralement une variation de résistance électrique. Cette variation peut être proportionnelle à la quantité de flexion, permettant ainsi de mesurer avec précision la déformation de l'objet.
On a commencé par mesurer la valeur de résistance aux bords du flexomètre dans les deux cas (on doit faire cela pour chaque flexomètre):
- à plat : R = 10,94 KΩ
- plié : R = 24,14 KΩ
Ce qui nous a donné une plage de ΔR = 13,18 KΩ nous permettant de calculer la valeur de résistance optimale pour notre pont diviseur de tension. Après un simple calcul ,la valeur obtenue : R= 16,26 KΩ C'est la résistance dont on aura besoin pour réaliser le protocole avec les flexomètres.
La carte Sparkfun ESP32 Thing
Nous avons choisi de travailler avec la carte ESP32 puisqu'elle fournit les interfaces entrée sortie dont on aura besoin pour notre projet. De plus, étant donnée sa petite taille, elle sera plus pratique pour faire un prototype pratique et elle est compatible avec l'IDE Arduino, un environnement de développement avec lequel il est aisé de développer.
La datasheet de la carte indique que le Convertisseur Analogique Numérique a une résolution de 8bits donc il peut nous afficher une plage de 256 valeurs ce qui est pas mal pour la précision de nos résultats (les valeurs de tension relevées aux bornes du flexomètre).
Après la théorie vient la pratique
On a commencé par réaliser un montage de ponts diviseurs de tension sur une breadboard avec les flexomètres et écrire un code permettant de lire la tension aux bornes des flexomètres sur l'IDE arduino.
Sur l'IDE d'Arduino , on a écrit un code qui affiche la tension aux bornes de chaque flexomètre correspondant à chaque doigt de la main .
Après s'être assurer du bon fonctionnement du montage et du code , on a utilisé des câbles et les avons sécurisé avec des gaines dans pour avoir un prototype le plus fiable possible.
Pour finaliser notre prototype , on a cousu les flexomètres sur un gant pour ensuite attaquer la partie de la traduction de signe .
