Priyanjali Gupta, l'étudiante qui a créé un modèle d'IA qui traduit la langue des signes en anglais en temps réel

Priyanjali Gupta a utilisé ses connaissances pour créer un modèle d'IA basé sur l'apprentissage profond, formé pour reconnaître six signes de la langue des signes américaine et les traduire en anglais en temps réel.

Priyanjali Guptaétudiant en troisième année d'informatique avec une spécialisation en science des données au Vellore Institute of Technology, a fait des progrès notables dans le domaine deintelligence artificielleen mettant l’accent sur l’inclusivité.

Sa principale innovation est un modèle d'intelligence artificielle capable de traduire la langue des signes américaine (ASL) en anglais en temps réeldémontrant comment la technologie peut contribuer à combler le fossé de communication entre les personnes sourdes ou malentendantes et celles qui ne connaissent pas la langue des signes.

L'inspiration pour ce projet est venue d'un défi posé par la mère de Gupta, qui l'a exhortée à utiliser ses compétences en ingénierie pour créer quelque chose de concret et d'utile. Cette inspiration a amené Priyanjali à réfléchir à la manière dont elle pourrait utiliser ses connaissances pour aider la communauté des sourds.

Il souhaite entraîner le modèle non seulement sur des images uniques, mais également sur des vidéos.

Après un an de travail intense, il développe son propre modèle basé sur l'apprentissage profonden utilisant l'API de détection d'objets TensorFlow et en appliquant des techniques d'apprentissage par transfert via le modèle ssd_mobilenet pré-entraîné.

Le modèle a été formé pour reconnaître six signes ASL de base : « Bonjour », « Je t'aime », « Merci », « S'il vous plaît », « Oui » et « Non ». En utilisant un simple webcams connecté à l'ordinateur, le système reconnaît ces signes et se traduit immédiatement en texte anglais, permettant une communication plus fluide entre ceux qui utilisent la langue des signes et ceux qui ne la connaissent pas.

Malgré le succès généralisé du projet, qui a recueilli plus de 58 000 réactions positives sur LinkedIn, Gupta est conscient des défis liés au développement d'un système d'intelligence artificielle. complexe comme celui-ci.

À l’avenir, Gupta prévoit d’améliorer le modèle en l’entraînant à l’aide de réseaux LSTM (Long-Short Term Memory) pour améliorer la précision et permettre la reconnaissance de séquences de signes en mouvement. Cette approche pourrait représenter une avancée majeure pour la détection en temps réel de la langue des signes.

L'invention de Priyanjali a suscité un grand intérêt dans la communauté technologique et a démontré ce que peut être l'intelligence artificielle. utilisé pour promouvoir l’inclusivité. Si elle est souvent décriée parce qu’elle peut supprimer des emplois, dans ce cas (et dans bien d’autres), elle s’est avérée véritablement utile pour éliminer les barrières, avec un grand impact positif sur la société.

Source : GitHub