La réalité augmentée pour la création et l’utilisation de documents audio-tactiles

Contexte et objectifs

Que ce soit à l’école, dans la vie quotidienne ou dans la vie professionnelle, nous avons besoin de consulter des cartes géographiques, des schémas, des graphiques, etc. Ces cartes sont nécessaires à la construction de compétences et de modèles mentaux utilisés dans de nombreux domaines (géographie, biologie, mathématiques, mécanique, etc.) Pour les personnes avec déficiences visuelles, l’accès à ces différents graphiques n’est pas excellent, ce qui peut avoir des conséquences sur les apprentissages.

Le projet « Réalité Augmentée Spatiale » (ou SAR en anglais) a débuté en novembre 2018 dans le cadre du projet européen VISTE, puis s’est poursuivi dans le cadre du projet Accessimap porté par « Cherchons pour Voir ». Il est né de l’envie affichée par certains enseignants spécialisés en déficience visuelle de créer eux-mêmes des contenus pédagogiques interactifs audio-tactiles. L’avantage de la réalité augmentée spatiale est qu’elle permet « d’augmenter » un objet déjà existant avec des informations numériques. On peut par exemple déclencher un son quand une zone du graphique est touchée.

Présentation du dispositif

PapARt est un système de réalité augmentée spatiale développé et commercialisé par l’entreprise RealityTech. Le système est composé d’une caméra couleur et de profondeur et d’un projecteur montés sur une tour, d’un microphone et d’un haut-parleur. La caméra permet de repérer des objets et de suivre le mouvement des mains des utilisateurs.

Après avoir déposé un objet (papier thermoformé, objet, plateau de jeu de société, etc.) sur la zone de travail, il est facile de créer des zones audio-tactiles en ajoutant des sons déjà enregistrés ou en enregistrant sa propre voix à la demande du système (mode « création »). Ces objets et graphiques interactifs peuvent alors être utilisés (mode « utilisation ») de façon très intuitive. Le dispositif permet de s’affranchir totalement d’un logiciel puisque le passage du mode création au mode utilisation s’effectue à l’aide de cartes en relief que l’utilisateur pose sur la zone de travail. Le dessin des formes s’effectue avec les mains (pas de souris, ni de claviers !).

Démonstration

Une vidéo de démonstration est accessible ici.

Acteurs du projet

Le projet a été initié par Anke Brock (chercheuse à l’ENAC Toulouse), Christophe Jouffrais (directeur de « Cherchons pour Voir »), Martin Hachet (INRIA Bordeaux) et Lauren Thévin (post-doctorante à l’INRIA Bordeaux puis à « Cherchons pour Voir »). Cette équipe a été renforcée par l’arrivée de Nicolas Palard, ingénieur « Cherchons pour Voir » et Nicolas Rodier, stagiaire « Cherchons pour Voir » de l’école d’ingénieurs ISIS de Castres de mi-février à août 2019.

De nombreux professionnels de la déficience visuelle ont participé à différentes étapes de ce projet (analyse des besoins, conception et évaluations) dont : des enseignants spécialisés en Roumanie et en Grèce (dans le cadre du projet européen VISTE), des professionnels de l’IRSA de Bordeaux et du CTEB de Toulouse, et les membres de l’association AccessiJeux de Paris, ainsi que six personnes avec déficiences visuelles. Nous les remercions tous.

État du projet et suite à donner

Ce projet était un projet exploratoire permettant de faire la preuve de concept de l’utilisation de la réalité augmentée pour créer des contenus audio-tactiles. Les résultats montrent que c’est très facile à utiliser par les professionnels de la déficience visuelle et que le dispositif répond bien au besoin.

Pour l’instant, aucun transfert vers une entreprise n’a été envisagé mais si vous connaissez une entreprise susceptible d’être intéressée, n’hésitez pas à les envoyer vers le laboratoire « Cherchons pour Voir » !