Projet MASCOT :

Chasse aux trésors entre personnes déficientes visuelles assistée par robot

Dispositif : carte tactile 3D et robot

Démarrage du projet : 2019

Clôture du projet : en cours

Icone photo Quentin Chibaudel
Quentin Chibaudel
Chercheur en ingénierie cognitive, CLLE & IRIT Toulouse
Icone photo Quentin Chibaudel
Wafa Johal
Chercheur en interaction et systèmes intelligents, UNSW, Australie
Icone photo Quentin Chibaudel
Bernard ORIOLA
Ingénieur de recherche, IRIT Toulouse
Icone photo Quentin Chibaudel
...

Contexte

Comment une personne aveugle se représente-t-elle un environnement ? Quelles sont ses stratégies d’exploration ? Une exploration à plusieurs (autrement dit en situation de collaboration) est-elle plus efficace ? Les nouvelles technologies peuvent-elles se révéler utiles pour répondre à ces problématiques ? Si oui, comment les adapter pour les personnes déficientes visuelles ?

Dans le cadre des activités du laboratoire « Cherchons pour voir », nous nous intéressons à ces questions qui articulent à la fois des problèmes de psychologie (représentation mental d’un espace, déficience visuelle), d’informatique (adaptation des outils, interaction) et sociétaux (favoriser l’autonomie des personnes déficientes visuelles).

Le projet

Robot Cellulo

Suite à des discussions avec des professionnels accompagnant des personnes déficientes visuelles, l’idée d’utiliser des robots lors de l’exploration d’environnements inconnus par plusieurs personnes déficientes visuelles a émergé. Nous avons décidé d’utiliser le robot Cellulo : développé par l’Ecole Polytechnique Fédérale de Lausanne (EPFL), il a déjà fait ses preuves lors de situation collaborative d'apprentissage.

" Pour réaliser cette expérience, il nous fallait mettre en place une tâche d’exploration d’un environnement inconnu, se réalisant avec au moins deux personnes, ludique et dans laquelle le robot pouvait intervenir. Après discussion avec les professionnels, nous avons opté une tâche de chasse aux trésors." - Quentin Chibaudel

La chasse aux trésors en situation expérimentale

La chasse aux trésors a été réalisée en binôme, sur la base du volontariat. Un rôle spécifique était assigné à chaque participant : l’un était guide, l’autre était explorateur.

L’explorateur était dans une salle (un rectangle de 7.50 x 15 m) bordée par des chaises. Pourquoi avoir mis des chaises autour ? Afin de corser le jeu, nous souhaitions que les personnes ne se repèrent pas grâce à des indices sur les murs de la salle (radiateurs, fenêtres, …). Le fait de border le contour de chaises permettait de rendre toutes les bordures identiques et d’éviter d’éventuels biais de repères. A l’intérieur de cet espace, nous avons disposé 13 chaises qui représentaient des obstacles. L’indice était déposé sur une de ces chaises. Lorsqu’un indice était trouvé, nous le changions d’endroit. L’explorateur ne connaissait pas la position des indices (voir photo de droite sur l'image).

Le guide était dans une autre salle. Il avait accès à une carte tactile 3D, à l’échelle, de la salle dans laquelle se trouvait l’explorateur. Sur cette carte était indiquée (grâce à une balle en caoutchouc) la position de l’indice à trouver (voir photo de gauche sur l’image).

L’objectif du guide était de faire en sorte que l’explorateur trouve les 5 indices menant au trésors le plus rapidement possible.

Pour cela, le guide et l’explorateur communiquaient par l’intermédiaire de casque audio à conduction osseuse. Ainsi, leurs mains étaient libres pour explorer l’environnement autour d’eux.

Images de la chasse au trésor

Figure 1 : Chasse aux trésors en cours - Photo de gauche : guide explorant la carte 3D à l’aide du Cellulo (entourée en rouge). La position de l’indice est indiquée par la balle en caoutchouc (entourée en jaune). Photo de droite : Explorateur (personne au milieu de l’image) en train de suivre les instructions du guide pour trouver l’indice (entouré en jaune). La seconde personne sur la photo est un expérimentateur chargé de s’assurer de la sécurité de l’explorateur et de déplacer les indices.

Nous avons réalisé l’expérience selon deux conditions. Dans la première, le guide n’avait aucune aide pour guider l’explorateur. Dans la deuxième condition, le robot se déplaçait en suivant en temps réel les déplacements de l’explorateur dans la salle.

Notre objectif était d’étudier l’impact de la présence du robot dans la résolution de la tâche.

Acteurs du projet

Le projet a été principalement mené par Quentin Chibaudel avec l’appui et le soutien de plusieurs collaborateurs : Wafa Johal, Marc Macé, Bernard Oriola, Pierre Dillenbourg, Valérie Tartas et Christophe Jouffrais. L’expérience a été menée en 2019.

Plusieurs professionnels de la déficience visuelle de l’Institut des Jeunes Aveugles (IJA) de Toulouse ont participé à ce projet notamment lors de la réflexion et de la mise en place de l’expérience. Nous les remercions pour ce travail tout comme nous remercions l’ensemble des participants de l’IJA qui se sont portés volontaires.

Etat du projet et suites à donner

La première phase de ce projet était exploratoire. Nous avons pu mettre en évidence l’intérêt des robots pour assister des personnes déficientes visuelles lors de la réalisation d’une tâche spatiale collaborative. D’après les données, il apparaît clairement que le robot aide à la résolution de la tâche et permet une meilleure représentation mentale de l'espace. Ce résultat doit cependant être davantage exploré et affiné. Il semble nécessaire de trouver un équilibre entre l'apport d'informations de la part du robot et l'apport d'informations de la part de l'explorateur. Il est aussi important de mieux comprendre la manière dont l'échange d'informations, en présence ou non du robot, influe sur l'apprentissage et la représentation mentale de l'espace chez des personnes déficientes visuelles.

Ces résultats seront présentés au cours d’une conférence internationale à Athènes (Grèce) en octobre 2020 devant une audience composée d’expert en accessibilité pour les personnes déficientes visuelles et d’interaction homme-machine. Nous travaillons aussi au transfert de ces outils vers les professionnels de la déficience visuelle.

Nous poursuivons actuellement ce projet, toujours en collaboration avec des professionnels accompagnant des personnes déficientes visuelles. Suite au développement de nouveaux robots, nous en avons sélectionné un nouveau, plus adapté et plus accessible : le Cubetto®. Nous nous attaquons à un aspect supplémentaire de la représentation spatiale chez les personnes déficientes visuelles : la notion d’étage. En effet, difficile, lorsqu’on ne voit pas, de réaliser qu’un escalier en colimaçon qui donne l’impression de tourner sur soi-même permette de monter ou de descendre d’un étage. Nous souhaitons que ce robot aide à l’exploration d’un environnement inconnu mais qu’il permette aussi d’explorer des espaces sur plusieurs niveaux et la transition entre ceux-ci.

Si vous avez des questions, des remarques, des suggestions ou que vous êtes intéressés pour participer à ce projet, vous pouvez contacter Quentin Chibaudel ou le laboratoire « Cherchons pour voir ».