RITHME – DEFI CLE : Robotique

Le projet RITHME

Robotic Inductive Tasks to monitor Human Mental state in Ecological context

Ce projet étudie la détection d’erreurs lors d’interactions humain-robot par des moyens électrophysiologiques. En effet, lorsqu’un individu observe une erreur, cela induit un pattern caractéristique dans son activité cérébrale. Analyser ce pattern et ses variations permettrait de mieux comprendre la façon dont l’humain perçoit les erreurs effectuées par le robot.

Objectifs

Détecter et classifier les marqueurs électrophysiologiques de l’erreur lors d’une interaction humain-robot
Comparer ces marqueurs pour deux types d’erreur
Croiser ces résultats avec ceux obtenus par des mesures subjectives et comportementales

Résultats attendus

Une réponse cérébrale typique lorsque le robot commet une erreur, sous la forme de potentiels d’erreur (ErrPs)
Des variations d’amplitude et/ou de latence entre les ErrPs produits par chaque type d’erreur
Des mesures comportementales et subjective significativement différentes d’un type d’erreur à l’autre, notamment sur le temps de réponse

Type de financement

Stage M2

Stagiaire recruté

Nadim SALEEM

Référents

Mathias RIHET

Aurélie CLODIC

Raphaëlle ROY

Partenaire

LAAS-CNRS

Mots-clés

Interaction Humain-Robot

Neuroergonomie

Interface Cerveau-Ordinateur

Erreur

Machine Learning

Date

Du 14/04/2025 au 31/09/2025

Tutelle

ISAE-SUPAERO

L’équipe

Nadim SALEEM

Stagiaire

ISAE-SUAPERO
Équipe DCAS
Sciences Cognitives

Mathias RIHET

Doctorant

ISAE-SUAPERO
Équipe DCAS
Neuroergonomie

Aurélie CLODIC

Chercheur

LAAS-CNRS
Équipe IDEA
Robotique

Raphaëlle ROY

Chercheur

ISAE-SUAPERO
Équipe DCAS
Neuroergonomie

+ Présentation détaillée

Les potentiels d’erreur (ErrPs) sont depuis longtemps reconnus comme un marqueur neurophysiologique robuste de la perception des erreurs. Leur classification s’avère particulièrement pertinente dans le cadre de l’interaction humain-robot (IHR), où des études récentes ont exploré leur intégration dans des approches d’apprentissage par renforcement, permettant aux robots d’ajuster dynamiquement leurs actions en fonction de la détection d’erreurs par l’humain. Cependant, bien que ces approches aient démontré des performances de classification prometteuses, elles reposent majoritairement sur des paradigmes de choix binaire, peu représentatifs de la complexité de la perception des erreurs dans des contextes plus réalistes.

Dans des situations écologiques, les ErrPs sont influencés par des facteurs tels que la source de l’erreur ou encore sa saillance, ce qui souligne la nécessité d’une taxonomie plus fine des erreurs. Pour répondre à cette limitation, nous proposons un nouveau scénario d’IHR dans lequel les erreurs émergent dynamiquement au sein d’un espace de travail partagé. Ce scénario s’appuie sur le paradigme nommé « director task », initialement développé en psychologie puis adapté à l’IHR. Dans cette tâche, un humain guide un robot pour localiser un objet spécifique dans un environnement partagé, où certains objets sont visibles uniquement pour l’humain, d’autres uniquement pour le robot, et d’autres pour les deux. Les instructions étant volontairement minimales et parfois ambiguës, le robot doit faire preuve de prise de perspective pour déduire l’objet visé en fonction de ce que l’humain peut ou ne peut pas voir. Les erreurs peuvent ainsi provenir d’instructions ambiguës, d’exécutions incorrectes ou d’échecs dans la prise de perspective.

Ce paradigme offre ainsi un cadre structuré mais écologiquement valide pour étudier différents types d’erreurs en interaction humain-robot. Les ErrPs détectés via EEG seront analysés en parallèle d’indicateurs subjectifs et comportementaux afin de mieux comprendre la perception des erreurs par les utilisateurs. En dépassant les paradigmes de choix binaire, cette étude vise à enrichir le rôle des ErrPs dans l’apprentissage adaptatif des robots, en permettant de développer des mécanismes de rétroaction implicite plus riches pour la collaboration humain-robot en conditions réelles.

+ Références – état de l’art

M. Falkenstein, J. Hoormann, S. Christ, and J. Hohnsbein, “Erp components on reaction errors and their functional significance: a tutorial,” Biological psychology, vol. 51, no. 2-3, pp. 87–107, 2000.
R. Chavarriaga, A. Sobolewski, and J. d. R. Millan, “Errare machinale est: the use of error-related potentials in brain-machine interfaces,” Frontiers in neuroscience, vol. 8, p. 208, 2014.

S. K. Kim, E. A. Kirchner, A. Stefes, and F. Kirchner, “Intrinsic interactive reinforcement learning–using error-related potentials for real world human-robot interaction,” Scientific reports, vol. 7, no. 1, pp. 1–16, 2017.

X. Wang, H.-T. Chen, Y.-K. Wang, and C.-T. Lin, “Implicit robot control using error-related potential-based brain–computer interface,” IEEE Transactions on Cognitive and Developmental Systems, vol. 15, no. 1, pp. 198–209, 2022.

A. Xavier Fidêncio, C. Klaes, and I. Iossifidis, “Error-related potentials in reinforcement learning-based brain-machine interfaces,” Frontiers in human neuroscience, vol. 16, p. 806517, 2022.

A. F. Salazar-Gomez, J. DelPreto, S. Gil, F. H. Guenther, and D. Rus, “Correcting robot mistakes in real time using eeg signals,” in 2017 IEEE international conference on robotics and automation (ICRA). IEEE, 2017, pp. 6570–6577.

C. Lopes-Dias, A. I. Sburlea, and G. R. M¨uller-Putz, “Online asynchronous decoding of error-related potentials during the continuous control of a robot,” Scientific reports, vol. 9, no. 1, p. 17596, 2019.

M. Spüler and C. Niethammer, “Error-related potentials during continuous feedback: using eeg to detect errors of different type and severity,” Frontiers in human neuroscience, vol. 9, p. 155, 2015.

S. K. Ehrlich and G. Cheng, “A feasibility study for validating robot actions using eeg-based error-related potentials,” International Journal of Social Robotics, vol. 11, pp. 271–283, 2019.

F. Iwane, I. Iturrate, R. Chavarriaga, and J. del R Mill´an, “Invariability of eeg error-related potentials during continuous feedback protocols elicited by erroneous actions at predicted or unpredicted states,” Journal of Neural Engineering, vol. 18, no. 4, p. 046044, 2021.

F. Iwane, A. Sobolewski, R. Chavarriaga, and J. d. R. Mill´an, “Eeg error-related potentials encode magnitude of errors and individual perceptual thresholds,” Iscience, vol. 26, no. 9, 2023.

B. Keysar, D. J. Barr, J. A. Balin, and J. S. Brauner, “Taking perspective in conversation: The role of mutual knowledge in comprehension,” Psychological science, vol. 11, no. 1, pp. 32–38, 2000.

G. Sarthou, A. Mayima, G. Buisan, K. Belhassein, and A. Clodic, “The director task: a psychology-inspired task to assess cognitive and interactive robot architectures,” in 2021 30th IEEE International Conference on Robot & Human Interactive Communication (RO-MAN). IEEE, 2021, pp. 770–777.