Il s’agit en premier lieu de concevoir un estimateur robuste des mouvements humains à partir de la vision 3D. Cet estimateur s’appuie sur les résultats de RTMPose [4], un détecteur de squelette de pointe qui fonctionne sur des caméras à l’obturateur global en temps réel. Pour rendre le squelette cohérent dans le temps et l’espace, Wanchen exploite la cinématique, la vision par ordinateur et l’optimisation non-linéaire. A partir de cette extraction, il s’agit de classifier en temps-réel les mouvements caractéristiques des humains dans la scène. Wanchen s’appuie sur les résultats de l’état de l’art [5], utilisant une approche de classification basée sur l’apprentissage automatique et sur des données adaptées à cette classification. Le travail consiste notamment à caractériser les types de mouvements les plus pertinents pour permettre la reconnaissance d’activités humaines variées.

Afin de reconnaître les activités des humains dans la scène, il faudra que Wanchen étudie la contextualisation des mouvements ainsi détectés, en particulier la manière dont les humains interagissent avec les objets dans la scène. Cela consiste à détecter en continu les objets pertinents dans la scène et à évaluer les relations spatio-temporelles (par exemple : la proximité ; les objets en contacts [6]; les lignes de vue[7]) entre ces objets et les humains. La méthode proposée s’appuiera sur une approche générique combinant apprentissage profond et grands modèles de langage (LLM), afin de corréler temporellement les mouvements humains et leurs interactions avec les objets, dans le but d’identifier les actions porteuses de sens dans le cadre d’une tâche industrielle, et, si possible, d’en déduire les étapes suivantes. (Ex. : saisir/ transporter/ déposer un objet, ouvrir une porte, désigner du doigt, etc.).

Une fois le mouvement de l’opérateur estimé, classifié et contextualisé, à un instant donné d’une phase du cycle industriel, la dernière partie de la thèse visera à être capable de prédire ce mouvement. Pour ce faire nous proposons d’utiliser du contrôle optimal inverse et plus précisément un algorithme d’apprentissage par renforcement inverse (IRL). A l’inverse de l’apprentissage profonde, l’IRL ne nécessite que très peu de trajectoires de démonstration et il permet d’identifier les fonctions de coûts sous-jacentes au mouvement humain. Ces fonctions de coût peuvent ensuite être utilisées dans du contrôle prédictif pour le robot collaboratif. Le robot sera ainsi capable de prédire le mouvement futur de l’opérateur, et pourra par exemple donner une pièce à l’opérateur de façon naturelle, tout en évitant les collisions. Là aussi, une base de données de mouvements industriels typiques devra être réalisée.(cf Figure 1)