Le projet ASM-COCO (Ancrage Sémantique Multimodal pour Cobot Conversationnel) s’inscrit dans le programme de recherche COCOBOTS qui explore les possibilités d’interaction naturelle entre humains et robots collaboratifs. L’objectif est d’étudier comment un robot pourrait apprendre et exécuter des tâches en conversant avec des opérateurs humains, réduisant ainsi la dépendance à une programmation experte.

La thèse aborde la question de l’ancrage sémantique multimodal, c’est-à-dire la façon dont un robot peut créer une représentation cohérente du monde en combinant différentes sources d’information : ce qu’il perçoit visuellement, ce qu’on lui communique en langage naturel, et les données de ses capteurs internes. Cette intégration multimodale pose de nombreux défis techniques et théoriques.

Le travail s’appuie sur la théorie du Global Workspace issue des neurosciences, qui propose un modèle de la cognition basé sur l’intégration d’informations sensorielles, sémantiques et motrices. L’adaptation de cette théorie à l’intelligence artificielle, sous la forme d’un Global Latent Workspace (GLW), constitue l’une des originalités du projet. Il s’agit d’une première implémentation de ce type dans un contexte robotique complexe.

Les approches existantes d’ancrage multimodal, comme CLIP, UNITER ou VirTex, se concentrent principalement sur l’association vision-langage dans des contextes statiques. Le GLW se distingue par sa modularité et sa capacité à intégrer dynamiquement de multiples modalités (vision fixe et mobile, langage, proprioception) dans un espace unifié. Cette architecture permet d’ajouter ou retirer des modules selon les besoins, contrairement aux modèles monolithiques traditionnels. L’approche biomimétique inspirée du cerveau humain offre également un cadre théorique plus riche pour comprendre et améliorer l’intégration multimodale.

Le projet s’intéresse aux environnements industriels de maintenance ou d’assemblage d’objets complexes, comme dans l’aéronautique. L’enjeu est de réduire les délais actuellement nécessaires pour adapter les robots à de nouvelles tâches, qui peuvent prendre plusieurs semaines d’intervention d’experts.
Si les résultats sont concluants, cette recherche pourrait contribuer à faciliter l’interaction homme-robot dans des contextes industriels. L’approche vise une collaboration complémentaire où les robots assistent les opérateurs plutôt que de les remplacer, avec pour objectif de réduire la charge cognitive et les tâches répétitives tout en maintenant la qualité du travail.