R2T2++

Commande Référencée Vision-Effort de l’Organe Terminal d’un Robot de Taille de Vigne
Pitch
Face à la pénurie de main-d’œuvre en viticulture, le projet R2T2++ développe des méthodes permettant à un bras robotisé de guider avec précision son outil de coupe jusqu’aux points de taille de la vigne, à partir des images de sa caméra, en dépit des perturbations du milieu naturel.
Objectifs
Permettre à un robot manipulateur d’amener son outil de coupe, de manière fiable et précise, jusqu’aux points de taille définis sur un modèle 3D de la vigne, malgré les perturbations rencontrées en conditions réelles.
- Percevoir la vigne en temps réel malgré sa structure en branches enchevêtrées, source d’occultations.
- Comparer ce que voit la caméra à une vue de référence issue du modèle 3D de la vigne.
- Concevoir des lois de commande « par la vision » (asservissement visuel) robustes aux déplacements du robot ou de la plante, au vent, aux erreurs de modèle et à un environnement très encombré.
- Valider expérimentalement ces méthodes sur de vrais pieds de vigne, en laboratoire et en extérieur.
Résultats attendus
Le projet étant achevé, les résultats ci-dessous ont été obtenus :
- Approche 3D (nuages de points) : guidage du robot par recalage de nuages de points (ICP) couplé à un planificateur par commande prédictive (NMPC) qui génère des étapes intermédiaires sans collision et en gardant la vigne visible. Taux de réussite d’environ 95 % sur sept pieds de vigne en intérieur, ainsi que des preuves de concept en extérieur avec du vent.
- Approche 2D (image) : nouvelle loi d’asservissement visuel indépendante de la profondeur (DI-IBVS), associée à une détection et un appariement de points par intelligence artificielle (SuperPoint + LightGlue) et à des images de référence synthétisées par Gaussian Splatting 3D. Précision sub-centimétrique de l’outil sur de vraies vignes.
- Données : constitution d’un jeu de 20 000 images de pieds de vigne.
Type de financement
Doctorat
Post-doctorante recrutée
Fadi GEBRAYEL
Chercheurs référents
Martin MUJICA
Patrick DANÈS
Mots-clés
Robotique agricole
Taille de la vigne
Asservissement visuel
Vision par ordinateur
Commande prédictive
Date
01/10/2022 au 18/03/2026
Tutelle
CNRS
Vidéo
L’ équipe

Fadi GEBRAYEL
Doctorant
LAAS-CNRS
Team : RAP
Robotique – Asservissement visuel, vision par ordinateur

Martin MUJICA
ChercheurLAAS-CNRS
Team : RAP
Robotique – Commande, asservissement visuel

Patrick DANÈS
ChercheurLAAS-CNRS
Team : RAP
Robotique – Automatique, perception
Chaque hiver, des milliers de kilomètres de rangs de vigne doivent être taillés à la main. Ce travail, minutieux et physiquement éprouvant, peine à trouver de la main-d’œuvre. Le robot imaginé pour y répondre doit d’abord « comprendre » la vigne : un modèle 3D du cep indique où couper. Reste ensuite à amener précisément l’outil de coupe, porté par un bras robotisé, jusqu’à chacun de ces points. C’est le cœur du projet R2T2++.

La difficulté est que le monde réel ne ressemble jamais tout à fait au modèle : le robot n’est pas parfaitement positionné, les sarments bougent avec le vent, et la vigne forme un enchevêtrement de branches qui se cachent les unes les autres. En conséquence, suivre aveuglément une trajectoire calculée à l’avance ne suffit pas. Le robot doit regarder en permanence ce qu’il fait et corriger son mouvement : c’est le principe de l’asservissement visuel, qui consiste à piloter un robot à partir de ce que voit sa caméra.
Deux stratégies complémentaires ont été développées. La première travaille en trois dimensions. Une caméra de profondeur, fixée près de l’outil, produit un « nuage de points » de la vigne. En le superposant à celui attendu au point de coupe, le robot calcule l’écart qui l’en sépare et se déplace pour le réduire. Pour éviter les grands déplacements, lents et peu fiables, un planificateur fondé sur la commande prédictive découpe le trajet en étapes intermédiaires, en veillant à ne pas heurter la plante et à toujours garder la vigne dans le champ de la caméra. Testée sur des pieds de vigne en intérieur et extérieur ont validé l’approche proposée.

La seconde stratégie n’utilise pas la 3D : le robot compare directement l’image qu’il voit à une image de référence prise depuis la bonne position. Cela suppose de retrouver les mêmes points dans les deux images, ce qui est particulièrement difficile car toutes les branches se ressemblent. Des méthodes récentes d’intelligence artificielle ont été évaluées sur un jeu de 20 000 images de vigne constitué pour l’occasion, afin de retenir la plus efficace. Une nouvelle loi de commande a également été proposée, qui fonctionne sans connaître la distance entre la caméra et la plante. Enfin, les images de référence sont fabriquées par ordinateur à partir de photos réelles, grâce à une technique de reconstruction 3D appelée Gaussian Splatting. Sur de vraies vignes, l’outil est positionné avec une précision inférieure au centimètre.


Ces travaux ont donné lieu à plusieurs publications internationales, à une collaboration avec l’Université de Newcastle (Australie) et au lancement du projet européen DEMETER avec des partenaires allemands et japonais, dont l’industriel Yanmar. Les prochaines étapes consistent à embarquer ces méthodes sur un robot mobile au cœur des vignes et à les rendre utilisables sans fond uniforme derrière la plante. À plus long terme, ces approches pourraient s’étendre à d’autres tâches agricoles, comme la récolte ou l’éclaircissage, et contribuer à réduire la pénibilité du travail viticole.
