R2T2++


Face à la pénurie de main-d’œuvre en viticulture, le projet R2T2++ développe des méthodes permettant à un bras robotisé de guider avec précision son outil de coupe jusqu’aux points de taille de la vigne, à partir des images de sa caméra, en dépit des perturbations du milieu naturel.

Permettre à un robot manipulateur d’amener son outil de coupe, de manière fiable et précise, jusqu’aux points de taille définis sur un modèle 3D de la vigne, malgré les perturbations rencontrées en conditions réelles.

  • Percevoir la vigne en temps réel malgré sa structure en branches enchevêtrées, source d’occultations.
  • Comparer ce que voit la caméra à une vue de référence issue du modèle 3D de la vigne.
  • Concevoir des lois de commande « par la vision » (asservissement visuel) robustes aux déplacements du robot ou de la plante, au vent, aux erreurs de modèle et à un environnement très encombré.
  • Valider expérimentalement ces méthodes sur de vrais pieds de vigne, en laboratoire et en extérieur.

Le projet étant achevé, les résultats ci-dessous ont été obtenus :

  • Approche 3D (nuages de points) : guidage du robot par recalage de nuages de points (ICP) couplé à un planificateur par commande prédictive (NMPC) qui génère des étapes intermédiaires sans collision et en gardant la vigne visible. Taux de réussite d’environ 95 % sur sept pieds de vigne en intérieur, ainsi que des preuves de concept en extérieur avec du vent.
  • Approche 2D (image) : nouvelle loi d’asservissement visuel indépendante de la profondeur (DI-IBVS), associée à une détection et un appariement de points par intelligence artificielle (SuperPoint + LightGlue) et à des images de référence synthétisées par Gaussian Splatting 3D. Précision sub-centimétrique de l’outil sur de vraies vignes.
  • Données : constitution d’un jeu de 20 000 images de pieds de vigne.

Type de financement

CNRS

Vidéo de démonstration

Vidéo de démonstration

Fadi GEBRAYEL

Doctorant


LAAS-CNRS
Team : RAP
Robotique – Asservissement visuel, vision par ordinateur

Martin MUJICA

Chercheur

LAAS-CNRS
Team : RAP
Robotique – Commande, asservissement visuel

Patrick DANÈS

Chercheur

LAAS-CNRS
Team : RAP
Robotique – Automatique, perception

Chaque hiver, des milliers de kilomètres de rangs de vigne doivent être taillés à la main. Ce travail, minutieux et physiquement éprouvant, peine à trouver de la main-d’œuvre. Le robot imaginé pour y répondre doit d’abord « comprendre » la vigne : un modèle 3D du cep indique où couper. Reste ensuite à amener précisément l’outil de coupe, porté par un bras robotisé, jusqu’à chacun de ces points. C’est le cœur du projet R2T2++.

Bras robotisé positionnant son outil de coupe sur un pied de vigne en extérieur.

La difficulté est que le monde réel ne ressemble jamais tout à fait au modèle : le robot n’est pas parfaitement positionné, les sarments bougent avec le vent, et la vigne forme un enchevêtrement de branches qui se cachent les unes les autres. En conséquence, suivre aveuglément une trajectoire calculée à l’avance ne suffit pas. Le robot doit regarder en permanence ce qu’il fait et corriger son mouvement : c’est le principe de l’asservissement visuel, qui consiste à piloter un robot à partir de ce que voit sa caméra.

Deux stratégies complémentaires ont été développées. La première travaille en trois dimensions. Une caméra de profondeur, fixée près de l’outil, produit un « nuage de points » de la vigne. En le superposant à celui attendu au point de coupe, le robot calcule l’écart qui l’en sépare et se déplace pour le réduire. Pour éviter les grands déplacements, lents et peu fiables, un planificateur fondé sur la commande prédictive découpe le trajet en étapes intermédiaires, en veillant à ne pas heurter la plante et à toujours garder la vigne dans le champ de la caméra. Testée sur des pieds de vigne en intérieur et extérieur ont validé l’approche proposée.

Dispositif expérimental et principe de la commande 3D : planification (NMPC) et asservissement visuel par recalage de nuages de points (ICP-VF-PBVS).

La seconde stratégie n’utilise pas la 3D : le robot compare directement l’image qu’il voit à une image de référence prise depuis la bonne position. Cela suppose de retrouver les mêmes points dans les deux images, ce qui est particulièrement difficile car toutes les branches se ressemblent. Des méthodes récentes d’intelligence artificielle ont été évaluées sur un jeu de 20 000 images de vigne constitué pour l’occasion, afin de retenir la plus efficace. Une nouvelle loi de commande a également été proposée, qui fonctionne sans connaître la distance entre la caméra et la plante. Enfin, les images de référence sont fabriquées par ordinateur à partir de photos réelles, grâce à une technique de reconstruction 3D appelée Gaussian Splatting. Sur de vraies vignes, l’outil est positionné avec une précision inférieure au centimètre.

Étapes intermédiaires planifiées entre la pose initiale et la pose de coupe, avec vérification des collisions.
Approche 2D : appariement par IA des points de l’image courante et de l’image de référence pour guider le robot (DI-IBVS).

Ces travaux ont donné lieu à plusieurs publications internationales, à une collaboration avec l’Université de Newcastle (Australie) et au lancement du projet européen DEMETER avec des partenaires allemands et japonais, dont l’industriel Yanmar. Les prochaines étapes consistent à embarquer ces méthodes sur un robot mobile au cœur des vignes et à les rendre utilisables sans fond uniforme derrière la plante. À plus long terme, ces approches pourraient s’étendre à d’autres tâches agricoles, comme la récolte ou l’éclaircissage, et contribuer à réduire la pénibilité du travail viticole.