Dispositif anti frelons asiatiques

Le frelon asiatique est présent en France depuis les années 2000 et est considéré comme une espèce exotique envahissante. En effet, son régime alimentaire se compose principalement d’abeilles domestiques, ce qui contribue à briser l’équilibre de fonctionnement des ruches et de leur écosystème. Depuis avril 2020, le frelon asiatique est présent dans toute la France et dans de nombreux pays d’Europe. Ils représentent donc un danger à la fois pour l’homme et pour les ruches. Toutefois, les méthodes mises en place restent limitées : pièges à insectes, grilles à l'entrée des ruches, destruction des nids de frelons par des exterminateurs. Certains ingénieurs tentent également de développer des systèmes pour les empêcher de nuire. Néanmoins, cela reste trop théorique ou irréalisable, notamment avec le besoin du système d’avoir une alimentation constante avec la prise de secteur. On peut en conclure que le prix ou l'efficacité de ces systèmes sont encore des défauts majeurs. Cette menace doit être prise au sérieux, c’est pourquoi il peut être utile de s'intéresser à un système capable de protéger les ruches de ces prédateurs. Les frelons asiatiques se placent en vol stationnaire avant l’attaque d’une ruche et sont alors facilement détectables via un système d’acquisition basé sur de la reconnaissance par CNN. Une fois les coordonnées obtenues, l’objectif est d’éliminer la bête à l’aide d’un système laser capable de le faire fuir ou bien de lui brûler ou couper les ailes pour l'immobiliser. On recherche un système peu coûteux, autonome et simple d’utilisation.

Etude du frelon

Physiologie

Le frelon asiatique, ou Vespa Velutina, est arrivé pour la première fois en Europe en 2004. Il est caractérisé par un corps noir avec de fines bandes orangées et des pates aux extremités jaunes. Il se différencie facilement des frelons européens qui sont plus imposants et moins noir. Le frelon mesure environ 2 cm de longueur pour une largeur de 1cm. Il est assez puissant pour éliminer des abeilles européennes sans effort en les décapitant avec ses mandibules.

Menaces

En Europe, le Vespa Velutina n’a pas de prédateurs naturels, ce qui en fait un super-prédateur dans l’écosystème européen. En Asie, ils sont chassés par le frelon géant Vespa mandarinia, qui attaque entre 0 et 10 mètres. Cela oblige les frelons asiatiques à faire leur nid à plus de 10 mètres du sol, les rendant beaucoup moins menaçants qu’en Europe où ils peuvent faire leur nid où ils le souhaitent. Ils sont particulièrement agressifs envers les humains, qu’ils peuvent poursuivre sur plusieurs centaines de mètres, et attaquent également des ruches d'abeille européennes Apis Mellifera, qui sont incapable de se défendre contre de tels prédateurs. La localisation des nids est donc une priorité pour la préservation de notre écosystème. Cependant, aucune solution n’a été imaginée à ce jour, c’est pourquoi nous cherchons des systèmes capables de défendre directement les ruches domestiques. Lorsque les abeilles rentrent dans la ruche avec du pollen, elles ralentissent pour se poser et les frelons les attaquent à ce moment-là. Pour se défendre, les abeilles s'agglutinent à l’entrée de la ruche, mais elles interrompent ainsi leur opération de butinage, ce qui entraîne un manque de ressources pour l’hiver. Les abeilles seront alors soit éliminées par les frelons, soit mourront de faim. L’objectif principal des frelons étant de nourrir leur larves, ils ramènent les cadavres de leur victime à leur nid après s’être eux-mêmes nourri sur les abeilles et leur miel.

Comportement de vols

Il existe peu d’études sur la dynamique de vol et le comportement de prédation du frelon asiatique vis-à-vis de l’abeille domestique. L’enjeu ici serait de pouvoir étudier le comportement des frelons, d’analyser et d’extraire des données sur les comportements successifs de vol – visite, vol stationnaire, attaque, capture, fuite – afin de spécialiser le réseau de neurones.

Une étude a été menée dans l’article [1]. 71 frelons marqués grâce à des micro-systèmes d'identification par radiofréquence ont été relâchés autour du nid afin d’étudier leur comportement individuel. La moyenne est de 12,62 ± 10,97 trajets par jour et par individu. 98% des déplacements ont été enregistrés entre 7h00 et 20h00 ce qui a permis de négliger les trajets de nuit dans la suite avec un nombre maximal de trajet entre 12h et 15h00. Les conditions météorologiques influencent le nombre de trajets par jour par individu qui augmente avec une température plus élevée et une faible humidité.

La durée du voyage a été divisée en deux échantillons : les longs trajets de plus d'une heure et les courts trajets de moins d'une heure. Les longs trajets représentent 3,60 % des trajets La plupart des trajets étaient donc de courts trajets d'env. 949,7 ± 750,46 s. La durée de trajet n’est pas influencée par la masse corporelle.

Dans l’étude présentée par l’article [2], le comportement de vol du frelon est étudié dans un laboratoire grâce à un moulin à vol avec du miel pour stimulation. Les ouvrières volaient (2386 ± 1323) m par heure en moyenne avec cependant de grandes variations. La durée de vol était à peu près proportionnelle à la distance de vol, donc la durée moyenne de vol était de (1429 ± 679) s par heure. La vitesse de vol moyenne était de (1,56 ± 0,29) ms-1 avec peu de variations (plage de 0,90 ms−1 à 2,10 ms−1). Les distances de vol des travailleurs étaient stables pendant quelques jours à la fois, mais diminuent au cours de la durée de vie restante d'un travailleur.

La répartition des phases de vol a également été étudiée. Au cours de chaque test en vol, les travailleurs ont généralement effectué plusieurs phases de vol, bien qu'il y ait eu une variation marquée. Ils ont également effectué plusieurs phases de saut (moyenne = 20), mais la contribution en pourcentage des phases de saut à l'activité de vol globale était minime (environ 0,2 %). La distance et la durée des phases de vol étaient très variables, ce qui rend un modèle de comportement très compliqué. La plupart des phases de vol étaient courtes. Cependant, 25% d'entre elles couvraient au moins 4000 m, 10% d'entre elles couvraient au moins 7900 m. Les phases de vol et de saut étaient séparées par des phases de repos de durée courte mais très variable (moyenne = (741 ± 1318) s).

Article [1]: https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0198597

Article [2]: https://onlinelibrary.wiley.com/doi/pdf/10.1002/ece3.4182

Etat de l'art

Système d'identification d'oiseaux

Il s'agit d'un projet qui est similaire à notre projet. L'auteur a conçu une caméra ornithologique de Deep Learning. C'est un système pour identifier automatiquement les oiseaux, prendre des mesures et enregistrer des vidéos d'eux. La caméra prend des photos et enregistre des vidéos automatiquement lorsque l'espèce spécifique d'oiseau se trouve devant la caméra. Avec l'aide de l'algorithme de détection d'objet qui est YOLOv2 dans l'article, nous pouvons facilement obtenir les coordonnées de l'oiseau.

Lien: https://www.makeartwithpython.com/blog/deep-learning-bird-camera/

Detection d'objets + coordonnées avec Yolov3

Un exemple peut rapidement démarrer avec la détection d'objets basée sur algo YOLO par Nandini.Y compris l'import de module, le prétraitement des données.Une fois le modèle formé, l'image obtenue par la caméra est utilisée comme entrée et plusieurs objets de cadre de délimitation peuvent être détectés.Cela a un certain degré de similitude avec notre projet, qui est basé sur la détection d'objet de algo YOLO, et peut retourner les coordonnées de l'objet détecté en même temps.Nous pouvons suivre ses étapes et modifier les poids et les paramètres en même temps pour obtenir les objets que nous devons détecter.

Lien: https://ichi.pro/fr/detection-d-objets-avec-yolov3-et-opencv-28510119961632

Projet similaire réalisé par une autre école

Une autre école d’ingénieurs française, L’ESILV, a proposé un sujet similaire à ses étudiants de dernière année en 2019-2020. Le système devait permettre de reconnaître un frelon grâce à une caméra et un algorithme entraîné à leur détection puis d’envoyer un faisceau laser pendant 2 secondes sur le frelon après vérification qu’aucun être humain ne soit dans la zone de tir.

Lien: https://www.esilv.fr/portfolios/canon-laser-de-defense-des-ruches-contre-les-frelons-asiatiques/

Système de vision

Caractéristiques du système

Schéma du dispositif

Nous considérons pour notre schéma une ruche Dadant 10 cadres avec les dimensions précisées. Cela peut s’étendre facilement à tout type de ruche dadant car les variations de dimensions reste inférieures à la distance de travail choisie qui est de 70 centimètres. Nous utilisons ici une caméra Raspberry Pi v2 8MP sur laquelle sera directement implémenté le réseau de neurones permettant de détecter et de transmettre les coordonnées d’un frelon s’approchant de la ruche.

Caméra

Caméra v2 8MP Raspberry Pi

Résolution photo: 3280 x 2464 pixels

Résolution vidéo: 1080p30, 720p60 et 640x480p90

Taille du capteur: ¼”

Focale: 3mm

Prix: 25 à 30 euros

Résolution

La résolution est le premier paramètre à calculer afin de choisir un capteur. Elle dépend à la fois du champ de vue ainsi que du plus petit élément. Nous avons fixé le champ de vue à 60 cm ainsi que le plus petit élément à détecter dans l’image à 1 mm. En effet la taille du frelon étant d’environ 2 centimètres, nous avons considéré qu’un plus grand champ de vue ou plus de détail ne serait pas utile à l’efficacité du pointage laser. La résolution est donnée par :

r= 2*(Champ de vue / Taille du plus petit élément) D’où r =1200 pixels au minimum.

Notre capteur suffit amplement à obtenir la résolution voulue et a également un bon rapport qualité/prix.

Compléments

Il est possible d’améliorer le système via l'implantation de fonctionnalités supplémentaires. En effet, lors de ses déplacements, le frelon asiatique émet un bruit caractéristique dont la fréquence fondamentale avoisine les 100 Hz, ce qui est différent des battements d’ailes des abeilles qui sont proches des 200 Hz. Il serait ainsi possible de mettre en place un détecteur acoustique capable d’alimenter le système complet dès qu’un bruit de frelon asiatique est repéré. Cela permettrait d’éviter une consommation excessive de batterie et ainsi d’augmenter la durée de vie du système.

Réseau de neurones

Nous avons décidé d'utiliser l'algorithme YOLO pour la détection des frelons. You only look once (YOLO) est un système de détection d'objets en temps réel à la pointe de la technologie. Nous avons testé YOLOv3 et YOLOv5. Nous avons trouvé YOLOv5 plus facile à déployer et plus précis, nous avons donc finalement décidé d'utiliser YOLOv5.

Nous n'avons pas trouvé d'ensemble de données pour le frelon asiatique sur internet. Mais nous avons trouvé un ensemble de données pour le frelon européen. Nous avons donc décidé d'utiliser cet ensemble de données pour tester notre réseau dans un premier temps. Ce premier test a présenté une précision supérieure à 90%. Nous ne pouvons pas entraîner le réseau neuronal sur notre propre ordinateur en utilisant le GPU. Nous avons donc décidé d'utiliser Google colab pour les entraînements en ligne. Il nous permet d'écrire et d'exécuter du code Python dans notre navigateur. Et il offre les avantages suivants: aucune configuration requise, accès libre aux GPU et partage facile.

Détection: solutions et méthodes réalisés

Mise en place

Partie caméra

Au cours du sprint d’idéation, nous avions établi une distance caméra/entrée de la ruche de 2m. Nous avions donc prévu d’ajouter un objectif de focale 12 mm à la Picam pour obtenir les 50 cm de la ruche dans notre champ de vision. Finalement, après discussion avec notre porteur de projet, nous avons ramené notre distance de travail à 1 mètre. L'objectif inclus dans la Picam est alors suffisant pour obtenir le champ de vue nécessaire pour observer l’intégralité de la ruche. L'objectif de 12 mm et la monture C imprimé en 3D par Matthieu Dumay sont donc inutiles.

Nous avons effectué nos tests à 20 cm des frelons en 640x480p pour limiter la surchauffe et le temps de traitement.

Partie CNN et électronique

Nous allons implémenter notre détection de frelon sur le Raspberry Pi 3B,il y aura les principales étapes suivantes:

1.Graver le système d'exploitation sur la carte SD

- Décompressez le fichier compressé de l'image du système d'exploitation téléchargé pour obtenir le fichier image img

- Après avoir utilisé le plateau de carte SD ou le lecteur de carte, connectez-le à l'ordinateur.

- Décompressez et exécutez l'outil win32diskimager.

Nous utilisons une carte SD qui a été gravée avec Linux.

2. Connexion externe Raspberry Pi

Étant donné que le Raspberry Pi n'est pas livré avec un clavier et un moniteur, nous devons le connecter en externe. En même temps, nous connectons le raspberry pi à l'alimentation, afin qu'il puisse démarrer avec succès et que nous puissions voir l'interface sur l'écran.

3. Configurez l'environnement requis pour que yolov5 s'exécute et caméra pi

- S'il n'y a pas de python sur la carte, nous devons d'abord installer python.

- Si vous exécutez directement install -r requirements.txt lors de la configuration de l'environnement YOLOv5, il y a une forte probabilité que le téléchargement soit lent et qu'une erreur puisse être signalée. torche et torchvision doivent d'abord être téléchargés puis installés directement.

- Après avoir téléchargé tous les environnements, nous devons configurer notre caméra.

Accédez à Caméra, sélectionnez Activer

Sélectionnez "Terminer" et redémarrez.

Commencer la détection

Nous plaçons le modèle formé localement (fichier .pt) dans le répertoire yolo correspondant au Raspberry Pi, et grâce au script, nous pouvons réaliser la détection d'image et la surveillance de la caméra en temps réel.

Résultats

Notre réseau de neurones obtient des résultats parfaits sur l’ensemble de validation. Nous obtenons un taux de précision de 100%. Nous pouvons obtenir un bon résultat sur le Raspberry Pi 3B aussi. Nous pouvons détecter la plupart des frelons avec un haut degré de confiance. De plus, nous pouvons enregistrer les coordonnées de centre de chaque bounding box dans un fichier txt.

Analyse critique

Nous avons rencontré plusieurs difficultés lors de nos tests. Tout d’abord, en se plaçant dans nos conditions de tests, la carte électronique surchauffe au bout d’une quinzaine de minutes d’utilisation, ce qui est limitant pour prendre des mesures. Le temps de traitement, d’une dizaine de secondes, est également inadapté à une utilisation sur le terrain. Ces difficultés s’expliquent par le choix du réseau de neurones YOLOv5, qui est certes puissant, mais demande trop de ressources.

Notre banque d’image nous a également fait défaut. Étant dans l’impossibilité d’acquérir une banque déjà réalisée, nous avons fait le choix d’en créer une nous même à partir de vidéos Youtube. Cependant, les frelons asiatiques sur les vidéos sont vivants et actifs, alors que nos cadavres de frelons pour nos tests sont recroquevillés, inertes et en décomposition et donc plus difficilement identifiables. Nous avons donc pris la décision de créer une nouvelle banque d’images directement à partir des cadavres fournis par Eric Verney. Avec cette dernière, nous obtenons un taux de précision de 100%, mais il aurait été intéressant de réaliser des tests avec des abeilles et des frelons sur la même image pour s’assurer qu'aucune confusion ne peut arriver entre les deux espèces.

Le système possède donc une grande marge d’amélioration et de nombreuses optimisations sont possibles.

Détection: pistes d'amélioration

Matériel vision

La caméra nous propose trois formats vidéo, 1920x1080p, 1280x720p ou 640x480p. Le choix de la Picam V2 est donc intéressant car elle est peu coûteuse (25 €) et propose un large choix de nombre de pixels pour la capture vidéo. Nous avons effectué les tests à 20 cm des frelons en 640x480p pour limiter la surchauffe et le temps de traitement. Une telle résolution n’est pas suffisante pour une distance de 70 cm, mais un format plus généreux en pixels nous permettra d’utiliser le système en conditions réelles. Il faudra également que le réseau de neurones soit entraîné avec des images correspondant à notre prise de vue.

Réseau de neurones

Nous avons entraîné un réseau de neurones YOLOv5s pour faire la détection qui a un niveau de précision assez élevé. Et il permet de détecter en temps réel les flux vidéo sur un PC. Mais nous devons configurer une caméra sur le Raspberry Pi 3B pour la détection, et la mémoire du Raspberry Pi 3B est de 1 Go, et la capacité du processeur est bien inférieure à celle du PC, donc il coûte souvent plus cher de détecter chaque image du image.temps. Il lui faut environ 8 secondes pour détecter les frelons sur une seule image. Nous pouvons essayer d'utiliser le réseau YOLOv5n qui a une structure plus simple. Mais cela va perdre en précision. Nous pouvons également essayer de convertir le modèle .pt en modèle .onnx dans le PC, puis l'importer dans le Raspberry Pi, puis le convertir en modèle intermédiaire IR via openvino pour obtenir une accélération.

Banque d'images

Les banques d’images déjà réalisées sont difficiles à obtenir. Nous avons alors sollicité des ingénieurs ayant déjà travaillé sur le sujet et possédant donc une banque d’images adaptée, mais nos mails sont restés sans réponse. La meilleure option serait de créer une véritable banque d’image avec de nombreuses prises de vues et différents zooms plus ou moins importants sur les frelons, mais cela requiert un temps considérable pour obtenir plusieurs centaines d’images adaptées.

Système de guidage laser

L’objectif de cette étude est de trouver de manière théorique le meilleur système à mettre en œuvre pour guider le laser. L’idée est de parvenir à un système complet (choix de la carte, des composants, de la position du système dans l’espace etc.) et de prédire les caractéristiques (résolution, vitesse etc.)

Positionnement du système

Tout au long de l’étude, nous avons émis l’hypothèse que les coordonnées précises du frelon détecté étaient préalablement obtenues par le système de vision caméra, précédemment étudiée.

Contexte de l'étude

La ruche qui nous a servi de référence pour notre étude est la ruche Dadant. La référence de notre de hauteur se fait au niveau du bas de la ruche Dadant 10 cadres (Z = 0 à ce niveau).

Schéma du montage vue de profil :

Schéma du montage vue de dessus avec zone de tir :

Ainsi, le fait de viser une zone spécifique réduit notre zone de tir et donc l’angle maximal que doit pouvoir prendre le laser. Si on suppose la caméra et le laser confondus, on obtient :

Etude de la position idéale du système

Le système étant symétrique suivant les directions x et y, nous pouvons réaliser l’étude uniquement sur l’une de ses dimensions. Nous avons choisi l’étude de x et donc de l’angle θ (la détermination de l’angle φ correspondant à la position en y découlera directement de cette étude). On peut représenter schématiquement le système de la manière suivante.