Biometric Marker-Based Identification and Facial Detection-Driven Feedbunk Interaction Monitoring Indairy Cattle Using Computer Vision and Deep Learning

Abstract

Bu tez çalışması, süt sığırlarında otomatik kimlik tespiti, takibi ve yüz tespitine dayalı yemlik alanı takibi için bilgisayarlı görme ve derin öğrenme teknolojilerini kullanan entegre bir sistem geliştirmeyi amaçlamıştır. Çalışma, farklı morfolojik özelliklere sahip üç sığır ırkını (Holstein, Simental ve Montofon) kapsayarak, biyometrik kimlik doğrulama sistemlerinin performansını değerlendirmiştir. Çalışmada veriler, üç farklı konumda yerleştirilmiş yüksek çözünürlüklü kameralar aracılığıyla toplanmıştır ve bunlar sırasıyla: sırt görüntüleri için üstten ve yüz tespiti için sağım ünitesine girerken ve yemlik alanından alınan görüntülerdir. Sistem, YOLOv8 mimarisini kullanarak gerçek zamanlı nesne tespiti ve segmentasyon gerçekleştirmiş, ardından bireysel kimlik doğrulama ve yemlik alanı takibi için yüz tespiti yapmıştır. Seçilen ırklar Simmental (n=9), Montafon (n=4) ve Holstein (n=5) baş olmak üzere toplam 18 süt sığırı üzerinde 2 günlük bir veri toplama süreci planlanmıştır. Çalışmanın özgün değeri, mevcut sistemlerin sınırlılıklarını aşarak üç temel yenilik sunmasından kaynaklanmaktadır. İlk olarak farklı sığır ırklarında biyometrik kimlik doğrulama, ikincisi yüz tespitine dayalı yemlik alanı takibi analizinin tek bir sistemde entegrasyonu ve son olarak da gerçek zamanlı video akışında çalışabilen pratik bir çözüm sunulmasıdır. Geliştirilen sistemin, süt sığırcılığında hassas hayvancılık uygulamalarının yaygınlaşmasına katkı sağlaması, hayvan refahının iyileştirilmesi ve çiftlik verimliliğinin artırılması konularında pratik çözümler sunmuştur. Yapılan bu çalışmada, süt sığırlarının sırt görüntülerinden bireysel kimlik tespiti için geliştirilen YOLOv8 tabanlı derin öğrenme modellerinin (nano, small ve medium) performansları kapsamlı olarak değerlendirilmiştir. Modeller arasındaki karşılaştırmalı analiz, mimari karmaşıklığın artmasının temel performans metrikleri üzerinde kayda değer bir iyileşme sağlamadığını ortaya koymuştur. En düşük model olan YOLOv8n, 0.92 hassasiyet ve 0.95 F1 skoru ile öne çıkarken, daha karmaşık mimariye sahip YOLOv8s ve YOLOv8m modeller 0.91 hassasiyet ve 0.94 F1 skoru ile benzer performans sergilemiştir. Normalize edilmiş karmaşıklık matrislerinde gözlemlenen yüksek diyagonal değerler (≈1.00), modellerin sınıflandırma başarısını doğrularken, veri seti dengesizliğinden kaynaklanan sınırlı sayıda sınıflar arası karışma tespit edilmiştir. Özellikle YOLOv8n modelinin, karmaşık mimarilere kıyasla çok daha düşük hesaplama maliyeti sunması ve benzer tespit performansı göstermesi, gerçek zamanlı süt sığırı kimlik tespiti uygulamaları için optimum performans-maliyet dengesi açısından öne çıkmaktadır. Süt sığırlarının yüz tespitine dayalı yemlik alanı takibi için geliştirilen YOLOv8 tabanlı derin öğrenme modellerinin (nano, small ve medium) performansları kapsamlı olarak değerlendirilmiştir. Modeller arasındaki karşılaştırmalı analiz, mimari karmaşıklığın artmasının temel performans metrikleri üzerinde kayda değer bir iyileşme sağlamadığını ortaya koymuştur. YOLOv8n ve YOLOv8s modelleri 0.99 hassasiyet ve 0.99 F1 skor benzerlikleri ile öne çıkarken, daha karmaşık mimariye sahip YOLOv8m modeli 0.91 hassasiyet ve 0.99 F1 skor performansı sergilemiştir. Normalize edilmiş karmaşıklık matrislerinde gözlemlenen yüksek diyagonal değerler (1.00), modellerin sınıflandırma başarısını doğrulamaktadır. Özellikle YOLOv8n ve YOLOv8s modelleri, karmaşık mimarilere kıyasla çok daha düşük hesaplama maliyeti sunması ve benzer tespit performansı göstermesi, gerçek zamanlı süt sığırı beslenme davranışı tespiti uygulamaları için optimum performans-maliyet dengesi açısından öne çıkmaktadır. Hassasiyet ve duyarlılık değerleri incelendiğinde en iyi model YOLOv8s olarak öne çıkmaktadır. Elde edilen bulgular, hayvancılık sektöründe yapay zekâ ve bilgisayarlı görme teknolojilerinin kullanımına yönelik yeni perspektifler sağlayacaktır.This thesis aims to develop an integrated system utilizing computer vision and deep learning technologies for automatic identification, tracking, and feeding area tracking based on facial detection in dairy cattle. The study evaluates the performance of biometric identification systems across different cattle breeds with varying morphological characteristics (Holstein, Simmental, and Montafon). Data were collected by highresolution cameras placed at three different locations, respectively: top for back images, while entering the milking unit and from the feeding area for face detection. The system performed real-time object detection and segmentation using the YOLOv8 architecture, followed by an individual identification and a face detection for feeding area tracking. The study involved a total of 18 dairy cattle, including Simmental (n=9), Montafon (n=4), and Holstein (n=5), with a planned data collection period of two days. The originality of this study lies in its three key innovations, overcoming the limitations of existing systems. First, biometric identification in different cattle breeds, second, integration of feeding area tracking analysis based on face detection in a single system, and finally, providing a practical solution that can work on real-time video streaming. The developed system offers practical solutions to promote the adoption of precision livestock farming in dairy production, improve animal welfare, and enhance farm productivity. In this study, the performances of YOLOv8-based deep learning models (nano, small, and medium) developed for individual identification of dairy cattle from back images were comprehensively evaluated. The comparative analysis among the models revealed that increased architectural complexity did not result in significant improvements in core performance metrics. The simplest model, YOLOv8n, stood out with a precision of 0.92 and an F1 score of 0.95, while the more complex YOLOv8s and YOLOv8m models demonstrated similar performances with a precision of 0.91 and an F1 score of 0.94. The high diagonal values (≈1.00) observed in the normalized confusion matrices confirmed the models' classification success, although a limited number of inter-class confusions were detected due to dataset imbalance. Notably, YOLOv8n, with its significantly lower computational cost and comparable detection performance, presents an optimal performance-cost balance for real-time dairy cattle identification applications. Similarly, YOLOv8-based deep learning models (nano, small, and medium) developed for feeding area tracking based on facial detection were comprehensively evaluated. The comparative analysis showed that increasing architectural complexity did not lead to significant improvements in key performance metrics. YOLOv8n and YOLOv8s stood out with precision and F1 scores of 0.99, while the more complex YOLOv8m model achieved a precision of 0.91 and an F1 score of 0.99. The high diagonal values (1.00) in the normalized confusion matrices further confirmed classification accuracy. In particular, YOLOv8n and YOLOv8s offer significantly lower computational costs and similar detection performances compared to more complex models, making them stand out in terms of optimal performance-cost balance for real-time dairy cattle feeding area tracking based on facial detection applications. In terms of precision and sensitivity, YOLOv8s was identified as the best-performing model. The findings provide new perspectives for the application of artificial intelligence and computer vision technologies in the livestock industry.