نظام كشف العدوانية اعتماداً على تعابير الوجه باستخدام تقنيات ذكية

الباحث

تبرير طارق حسن

المشرف

عباس حسين عيسى

الجامعة

الجامعة التكنولوجية

الكلية / القسم

قسم الهندسة الكهربائية / هندسة الالكترونيك والاتصالات

الشهادة

دكتوراه

السنة

2022

لغة الرسالة

انكليزي

الكلمات المفتاحية

Aggression detection;Facial expressions;Deep learning;Feature extraction

زادت حالات العدوانية بشكل كبير في الأماكن العامة والمدارس والمرافق الصحية في السنوات الأخيرة. أصبح من الضروري تطوير نظام قادر على تنبؤ السلوك العدواني في مراحله المبكرة من Jal حماية المجتمع. تقترح هذه الرسالة Las للكشف عن العدوانية sly على ملامح الوجه التي تنطوي على تحديد وتحليل تعابير الوجه المحددة المرتبطة بالعدوانية باستخدام تقنيات رؤية الحاسوب. إن الكشف الدقيق عن السلوك العدواني يعتبر Gant بسبب الاعتماد المعقد على عوامل مختلفة. فإن أحد التحديات الرئيسية في تطوير نظام الكشف عن العدوانية هو نقص قواعد البيانات الوجه التي تتضمن تعابير وجه عدوانية. لذلك ¢ تم بناء قاعدة بيانات من الصور المصنفة مسبقًا والتي تم جمعها من مصادر عبر الإنترنت. وتم استخدام قواعد بيانات مختلفة قياسية أيضًا لأغراض المقارنة. لقد pad) نهجين لتصميم النظام. النهج الأول يعتمد على خوارزميات التعلم الآلي التي تتطلب الكشف واستخراج ملامح الوجه بواسطة استخدام خوارزميات اختيار الملامح لتحسين عملية الكشف عن طريق تحديد الوحدات الأكثر فعالية فقط, ثم تم استخدام خمسة خوارزميات لاختيار الملامح وهي تحليل الفرق بالمربعات Chi-square و F-tests f-test و Relief-F والحد الأدنى للتكرار والجاذبية القصوى mMRMR والحد اللابلاسياني 45,Laplacian Score تم إدخال الملامح المرشحة بعد ذلك إلى خمسة خوارزميات تعلم آلية مختلفة وهي: آلة الدعم النوعي SVM وشبكة العصبونات المتعددة الطبقات MUP وشجرة القرار DT و K-Nearest Neighbors KNN والبايز الساذج NB بينما استخدم النهج الثاني مفهوم التعلم العميق مع خمسة نماذج مدربة مسبقًا وهي AlexNets SqueezeNet و ResNet50 و ١0016 و VGG19 وتم استخدام نموذج VGG19 مع شبكة Faster R-CNN لعملية الكشف والتصنيف. ولغرض زيادة Ae yall تم تدريب نموذج 870107758 واختباره للكشف عن العدوانية مع تدريب نفس النموذج واختباره لتصنيف الفئات الأساسية الخمسة لتعابير الوجه (العاديّة، العدوانية، السعيدة، الحزينة، والمفاجئة). أظهرت نتائج phat) الآلي i طرق الانتقاء mRMR > F-tests Chi-square هي أقوى طرق الانتقاء في ترتيب السمات المتأثرة Lady للدقة المكتسبة. بالإضافة إلى ذلك، أظهرت النتائج أن شبكة العصبونات MLP وال SVM لديهما أعلى دقة اكتشاف بين جميع التركيبات الممكنة بين السمات وخوارزميات التعلّم الآلي. من جهة أخرىء فإن نتائج النهج التعلّم العميق تشير إلى أنّ شبكة 9 حققت أفضل أداء في عملية تصنيف الوجوه العدوانية بناءً على نقل bei حيث حققت الشبكة أعلى أداء في الاختبار بين جميع النماذج والتجارب السابقة بدقة تصل إلى 98 %. كما حققت نتائج الاختبارات للتعرف على خمسة تعابير للوجة بواسطة نموذج YOLOVSs دقة بلغت 9/098. و قد x) a تطبيق النموذج المدرّب على لوحة Jetson Nano للاكتشاف “ill لتصنيف في الوقت الحقيقي. وقد وصلت نتائج الاستدلال إلى نتائج مقبولة مع كشف العديد من تعابيرالوجه وتصنيفها بسرعة معالجة تبلغ 0.1 ثانية لكل صورة.

In recent years, instances of aggression have significantly increased in public spaces, schools, and health facilities. The need to develop a system capable of predicting aggressive behavior in its early stages has become essential for protecting society. This research proposes a system for detecting aggression based on facial features that involve identifying and analyzing specific facial expressions associated with aggression using computer vision techniques. However, the accurate detection of aggressive behavior is challenging due to the complex dependency on various factors. Additionally, one of the main challenges in developing an aggression detection system is the lack of facial datasets with aggressive facial expressions. Therefore, a database is built from pre-labeled images that are collected from online sources. Moreover, different standard databases are also employed for comparison proposes. Two approaches are used to design the system. The first approach depended on machine learning algorithms that require the detection and extraction of facial features. Feature selection algorithms are used to optimize the detection process by selecting only the most effective action units. Five feature selection algorithms including Chi-square, F-test, Relief-F, minimum redundancy maximum relevance (mRMR), and Laplacian Score (LS) are used to filter these features. The nominated features are then fed to five different machine learning algorithms: Support Vector Machine (SVM), Multilayer Perceptron neural network (MLP), decision tree (DT), K-Nearest Neighbors (KNN), and Naïve Bayes (NB). The second approach utilizes a deep learning concept with five pre-trained models including SqueezeNet, AlexNet, ResNet50, VGG16, and VGG19. Then, the VGG19 model is then used with the Faster R-CNN network for the detection and classification process. For faster detection, the YOLOV5s model is trained and tested for detecting facial aggression. Moreover, the same model is also trained and tested for classifying the basic five classes of facial expressions (normal, aggressive, happy, sad, and surprised). The machine learning results showed that Chi-square, F-test, and MRMR are the strongest feature selection methods in ranking the affected features according to the acquired accuracies. In addition, the results also demonstrated that the MLP neural network and SVM have the highest detection accuracies among all possible combinations between features and machine learning algorithms. On other hand, the deep learning approach results indicate that the VGG19 network achieved the best performance in the aggressive face classification process based on transfer learning. The network produced the highest testing performance among all previous models and experiments achieving an accuracy of 98%. The testing results of five expressions also attained an accuracy of 98%. The trained YOLOV5s model is then implemented on the Jetson Nano board for real-time detection and classification. The inference test reached acceptable results with multiple facial detection and classification with a processing speed of 0.1 seconds for each frame.

طلب نسخة من الملف

الملفات غير منشورة على الموقع. اترك بياناتك وسيتواصل معك موظفو قسم الشؤون الثقافية والفنون لإرسال النسخة مجاناً.

الاسم

رقم الهاتف

البريد الإلكتروني

الغرض من الطلب (اختياري)

إرسال الطلب