نظام ترجمة لغة الإشارة الذكي القائم على التعرف على الإيماءات

الباحث

مصعب علي حسن

المشرف

أثير علاء صبري - علاء حسين علي

الجامعة

الجامعة التكنولوجية

الكلية / القسم

قسم الهندسة الكهربائية / هندسة الالكترونيك والاتصالات

الشهادة

دكتوراه

السنة

2024

لغة الرسالة

انكليزي

الكلمات المفتاحية

Sign language;Gesture recognition;Deep learning;Arabic sign language

يعد التواصل الفعال ضروريّا للتفاعل الاجتماعي والمشاركة بالنسبة لمجتمع الصمء تعمل لغة الإشارة كوسيلة أساسية للتواصلء وتسد الفجوة بين الأفراد الصم وغيرهم. وقد حفزت التطورات السريعة في تقنيات التعرف على الصور والفيديو أبحانًا مهمة في تحسين أنظمة تفسير لغة الإشارة، بهدف التخفيف من تحديات التواصل للصم. أصبح تطوير تكنولوجيا الاتصال المساعدة لمجتمع الصم الناطق باللغة العربية، وتحديدًا التعرف على لغة الإشارة العربية، Vlas ذا plain! أكاديمي متزايد. وعلى الرغم من التطورات pSV) غاليًا ما تواجه أنظمة التعرف على لغة الإشارة العربية الحالية قيودًا بسبب الحاجة إلى مجموعات بيانات واسعة النطاق وأجهزة معقدة، مما يحد من إمكانية الوصول إليها وعمليتها في بيئات محدودة الموارد. ويمثل هذا القيد حاجرًا أمام تقنيات الاتصال الشاملة ويؤكد على الحاجة إلى حلول أكثر سهولة في الوصول. تركز هذه الدراسة على تطوير نظام التعرف التلقائي على 32 حرفًا من حروف لغة الإشارة العربية باستخدام تقنيات Machine Learning and Deep Learning يستخدم النموذج المقترح معالجة أولية شامل يتضمن تحويل ،Histogram Equalization ،Gaussian Blur ،Gray scale و Resizing لتحسين بيانات الإدخال للتدريب والاختبار. يتم إجراء استخراج الميزات باستخدام Principle Component Analysis (PCA) و ،Linear Discrimination Analysis (LDA) والتي يتم تطبيقها لاستخراج المعلومات المطلوبة لغرض التمييز ( (Recognition يتضمن نظام التعرف نهجين رئيسيين: طريقة تعتمد على Machine Learning باستخدام أربعة مصنفات K Nearest Neighbor (KNN)<،Ada boosting ،Decision Tree (DT) ،Naive Bayes (NB) - مع تحقيق KNN دقة 786.4 يستخدم النهج الثاني شبكة عصبية من نوع 1D Convolutional Neural ،Network (I DCNN) ان البيانات المستخدمة تم تقييمها على مجموعتين: واحدة تتكون من صور Gray GAs Scale من الصور الملونة RGB وتحقيق معدلات تعرف بنسبة 99.7/ و 99.9/ على التوالي. تشير نتائج هذا البحث إلى أن النموذج المقترح لا يضع معيارًا جديدًا في دقة التعرف على لغة الإشارة العربية فحسبء بل يحمل أيضًا وعودًا كبيرة لتطوير أدوات ترجمة لغة الإشارة المساعدة في الوقت الفعلي والتي يمكن الوصول إليها.

Effective communication is essential for social interaction and engagement. For the deaf community, sign language serves as a primary means of communication, bridging the gap between deaf individuals and others. The rapid advancements in image and video recognition technologies have spurred significant research into improving sign language interpretation systems, aiming to alleviate communication challenges for the deaf. Developing assistive communication technology for the Arabic-speaking deaf community, specifically Arabic Sign Language (ArSL) recognition, has become an area of growing academic interest. Despite recent advancements, current ArSL recognition systems often face limitations due to the need for extensive datasets and complex hardware, restricting their accessibility and practicality in resource-limited settings. This limitation presents a barrier to inclusive communication technologies and underscores the need for more accessible solutions. This study focuses on developing an automatic recognition system for 32 Arabic Sign Language letters using machine learning and deep learning techniques. The proposed model employs a comprehensive preprocessing pipeline that includes grayscale conversion, Gaussian blurring, histogram equalization, and image resizing to optimize the input data for training and testing. Feature extraction is conducted using Principal Component Analysis (PCA) and Linear Discriminant Analysis (LDA), which are applied to retain key discriminative information while reducing dimensionality. The recognition system incorporates two main approaches: a machine learning-based method using four classifiers—Naïve Bayes (NB), Decision Trees (DT), Adaptive Boosting, and K- Nearest Neighbor (KNN)—with KNN achieving an accuracy of 86.4%. The second approach employs a one-dimensional convolutional neural network (CNN), evaluated on two datasets: one consisting of grayscale images and the other of color images, achieving impressive recognition rates of 99.7% and 99.9%, respectively. The findings of this research indicate that the proposed model not only sets a new standard in ArSL recognition accuracy but also holds substantial promise for developing real-time, accessible, assistive sign language translation tools.

طلب نسخة من الملف

الملفات غير منشورة على الموقع. اترك بياناتك وسيتواصل معك موظفو قسم الشؤون الثقافية والفنون لإرسال النسخة مجاناً.

الاسم

رقم الهاتف

البريد الإلكتروني

الغرض من الطلب (اختياري)

إرسال الطلب