تحديد سمات المتحدث لغرض محاكاة التفاعل بين الإنسان والآلة
Speaker Profiling for Simulated Human-Robot Interaction
- الباحث
- أمنية حميد جاعد
- المشرف
- علياء كريم عبد الحسن
- الجامعة
- الجامعة التكنولوجية
- الكلية / القسم
- قسم علوم الحاسوب / علوم الحاسوب
- الشهادة
- دكتوراه
- السنة
- 2024
- لغة الرسالة
- انكليزي
- الكلمات المفتاحية
- Speaker profiling;Human-robot interaction;Speech processing;Deep learning
الملخص
يكمن التحدي الرئيسي في التفاعل بين الإنسان والروبوت (ART) في التغلب على فجوة الاتصال بين البشر والروبوتات. و يعد إنشاء واجهات ذكية تدعم الاتصال الفعال أمرّا HRI clad th yy pea تحمل إشارة الصوت معلومات عن المتحدثء مثل البنية الجسدية والحالة العاطفية أو الصحية. تمكين النظام الروبوتي من فهم هذه السمات يعزز التفاعل الشخصي ويساعد الروبوت على تعديل سلوكه dy لذلك. ومع ذلكء فإن تقدير هذه السمات من الصوت يعد معقدًا بسبب التغيرات في الإشارات الصوتية المتأثرة بعوامل عديدة. تستكشف هذه الرسالة تحديد خصائص المتحدثء مع التركيز على تقدير العمر والجنس والطول من الصوت باستخدام نهج قائم على المعرفة Knowledge-Driven ونهج قائم على البيانات Data-Driven في الجانب المبني على المعرفة من هذا البحثء يتم استخدام التقنيات التقليدية استخلاص الميزات Features باستخدام أدوات مثل Praat s openSMILE لاستخراج مجموعة واسعة من ميزات الكلام. لتحسين مجموعة الميزات، تم اقتراح خوارزميتين جديدتين لاختيار الميزات. الأولى؛ الاختيار التصاعدي للميزات على أساس العتبة مع الإزالة العكسية، التي تضيف وتزيل الميزات بشكل استراتيجي لضمان مجموعة مثالية. Lal الخوارزمية الثانية، "الإتحاد-الضبابي" Fuzzy-ensemble , فدمجت عدة طرق لاختيار الميزات، مستخدمة التجميع الضبابي لاستخلاص المجموعة النهائية. النهج القائم على البيانات يحلل البيانات الصوتية الخام، مقترحًا طبقات مخصصة لاستخراج الميزات باستخدام المرشحات السمعية. الطبقة الأولى هي شبكة عصبية تلافيفية (CNN) تمت تهيئتها باستخدام Lad yo وهما مرشحات جاماتون sGammatone filters المويجات Wavelets . بينما تستخدم الطبقة الثانية معلمات مرشح غاماتون كأوزان ديناميكية يتم تحديثها أثناء التدريب لتتوافق بشكل وثيق مع البيانات. تم تقييم الفعالية باستخدام متوسط الخطأ المطلق (MAB) وجذر متوسط مربع الخطأ (RMSE) لتقدير العمر والطولء والدقة والمعيار والرجوع للكشف عن الجنس. باستخدام TIMIT ونسخة موسعة من VoxCeleb E-VoxCeleb مع Gls gles الطولء، و حققت طرق اختيار الميزات دقة تتجاوز 9098 في كشف الجنس. حققت طريقة 11917-817نسبة خطأ من 4.5 إلى 5.5 سم للطول و4.85 إلى 6.44 سنوات لتقدير العمر عبر المجموعات البيانية. قام "الإتحاد الضبابي" بتحسين تقدير Gus oJ shall حقق نسبة خطأ من 4.71 إلى 6.34 eu أظهر النهج القائم على البيانات نتائج واعدة، Gus حققت الطبقات المبدئية بالمرشحات السمعية نسبة خطأ من 2 إلى 6.95 سم للطول ومن 5.65 إلى 7.28 سنوات لتقدير العمر. حققت طبقة GammaNet المبتكرة نتائج مماثلة. بلغت دقة الكشف عن الجنس 9098 و9097.5 ،E-VoxCelebs TIMIT cle على التوالي. لا تساهم طرق اختيار الميزات المقترحة والطبقات والنتائج المخصصة الواردة هنا في مجال تحديد سمات المتحدث فحسبء بل تنطوي أيضًا على إمكانات للتطبيقات العملية في مختلف المجالات. يتم توضيح دمج تحديد سمات المتحدث في نموذج HRI في هذه الأطروحة من خلال تصميم نموذج محاكاة (HRI والذي يتم تمثيله من خلال تصميم روبوت افتراضي مع رسوم متحركة للوجه واتصالات سريعة الاستجابة GL على مخرجات نظام تحديد Glas المتحدث. يهدف نموذج HRI المقترح هذا إلى محاكاة تأثيرات تحديد Glas المتحدث في سياق التواصل بين الإنسان والروبوتء مع التركيز على gall الأساسي لتوصيف المتحدثين في التغلب على التحديات الكامنة في (HRT مما يمهد الطريق لروبوتات أكثر سهولة وجاذبية وشبيهة بالإنسان.
Abstract
major challenge in human-robot interaction (HRI) is overcoming the communication gap between humans and robots. Effective smart interfaces are essential for HRI success. The speech signal carries information about the speaker's physical build and emotional or health state. Enabling a robotic system to understand these attributes promotes personalized interaction and adaptive robot behavior. However, estimating these attributes from speech is complex due to the variability in speech signals influenced by numerous factors. This dissertation explores speaker profiling, focusing on estimating age, gender, and height from speech using knowledge-driven and data-driven approaches. The knowledge-driven approach employs traditional feature extraction techniques with tools like openSMILE and Praat, proposing two novel feature selection algorithms. The first, threshold-based forward feature selection with backward elimination (TBF-BE), optimally adds and removes features. The second algorithm, 'fuzzy ensemble,' integrates multiple feature selection methods, utilizing fuzzy c-means clustering for final feature selection. The data-driven approach analyzes raw speech data, proposing custom feature extraction layers using auditory filters. The first layer is a convolutional neural network (CNN) initialized with gammatone and wavelet filters, while the second layer uses dynamic gammatone filter parameters, updating during training to closely adapt to the data. Effectiveness is assessed using mean absolute error (MAE) and root mean square error (RMSE) for age and height estimation, and accuracy, precision, and recall for gender detection. Using TIMIT and an extended version of VoxCeleb (E-VoxCeleb with height labels), the feature selection methods achieved over 98% accuracy in gender detection. The TBF-BE method achieved MAEs of 4.5 to 5.5 cm for height and 4.85 to 6.44 years for age estimation across datasets. The fuzzy-ensemble method refined height estimation, with MAEs of 4.71 to 6.34 cm. The data-driven approach showed promising results, with auditory filter-initialized layers yielding MAEs of 5.22 to 6.95 cm for height and 5.65 to 7.28 years for age estimation. The innovative GammaNet layer achieved comparable results. Gender detection accuracy stood at 98% and 97.5% on TIMIT and E-VoxCeleb, respectively. The proposed methods and custom layers significantly contribute to speaker profiling, with potential practical applications. Integration into an HRI model demonstrated through a virtual robot with facial animations and contextually responsive communication emphasizes the role of speaker profiling in enhancing HRI. This research paves the way for more intuitive, engaging, and human-like interactions.
طلب نسخة من الملف
الملفات غير منشورة على الموقع. اترك بياناتك وسيتواصل معك موظفو قسم الشؤون الثقافية والفنون لإرسال النسخة مجاناً.