نظام وسم الكائنات المتعددة بالاعتماد على التعلم العميق

الباحث

سهى ظاهر عذاب

المشرف

عبد الأمير عبد الله كريم

الجامعة

الجامعة التكنولوجية

الكلية / القسم

قسم علوم الحاسوب / علوم الحاسوب

الشهادة

دكتوراه

السنة

2024

لغة الرسالة

انكليزي

الكلمات المفتاحية

Object tagging;Multi-object detection;Deep learning;Image annotation

الوسم هو عملية إرفاق البيانات الوصفية أو التسميات للعناصر والبيانات والمحتوى لتسهيل تصنيفها وتنظيمها والبحث عنها وإدارتها وتحديدها بشكل أكثر فعالية. يعد الوسم أداة قيمة متعددة الاستخدامات في إدارة المعلومات وتنظيم المحتوى والتواصل الرقمي. يمكن أن يعزز الوسم بشكل كبير كفاءة وفعالية مع زيادة كمية المحتوى الرقمي، يصبح الوسم (Manual Labelling)cs ss) غير عملي للتعامل مع كميات ضخمة من البيانات. يمكن أن يكون وسم البيانات بشكل يدوي لكم كبير من البيانات مستهلكًا للوقت والجهد والتكلفة. يساعد الوسم التلقائي في تسريع العملية، مما يجعلها أكثر كفاءة، خاصة عند التعامل مع مجموعات بيانات كبيرة. حيث تضمن انظمة الوسم التلقائي إعطاء وسم موحد HUSH ما يقلل من احتمال الخطأ البشري أو التحيز. في هذه الأطروحة، تم تقديم نوعين من نماذج التعلم العميق، حيث يقدم كل نوع gd فريدًا algal وسم الكائنات المتعددة. تم تطوير النموذج الأول بالكامل من الصفرء حيث يتم بناء هيكل تم تخصيصه لمتطلبات مجموعة البيانات وأهداف التطبيق. على الجانب sal يستخدم النموذج الثاني قوة نقل التعلم ‘(Transfer Learning) للاستفادة من الوسم. يعزز مبدأ نقل التعلم عملية التدريب علاوة على الاستفادة من الميزات العامة التي تم استخراجها من النموذج المدرب مسبقًاء مما يكون ذلك مفيدًا لتعزيز الأداء حتى في سياق تطبيق فريد مثل الواقع المعزز لآثار العراق. نظرًا لعدم وجود مجموعة بيانات للتعلم العميق لآثار العراق؛ يبدأ إنشاء النموذج بجمع البيانات، وهي صور متنوعة تعكس أنواع الفئات (classes) التي يتوقع أن يتعامل معها نموذج الوسم. البيانات المستخدمة لتدريب النموذجين معقدة وتشكل تحديا لتهيئتها لتدريب النظامين؛ لذلك تم اقتراح هيكلية مخصصة لمجموعة البيانات. تسمح هذه الهيكلية بتنظيم وإدارة البيانات بطريقة منظمة وتوفر Jy jo من المرونة والتحكم في عملية تحميل البيانات والمعالجة الأولية والتحويلات التي يتم اجراءها على الصور. تقوم نماذج التعليم العميق المقترحة ببناء مجموعة من صناديق الارساء (Anchor Boxes) تتكون هذه الصناديق من مناطق محددة مسبقًا يتم وضعها عبر شبكة الصورة. تشمل صناديق الارساء احجام واشكال متنوعة لاستيعاب تنوع الكائنات في مجموعة البيانات. يتبع هذا الخطوة اختيار عدد صناديق الارساء الأمثل وتمريرها إلى نموذج التعليم العميق. أثناء التدريب، يقارن نموذج الكشف عن GUIS بين الصناديق (التي تم إنشاءها بواسطة النموذج) وبين صناديق الحقيقة الأساسية (Ground Truth) يشمل هذا التقييم مطابقة كل صندوق متوقع مع الصندوق الأمثل ومن ثم تحسين أبعاد صندوق الحدود (Bounding Box) ووضعه ليتناسب مع صندوق الحقيقة للكائن. يستخدم النموذج Alla لحساب الخسارة (Loss Function) من نوع متعددة المهام تجمع بين فقدان التصنيف(1.055 (Classification لتنبؤ فئة الكائن وفقدان الانحراف (Regression Loss) لتعديل صندوق الحدود. توجه هذه الخسارة النموذج نحو الكشف الدقيق عن الكائنات وتحديدها داخل صناديق الحدود الخاصة بها. تم اختبار أداء النموذج باستخدام متوسط (mAP) mean Average Precision!) تم إجراء تقييم نموذج وسم الكائنات المتعددة المقترح مع هندسة إنشاء الصناديق الديناميكية باستخدام مجموعتي بيانات متنوعة COCO و Pascal VOC. خلال عملية التدريب ial خسارة تم ملاحظتها ) minimum (regression loss في COCO هو 0,575738055. أدنى خسارة للتصنيف (minimum Las gis ges ,YAIVET sclassification loss) الدقة هو 75 % أما بالنسبة ل70600؟ Pascal ، فإن أدنى خسارة للتصنيف .0,٠١ 51767 s8(minimum classification loss وأدنى خسارة للتحديد (minimum regression loss) هو c++) ACY ومتوسط الدقة هو 90.18 تم تقييم نموذج وسم الكائنات المتعددة مع هندسة إنشاء الصناديق الديناميكية وهندسة نقل التعلم باستخدام مجموعة بيانات مخصصة تركز على اثار العراق. 284 كان فقد التحديد (minimum regression loss) هو .١0 ,++A وفقد التصنيف (minimum regression loss) هو c++ ومتوسط الدقة هو ANE

Tagging refers to the process of attaching metadata or labels to items, data, and content to facilitate categorizing, organizing, searching, managing, and identifying them more effectively. Tagging is a versatile and valuable tool in information management, content organization, and digital communication. It can significantly enhance the efficiency and effectiveness of accessing and understanding a wide range of items and data. As the amount of digital content continues to increase, manual tagging becomes impractical for handling massive amounts of data. Manually tagging large volume of data can be time-consuming, labour-intensive, and costly. Automatic tagging helps in speeding up the process, making it more efficient, especially when dealing with large datasets. Automated tagging systems provide consistency in assigning tags, reducing the likelihood of human error or bias. In this dissertation two deep learning models were introduced, each offering a unique approach to multi-objects tagging tasks. The first model type is developed entirely from scratch, where an architecture tailored to the specific requirements of tagging is constructed. This approach allows us to design every aspect of the model to align with the details of the dataset and the objectives of the application. Conversely, the second model employs the power of transfer learning, leveraging the knowledge and representations learned from a pre-existing model. By fine-tuning a pre- trained architecture on the tagging dataset. This approach not only accelerates the training process but also exploits the general features extracted by the pre-trained model, which can be highly beneficial for boosting performance, even in the context of a creating unique application like Augmented Reality for Iraqi archaeology. Due to the absence of deep learning datasets for Iraqi Archaeology; the creation of the transferred learning model starts with dataset gathering, a diverse and representative image that mirror the types of classes the tagging model is intended to handle. The shape of the dataset used for training both models are quite diverse and complex; therefore, a custom dataset structure was suggested. This structure allows organizing and managing the data in a structured way and allows more flexibility and control for data loading, pre-processing, and transformations such as image augmentations, normalization, and resizing. The suggested models construct set of anchor boxes during forward pass. These boxes are predefined regions of interest that are placed across the image grid. The anchor boxes encompass various scales and aspect ratios to accommodate the diversity of objects in the dataset. This step is followed by optimal anchor selection and passing the optimal anchors to the detection model. The model employs a multi-task loss function that combines classification loss (for object category prediction) and regression loss (for anchor box adjustments). This combined loss guides the model to accurately detect objects and localize them within their respective bounding boxes. The evaluation of the suggested multi object tagging model with dynamic anchor generation architecture was conducted using two diverse datasets: COCO and Pascal VOC. During training the COCO minimum localization loss was 0.22438045, the minimum classification loss was 0.286746, and the testing result for COCO using the Mean Average Precision mAP was 74%. The Pascal VOC training results was 0.105762, 0.013852 for classification and localization loss respectively, and the testing results using mAP was 68%. The multi object tagging model with dynamic anchor generation and transfer learning architecture was evaluated using a custom-collected dataset focused on Iraqi archaeology. Training regression loss was 0.008, the training classification loss was 0.02, and the mAP for the tested samples was 84%

طلب نسخة من الملف

الملفات غير منشورة على الموقع. اترك بياناتك وسيتواصل معك موظفو قسم الشؤون الثقافية والفنون لإرسال النسخة مجاناً.

الاسم

رقم الهاتف

البريد الإلكتروني

الغرض من الطلب (اختياري)

إرسال الطلب