تحسين محرك البحث للبيانات الضخمة بالاعتماد على تقنيات التجميع
Improving Search Engine of Massive Data based on Clustering Techniques
- الباحث
- حيدر عبد علي باقر الشرقي
- المشرف
- أ.د. كاظم بريهي الجنابي
- الجامعة
- جامعة الكوفة
- الكلية / القسم
- علوم الحاسوب والرياضيات / علوم الحاسوب
- الشهادة
- ماجستير
- السنة
- 2022
- لغة الرسالة
- انكليزي
- الكلمات المفتاحية
- Search Engine;Massive Data;Clustering Techniques;Information Retrieval
الملخص
تعد البيانات الضخمة حاليا واحدة من اهم المواضيع في مجال ابحاث علوم البيانات لأنها تشكل Gand لتخزين المعلومات وإدارتها وتحليلها واكتشافها. إلى جانب cll تؤثر مشكلات ١7 الخمسة (الأحجامء والتنوع، Ac pully والصدقء والقيمة) على أداء البيانات الضخمة وتؤدي إلى زيادة كبيرة في تعقيد المكان والزمان عانى منه العديد من الخوارزميات عند معالجة البيانات الضخمة. هذه الخوارزميات مثل البحث والتحديث والحذف والفرز والخوارزميات الأخرى التي تستخدم البيانات بأحجام مختلفة تستخدم أيضًا تقنيات وخوارزميات استخراج البيانات الشائعة مثل التصنيف والتجميع والارتباط. sll تستهلك خوارزميات البحث duals Sub Hi, مع البيانات الكبيرة عن البيانات التقليدية التي تستغرق وقت ،Jil وبالتالي يتم استخدام خوار زميات البحث البديلة لاكتشاف المعلومات مع وقت تنفيذ أقل لتحسين أداء البيانات الكبيرة. لمعالجة المشكلات المذكورة، تعمل هذه الدراسة على تحسين محرك بحث للبيانات الضخمة لزيادة أداء البيانات الضخمة باستخدام خوارزميات البحث المتسلسلة مع تقنيات التجميع التكراري. الفكرة الرئيسية لهذا العمل هي تجميع البيانات في مجموعاتء وتحديد الكتلة التي ينتمي إليها العنصر (العناصر) التي تم البحث عنهاء ثم تجميع الكائنات في الكتلة المحددة في مجموعات أخرى مما يقلل بدوره من وقت البحث عن الخوارزميات. تشمل منهجية البحث عشر مراحل وهي جمع البيانات (مجموعة bly جرائم NYPD مع البيانات) ، وتصميم مستودع البيانات (تصميم ثلاث مخططات لقاعدة بيانات علاقة الكيانات (ERD) واستخدام تقنيات الاستخراج والتحويل والتحميل (ETL) ، وميزات الاختيار ، والبحث المتسلسل ¢ وتحسين التجميع ، والتجميع (باستخدام خوارزمية أوضاع (K ، والبحث داخل التجميع ، والتجميع التكراري © وأخيرًا البحث Jala التجميع التكراري. بالإضافة إلى cell يتم تنفيذ المراحل باستخدام خادم SQL ولغات برمجة Python بعد تطبيق النهج الذي تم إجراؤه على مجموعة بيانات جرائم شرطة نيويوركء أظهرت النتائج أن الطريقة المقترحة قد حسنت أداء خوارزمية البحث (من To, AVY ثانية إلى ٠,8477565 ثانية) وتعديل التعقيد الزمني من (n) © إلى (K + IM +N) © حيث K (العدد الأمثل للمجموعات)، aac) M المجموعات مقارنة بالتقنيات التقليدية (اكتشاف العناصر التي تم البحث عنها). بناءً على النتائج، يمكن اعتبار خوارزميات التجميع تقنية فعالة لتحسين أداء البيانات الضخمة مع استهلاك وقت منخفض عند استخدام التجميع التكراري في البيانات الضخمة اعتمادًا على العدد الأمثل من المجموعات.
Abstract
Currently, Big Data plays a significant topic in Data Science research because it poses a challenge to store, manage, analyze, and discover information in Data. Besides, the five V's issues (volumes, variety, velocity, veracity, and value) influence the performance of Big Data and lead to high space and time complexity that several algorithms suffered from when processing massive data. These algorithms such as searching, updating, deleting, sorting and other algorithms that used with different sizes and complexity of data also utilize common data mining techniques and algorithms like classification, clustering, and association. Therefore, traditional data searching algorithms can constrain time-consuming particularly with the Big Data thus alternative search algorithms are used to find out information with less execution time to improve the Big data performance. To address the mentioned issues, this study improves a search engine of massive data to increase the Big data performance by using sequential search algorithms with iterative clustering techniques. The main idea of this work is to group the data into clusters, identify the cluster where the searched item(s) belong, and then grouped the objects in the identified cluster into other clusters which in turn reduces the time of searching algorithms. The research methodology encompasses ten phases namely data gathering (NYPD crimes dataset with 6,500,871 rows and 35 columns ), preprocessing consists of (data cleaning, data transformation, and data reduction ), data warehouse design(design Three schemes of entity relation database (ERD) and using extract, transformation, and load (ETL) techniques ), selection features, sequential search, clustering optimization, clustering (using K-modes algorithm), search within clustering, iterative clustering, and finally search within iterative clustering. additionally, the phases are implemented by using SQL server and Python programming languages. After applying the conducted approach on the NYPD crimes dataset, the results have shown that the proposed approach was improved the searching algorithm performance (from 30.08667 seconds to 0.84365 Seconds) and amended the time complexity from O(n) into O(K+IM+N) where K (optimal number of clusters), M (number of clusters for closest cluster) I is the number of iterations, N (number of objects in closest nested cluster/s) with the same accuracy compared with traditional techniques (finding out the searched items). Based on the results, the clustering algorithms can be considered an effective technique to enhance Big Data performance with low-time consumption when using iterative clustering in massive data depending on an optimal number of clusters.
طلب نسخة من الملف
الملفات غير منشورة على الموقع. اترك بياناتك وسيتواصل معك موظفو قسم الشؤون الثقافية والفنون لإرسال النسخة مجاناً.