تصنيف الصور فائقة الطيف باستخدام التعلم النشط والشبكات العصبية الالتفافية البيزية

الباحث

محمود صديق قادر قادر

المشرف

Gökhan Bilgin

الجامعة

جامعة يلدز التقنية - تركيا

الكلية / القسم

معهد الدراسات العليا للعلوم والهندسة / هندسة الحاسوب

الشهادة

ماجستير

السنة

2023

لغة الرسالة

إنجليزي

الكلمات المفتاحية

Hyperspectral image classification ; Active learning ; Bayesian CNN ; Deep learning

HYPERSPECTRAL IMAGE CLASSIFICATION WITH ACTIVE LEARNING AND BAYESIAN CONVOLUTIONAL NEURAL NETWORKS Mahmood Siddeeq Qadir QADIR Department of Computer Engineering Computer Engineering program Master of Science Thesis Supervisor: Prof. Dr. Gökhan B ̇ILG ̇IN The classification of hyperspectral images (HSI) is crucial in numerous remote sensing fields due to the wealth of detailed information provided by the hundreds of narrow-band radiation measurements. The high spectral resolution of HSI allows for a more comprehensive characterization of the electromagnetic spectrum compared to traditional multispectral imaging. HSI classification involves assigning each pixel in an HSI dataset to one of several predefined classes or categories. This process enables researchers and practitioners to extract valuable insights and make informed decisions in various domains, including remote sensing, geoscience, environmental monitoring, geology, land cover mapping, vegetation health assessment, mineral identification, object detection, and change detection and other civil and defense applications. Overall, the classification of hyperspectral images plays an important role in leveraging the rich spectral information provided by HSI data to gain a deeper understanding of the earth’s surface and facilitate informed decision-making across various domains. Nowadays, Deep Learning (DL) methods have demonstrated remarkable performance in hyperspectral image HSI classification. However, one of the challenges in using DL models for HSI classification is the requirement for large amount of labelled data of training, which is often scarce and costly to acquire. Besides that, Bayesian Convolutional Neural Networks (Bayesian CNNs) have emerged as a robust approach for HSI classification, particularly when dealing with limited labelled data. Bayesian CNN’s incorporate Bayesian principles to model uncertainty in the network weights, allowing for more reliable predictions and robustness against overfitting. The Bayesian Active Learning by Disagreement (BALD) method is one way that can be utilized to improve the overall performance of Bayesian CNNs. BALD is an active learning strategy that selects informative samples for annotation by exploiting the uncertainty of the models. It measures the mutual information between the predictions of the network and the parameters of the model to identify the most uncertain samples, which are then annotated by an expert or domain specialist. By iteratively incorporating these informative samples into the training set, the performance of the Bayesian CNN can be enhanced, even with limited labelled data. Therefore, the combination of Bayesian CNNs and the BALD technique offers a promising solution for HSI classification, allowing for more effective utilization of limited labelled data and improving the overall performance of the model. In the context of this thesis, the classification of hyperspectral imagery is primarily conducted using the Bayesian CNN approach. To compare the results obtained from the Bayesian CNN, various other methods were employed, This entails the incorporation of conventional machine learning methodologies like Support Vector Machines (SVM) and Random Forest (RF), as well as Five transfer learning models, namely Inception, ResNet, Xception, NasNet, and EfficientNet. Pavia University and Pavia Centre Data sets are utilized for the evaluation. Notably, the highest accuracies achieved are 97% for Xception and 96% for SVM with an RBF kernel, while the Bayesian CNN method exhibited the best accuracy of 99.7% when applied to the Pavia University dataset. For the Pavia Centre dataset, the corresponding accuracies are 99% for Xception and 98% for SVM. Furthermore, the Bayesian CNN method has demonstrated the highest accuracy of 99.8%.To focus on enhancing the Bayesian CNN approach in this study, its classification performance is assessed using a more complex dataset. Due to the exceptionally high accuracy Keywords: Hyperspectral Image (HSI), Bayesian CNN, Deep Learning (DL), SVM, RF, Transfer learning, Active Learning, Bayesian Active Learning by Disagreement (BALD). YILDIZ TECHNICAL UNIVERSITY GRADUATE SCHOOL OF SCIENCE AND ENGINEERING ÖZET AKT ̇IF Ö ̆GRENME VE BAYES EVR ̇I ̧S ̇IMSEL S ̇IN ̇IR A ̆GLARI ̇ILE H ̇IPERSPEKTRAL GÖRÜNTÜ SINIFLANDIRMA Mahmood Siddeeq Qadir QADIR Bilgisayar Mühendisli ̆gi Anabilim Dalı Yüksek Lisans Tezi Danı ̧sman: Prof. Dr. Gökhan B ̇ILG ̇IN Hiperspektral görüntülerin (HSG) sınıflandırılması, yüzlerce dar bant radyasyon ölçümü tarafından sa ̆glanan detaylı bilgi bollu ̆gu nedeniyle birçok uzaktan algılama alanında önemlidir. HSG’nin yüksek spektral çözünürlü ̆gü, geleneksel çoklu spektral görüntülemeye kıyasla elektromanyetik spektrumun daha kapsamlı bir ̧sekilde karakterize edilmesine olanak tanır. HSG sınıflandırması, bir HSG veri setindeki her pikseli birkaç önceden tanımlanmı ̧s sınıf veya kategoriye atamayı içerir. Bu süreç, uzaktan algılama, jeobilim, çevresel izleme, jeoloji, arazi kaplama haritalama, bitki sa ̆glı ̆gı de ̆gerlendirmesi, mineral tanımlama, nesne tespiti, de ̆gi ̧sim tespiti ve di ̆ger sivil ve savunma uygulamaları dahil olmak üzere çe ̧sitli alanlarda de ̆gerli içgörüler çıkarmayı ve bilinçli kararlar vermenizi sa ̆glar. Genel olarak, hiperspektral görüntülerin sınıflandırılması, HSG verileri tarafından sa ̆glanan zengin spektral bilgiyi kullanarak dünya yüzeyinin daha derin bir anlayı ̧sını elde etme ve çe ̧sitli alanlarda bilinçli karar verme süreçlerini kolayla ̧stırmada önemli bir rol oynar. Günümüzde, derin ö ̆grenme (DÖ) yöntemleri, hiperspektral görüntü sınıflandırmasında dikkate de ̆ger performans sergilemi ̧stir. Bununla birlikte, HSG sınıflandırması için DÖ modellerinin kullanımındaki zorluklardan biri, genellikle nadir ve maliyetli olan büyük miktarda etiketli e ̆gitim verisine ihtiyaç duymasıdır. Bunun yanı sıra, Bayes Evri ̧simli Sinir A ̆gları (Bayes ESA), özellikle sınırlı etiketli verilerle u ̆gra ̧sılırken HSG sınıflandırması için güçlü bir yakla ̧sım olarak ortaya çıkmı ̧stır. Bayes ESA, a ̆g a ̆gırlıklarındaki belirsizli ̆gi modellemek için Bayes prensiplerini içerir ve daha güvenilir tahminler ve a ̧sırı uymaya kar ̧sı dayanıklılık sa ̆glar. Bayes Aktif Ö ̆grenme ile Anla ̧smazlık (BAÖA) yöntemi, Bayes CNN’lerin genel performansını iyile ̧stirmek için kullanılabilecek bir yöntemdir. BALD, modellerin belirsizli ̆ginden faydalanarak açıklayıcı örnekleri seçen bir etkin ö ̆grenme stratejisidir. A ̆gın tahminleriyle modelin parametreleri arasındaki kar ̧sılıklı bilgiyi ölçerek en belirsiz örnekleri belirler ve bunlar daha sonra bir uzman veya alan uzmanı tarafından etiketlenir. Bu bilgilendirici örnekleri e ̆gitim setine tekrar tekrar dahil ederek, Bayes CNN’nin performansı sınırlı etiketli veriye ra ̆gmen geli ̧stirilebilir. Bu nedenle, Bayes ESA’ların ve BAÖA tekni ̆ginin birle ̧simi, HSG sınıflandırması için umut vaat eden bir çözüm sunar. Bu yakla ̧sım, sınırlı etiketli verinin daha etkili bir ̧sekilde kullanılmasına ve modelin genel performansının iyile ̧stirilmesine olanak tanır. Bu tez ba ̆glamında, hiperspektral görüntülerin sınıflandırılması öncelikle Bayes ESA yakla ̧sımı kullanılarak gerçekle ̧stirilmi ̧stir. Bayes ESA’dan elde edilen sonuçları kar ̧sıla ̧stırmak için çe ̧sitli farklı yöntemler de kullanılmı ̧stı:, bunlar arasında Destek Vektör Makineleri (DVM) ve Rastgele Orman (RO) gibi klasik makine ö ̆grenimi teknikleri ile Inception, ResNet, Xception, NasNet ve EfficientNet gibi be ̧s transfer ö ̆grenme modeli de yer almaktadır. De ̆gerlendirme için Pavia Üniversitesi ve Pavia Merkez veri kümeleri kullanılmı ̧stır. Özellikle, en yüksek do ̆gruluk oranları Xception için 97% ve RBF çekirde ̆giyle DVM için 96% olmu ̧stur. Bununla birlikte, Bayes ESA yöntemi Pavia Üniversitesi veri kümesine uygulandı ̆gında 99.7%’lik en iyi do ̆gruluk oranını göstermi ̧stir. Pavia Merkez veri kümesi için ise ilgili do ̆gruluk oranları Xception için 99% ve SVM için 98% olarak belirlenmi ̧stir. Ayrıca, Bayes ESA yöntemi 99.8%’lik en yüksek do ̆gruluk oranını göstermi ̧stir. Bu çalı ̧smada Bayes ESA yakla ̧sımını geli ̧stirmeye odaklanmak için daha karma ̧sık bir veri kümesi kullanılarak sınıflandırma performansı de ̆gerlendirilmi ̧stir. Pavia Üniversitesi ve Pavia Merkez veri kümelerinde gözlemlenen yüksek do ̆gruluk oranları nedeniyle Indian Pines veri kümesi seçilmi ̧stir. Burada, Bayes ESA ortalama %90 do ̆gruluk oranına ula ̧smı ̧stır. Aktif ö ̆grenme tekni ̆gi olan BAÖA ile bırakma (dropout) fonksiyonu kullanarak %8’lik bir iyile ̧stirme elde edilmi ̧s ve ortalama do ̆gruluk oranı %98 olarak gerçekle ̧smi ̧stir. Anahtar Kelimeler: Tez içeri ̆gi, anahtar kelime.Hiperspektral Görüntüler (HSG), Bayesian CNN, derin ö ̆grenme (DÖ), SVM, RF, Transfer Ö ̆grenme (TÖ), Aktif Ö ̆grenme, Bayesian Aktif Ö ̆grenme ile Anla ̧smazlık (BAÖA). YILDIZ TEKN ̇IK ÜN ̇IVERS ̇ITES ̇I FEN B ̇IL ̇IMLER ̇I ENST ̇ITÜSÜ

طلب نسخة من الملف

الملفات غير منشورة على الموقع. اترك بياناتك وسيتواصل معك موظفو قسم الشؤون الثقافية والفنون لإرسال النسخة مجاناً.

الاسم

رقم الهاتف

البريد الإلكتروني

الغرض من الطلب (اختياري)

إرسال الطلب