Otomatize edilmiş web tabanlı veri analizi sistem bileşenleri tasarımı

Fen Bilimleri Enstitüsü, Geomatik Mühendisliği Programı, İTÜ

Otomatize edilmiş web tabanlı veri analizi sistem bileşenleri tasarımı

Mehmet Akif Ortak; Uğur Algancı, 2019

Özet: Son yıllarda bulut teknoloji ve sunduğu çözümler kullanım alışkanlıklarını daha fazla etkilemeye başlamıştır. Bunun örneklerinden bir tanesi sanallaştırma teknolojisi olan Docker konteyner yapısıdır. Sanallaştırma, bulut bilişimin en önemli özelliklerinden bir tanesi olan sahip olduğu kaynağı, kullanıcının ihtiyacına göre paylaştırabildiği yapıdır. Sanallaştırma sayesinde, sistemin sahip olduğu işlemci gücü ve depolama alanı gibi kaynaklar ile birbirinden bağımsız makineler oluşturalabilir. Bu makineler bir uygulamanın farklı iş yapan elemanları veya tamamen farklı uygulamalar için çalışabilir. Sanallaştırma teknolojilerinin sunduğu çözümler yıllar içerisinde değişmiştir. Sanal makine kullanımı şeklinde yapılan ve daha fazla sistem kaynağı tüketen yapıya alternatif olarak Docker konteyner geliştirilmiştir. Bu yapı sistem kaynaklarını daha verimli kullandığı gibi, sağladığı hız ile popülerliğini hızlıca arttırmıştır. Docker teknolojisi sadece bulut bilişim tarafında değil kişisel bilgisayar kullanımında da kullanıcı alışkanlıklarına yeni bir deneyim sunmuştur. Birçok uygulama veya kod paylaşımları Docker sistemi sayesinde daha fazla kullanıcıya sorunsuz olarak ulaşabilmektedir. Uygulama kurulumu sırasında birbirine bağımlı yapıların haberleşmesinde ve uygulamaların doğru bir şekilde çalışmasında problemler meydana gelebilmektedir. Docker sayesinden geliştiriciler uygulama için gerekli olan tüm altyapıları tek bir kapet içine koyarak kullanıcılar için, sabit bir uygulama sunarak, kullanıcının en az sorun ile karşılaşmasını hedeflemektedir. Uygulama bölümü sonunda oluşturulan Docker dosyası bu yapının kullanımına bir örnek oluşturmuştur. Uzaktan algılama sistemleri de veri sistemlerinin gelişiminden doğrudan etkilenmiştir. ESA’nın son yıllarda yapmış olduğu yatırımlar ve sağladığı ücretsiz sağladığı veriler, USGS’in sunduğu veri altyapısı ve son yıllarda özel şirketlerin uydu teknolojilerine yapmış olduğu yatırımlar, uzaktan algılamanın veri çeşitliliğini ve kapasitesini arttırmıştır. Üretilen verinin daha fazla kullanıcıya ulaştırmak bu kuruluşların en büyük amaçlarındandır. Bulut bilişimin sisteminin tüm olanakları bu amaç ile uzaktan algılama verileri ile beraber kullanılmamaktadır. Bulut bilişimin yetenekleri ile son zamanlarda uzaktan algılamada farklı uygulamalar geliştirilmiştir. Tez kapsamında, Digital Globa firmasının geliştirdiği GBDX uzaktan algılama veri analiz platformunun, kullanıcı isteklerine nasıl cevap verdiği incelenmiştir. Aynı zamanda, USGS, Amazon ve Planet firmalarının işbirliği ile servis edilen Landsat-8 uydu görüntüsü API ile uzaktan algılama örneği geliştirilmiştir. Örnek uygulama, Landsat-8 API kullanılarak, Python programlama dili ile Jupyter interaktif veri analizi platformu üzerinde tasarlanmıştır. Bu uygulama uzaktan algılamada verinin alınışından bilgi üretimine kadar tüm aşamaları kapsamaktadır. İlk aşamada, görüntü numarasına göre veya çalışma alanına göre hedef görüntüler seçilmiştir. Görüntünün tarih ve bulutluluk gibi teknik detayları arama kriteri olarak girilebilen bir yapı oluşturulmuştur. Çalışma amacına uygun bantlar belirlenerek sisteme indirildikten sonra veri ön işleme, gerçek renk görüntü kombinasyonu oluşturma, indis oluşturma, çalışma alanına göre görüntünün kesimi ve sınıflandırma çalışmaları için Jupyter dosyaları hazırlanmıştır. Oluşturulan Jupyter dosyalarının kullanımı için Docker dosyası oluşturulmuştur. Kullanıcılar bu dosya sayesinde, her işletim sisteminde benzer bir altyapı kolayca oluşturabileceklerdir. Git versiyon kontrol sistemi sayesinde, aldıkları hatalar veya yaptıkları geliştirmeler ile bu sistemi destekleyebileceklerdir. Docker dosyası ve içerisindeki Jupyter dosyaları geliştirmeye açık bir yapıda olduğu için, benzer bir yapı farklı uydu görüntüleri için veya Landsat-8 ile yapılan farklı uygulamaların Jupyter dosyaları sisteme eklenebilir. Aynı zamanda, benzeri bir sistemi bulut bilişim ortamında bir hizmet olarak da sunulabilir.

Tez No: 607189