2020’de Mekansal Analiz ve Veri Bilimine Genel Bakış

30/09/2020

Analysis & Geoprocessing ArcGIS Pro Geodata Imagery Mapping Python Teknik

2020 Geliştiriciler Zirvesi olarak bilinen Developer Summit’te mekansal analiz ve veri bilimi iş akışları için güçlü ve kapsamlı bir platform olan ArcGIS’in yeteneklerini gösteren bir çok özellik anlatıldı. Bu yazı; bu konularda genel bilgi vermeyi amaçlayacak şekilde oluşturulmuştur. Ayrıca linke tıklayarak zirvede anlatılan diğer içerikleri ve videoları da izleyebilirsiniz.

Aşağıda gördüğünüz gibi veri bilimi iş akışı tipik olarak veri mühendisliğiyle başlar. Bu aşama verinin dönüşümünü, çıkarımını, hazırlanmasını ve zenginleştirilmesini kapsar. ArcGIS, analiz için kullanacağınız verileri kolayca oluşturmanıza yardımcı olur. Sonrasında verinin nelere sahip olduğunu ve olmadığını keşfetmek için görselleştirme ve keşfetme devreye girer. Mekansal analizler çalıştırılabilir ve konumu etkinleştirilmiş veriler Python veya R içinde modelleme ve komut dosyası için kullanılabilir. Sonuncu olarak iş akışında cevapların aksiyona döndüğü kısım; paylaşım ve işbirliğidir. ArcGIS tüm verileri entegre eder ve bunları harita, sahne ve katman gibi coğrafi bilgi varlıkları olarak düzenlemeye yardımcı olur.

Mekansal analiz ve veri biliminde güçlü ve kapsamlı platform

Bu sene; çok boyutlu raster veriler, hatta yapılandırılmamış verilerle ilgili çalışmalara ek olarak, lidar verileri ve full motion video gibi konularla ilgili geliştirme alanında yapılabileceklere değinilmiştir. Yazının ilerleyen kısımlarında bu konularla ilgili daha çok bilgiye erişebilirsiniz.

Açık Bilim, Araçlar ve Deneyimler

Veriyi dönüştürmede ArcGIS açık deneyimlerle entegredir. Makine öğrenmesi için Tensor Flow, Keras, PyTorch, veri düzenleme için pandas ve NumPy açık bilim kütüphaneleri, API’lar ve araçlarla entegre bir platform sunar.

Demo örneklerine geçmeden önce R- AcGIS Bridge’e gelen yenilikler kısaca şu şekilde özetlenebilir: portal öğelerine erişmek için Online veya Enterprise’dan bağlantı kurma yeteneği, Conda üzerinden R Notebook ile entegrasyon, R iş akışları içinde ArcPy çağırarak coğrafi işlem araçlarını çalıştırma.

– ArcGIS Notebooks’un ArcGIS Pro ile Entegre Çalışması

ArcGIS Notebooks; etkileşimli haritalama, semboloji, grafikler ve seçimler yoluyla analiz ve veri bilimi iş akışlarını yürütmenin, görselleştirmenin ve yinelemenin dinamik bir yoludur. Açık kaynak kütüphanelerinin sorunsuz entegrasyonu sayesinde, mekansal veri bilimi iş akışları sezgisel yollarla genişletilebilir. Demo olarak gösterilen bir örnekte “random forest” makine öğrenme algoritmasını kullanarak; sağlık verileri kronik böbrek hastalığından etkilenen nüfus yüzdelerini bölgelere göre göstermek için modellendi.

ArcGIS Notebooks ArcGIS Pro’yla entegre çalışır

Maliyeti düşürmenin ve hizmet sunumunda verimliliği artırmanın potansiyel bir yolu, dengeli idari bölgeler oluşturmaktan geçtiği için öncelikle bu konuda çalışıldı. İhtiyaç duyan hastalar, gelir düzeyleri ve diyaliz merkezlerine uzaklık gibi bir dizi öznitelik değerine dayalı olarak dengeli idari bölgeler tahmin edildi. ArcGIS Pro’nun Jupyter Notebooks ile entegre olması sayesinde analizin başlık, görseller ve etkileşimli grafikler de dahil olmak üzere anlamlı bir bağlamla optimize edilebildiği gösterildi.

Başlıklar, görseller ve etkileşimli analizlerin ArcGIS Pro içinde Notebooks ile görünümü

İkinci bir örnekte ise; Hindistan’daki protesto türlerini incelemek üzere açık kaynak kütüphanesinden yararlanılarak geçmiş yıllara dönük veriler iki ana grupta toplandı. Daha sonra analizini geliştirmek için açık kaynak kütüphaneleri içe aktarıldı. İlk olarak; mevcut öznitelik sınıfını bir “pandas DataFrame”e dönüştürerek öznitelikler tablo biçiminde görüntülendi ve seçildi. Daha sonra, verileri mekan ve zamanda görselleştirmek üzere istatistiksel grafikleri ve çizelgeleri dahil etmek için “seaborn” kullandı. Son olarak, kendi kategorileri arasında mekansal bir ilişki olasılığını belirlemek için ArcPy’nin colocation analiz aracı kullanıldı.

ArcPy ile Colocation analizi

Yapılan demo sunumunu izlemek için tıklayınız.

– Büyük Veri Analizi

GeoAnalytics Araçları, büyük miktarda veri arasındaki ilişkileri ve kalıpları tanımlamak için mekansal analizden yararlanır. GeoAnalytics, Apache Spark kullanarak vektör ve tablo veri kümelerini analiz etmek için paralel analiz gerçekleştirir. GeoAnalytics Server ile kuruluşlar birden çok makinede dağıtılmış analiz gerçekleştirirken, GeoAnalytics Desktop Araçları masaüstü makinenizdeki yerel verilerle paralel analiz yapmak için ArcGIS Pro’yu kullanır. ArcGIS Pro 2.5 ile tanıtılan ve GeoAnalytics Desktop araç kümesi ile nokta kümelenmelerini bulmayı sağlayan “Find Point Clusters” gösterildi. Gösterilen veri kümesinde 4.5 milyondan fazla nokta bulunmaktaydı. Belirlenen değişkenlere göre analiz gerçekleşirken Apache Spark masaüstü makinesinde işliyor ve coğrafi işleme ortamındaki 32 çekirdeğin tamamında paralel analiz yürütüyordu. Paralel analiz; analizi hızlandırmak ve genel performansı artırmak için işlemlerin birden fazla çekirdekte gerçekleştirilmesine izin verir.

Analiz çalışırken masaüstü çekirdeği kullanımı

Yapılan demo sunumunu izlemek için tıklayınız.

– Raster Analitik ve Python API

Raster analitikle ilgili örnek mercanlarla ilgilidir. Mercan resifleri gezegendeki en önemli ekosistemlerden biri olup, iklim değişikliğinin de içinde yer aldığı bir çok tehlikeyle karşı karşıyadır. Okyanus sıcaklığının artması demek mercanların hayatta kalması için gereken sıcaklığın çok üstüne çıkılması demek olabilir. Aradaki bağlantının incelenmesi için raster analitik devreye giriyor. Bu demoda Raster analitik içindeki Multidimensional Analiz araçlarından yararlanılmıştır. Notebooks ve Python API kullanılarak Deniz yüzeyi sıcaklığının mercan ağartma üzerindeki etkisini anlamak için zaman serisi tahmin yetenekleri kullanan bir model oluşturuldu. Living Atlas içindeki multidimensional veri küpü kullanıldı. Bu veride 2008 yılına kadar günlük sıcaklık bilgileri bulunuyor. Aggregate multidimensional raster fonksiyonu ile bu veriden analizde kullanılmak üzere haftalık sıcaklık verisi üretildi.

Küresel günlük sıcaklık dilimleri ile çok boyutlu veri küpü

Her bir hücrenin (cell) zamanla ısınıp ısınmadığını veya soğuyup soğumadığını belirlemek için zaman serisi modeli oluşturuldu ve bu trende dayanarak 2022 yılına kadar gelecekteki deniz yüzeyi sıcaklıklarını tahmin edilmek için fonksiyon çalıştırıldı. Böylece geleceğe yönelik beklenen değerleri bulup bunu gözlemlenenle karşılaştırma fırsatı bulunmuş oldu.

Gözlenen ve tahmin edilen deniz yüzeyi sıcaklık noktalarının karşılaştırılması

Bir sonraki aşamada belli bir eşiğin üstündeki sıcaklıklara odaklanılarak, zaman içinde sıcaklık anomalilerinin görüldüğü çok boyutlu veri küpü oluşturuldu. Sıcaklık anomalileri uzarsa, mercan sonunda ölebilir; bununla birlikte, maruziyet daha kısa süreler içinse mercanın iyileşme şansı vardır. Bunu bulmak için ise uzun süreli ısınma dönemlerinin ne zaman meydana geleceğini tahmin etmeye yarayan fonksiyon kullanıldı. Bu demoda 5 tane alarm seviyesi kullanılarak sonuç haritalaması gerçekleştirildi. Böylece üretilen tüm çıktılar ve odaklanmış mercan resifi ağartma verileriyle birlikte uyarı seviyeleri hızlı bir şekilde izlenebilir hale geldi.

Uyarı seviyelerini ve zaman içinde mercan stresini gösteren gösterge paneli

Yapılan demo sunumunu izlemek için tıklayınız.

– LiDAR Nokta Bulutundan AI ile Veri Çıkarımı

ArcGIS API for Python’ın Learn modülünü kullanarak LiDAR nokta bulutlarındaki verileri otomatik olarak etiketleyebilir ve ayıklayabilirsiniz. Modül artık eğitime hazır PointCNN sinir ağını içerdiği için PointCNN’yi kuruluşunuzun gereksinim duyduğu nesneleri algılaması için kolayca eğitebilirsiniz. Manuel etiketleme yerine AI sayesinde çok daha kısa bir sürede etiketlemeyi tamamlamış olursunuz.

Üstte manuel etiketlendirilen nokta bulutu, altta görünen AI ile etiketlenmiş nokta bulutunu göstermekte

Yapılan demo sunumunu izlemek için tıklayınız.

– Derin Öğrenme Araçları ile Full Motion Video

Bu demoda bir kedi balığı dedektörü modelinin ArcGIS Pro’nun tam hareketli video araçlarından türetilen bir eğitim seti kullanarak nasıl eğitileceği anlatılmıştır. İlgi çekici nokta eğitilmiş modelin bütün video boyunca balıkları etkili bir şekilde algılamasıdır. Burada izlenen yol; seçilen her karede nesnelerin tanımlanması ve sınıflandırılması, özniteliklerin detay katmanında eğitim verisi olarak tutulması ve tahminsel kedi balığı dedektör modelini çalıştırmak için eğitim verilerini girdi olarak kullanılması şeklindedir. Bu çalışma ve bunun gibi çalışmaların sonuçları daha sonra tür kaybıyla ilgili yerel balıkçı ve koruma uzmanları gibi kilit paydaşlarla paylaşılabilir.

Yapılan demo sunumunu izlemek için tıklayınız.

– Yapılandırılmamış Metinden Veri Çıkarımı ve Haritalama

Bahsedeceğimiz son demo örneği yapılandırılmamış metinden veri çıkarımı olacak. Veriler her zaman konumsal bilgileri hazır bir coğrafi veri kümesi olarak gelmez, onun yerine metin tabanlı raporlardan da veri çıkarımı yapmak gerekebilir. Bu tarz verileri standart formata getirme işlemini learn module’ü kullanarak nasıl otomatize edebileceğinizi anlatıyor. Yapısal veri çerçevesindeki verilerle, konumları coğrafi olarak kodlamak ve nokta detay katmanı oluşturmak için ArcGIS API for Python kullanıldı. Aşağıdaki görselde görünen her nokta bir suç yerini temsil ediyor.

Suç olaylarının detay katmanı

Yapılan demo sunumunu izlemek için tıklayınız.

Kaynaklar:

Önceki Yazı

ArcGIS GeoEvent Server 10.8.1 Sürümü Yenilikleri

Yazıyı görüntüle

Sonraki Yazı

CityGML Verilerinin I3S Katmanlarına Dönüştürülmesi

Yazıyı görüntüle