Jeo-uzamsal veri işleme ve analiz

Data Factory
Data Lake Storage
PostgreSQL için Veritabanı
Databricks
Event Hubs

Jeo-uzamsal verilerleveya coğrafi bir bileşeni içeren bilgilerle çalışmak için birçok olasılık mevcuttur. Örneğin, coğrafi bilgi sistemi (GıS) yazılımı ve standartları yaygın olarak kullanılabilir. Bu teknolojiler, Jeo-uzamsal verileri saklayabilir, işleyebilir ve bunlara erişim sağlayabilir. Ancak Jeo-uzamsal verilerle çalışan sistemleri yapılandırmak ve sürdürmek genellikle zordur. Ayrıca, bu sistemleri diğer sistemlerle bütünleştirmek için uzman bilgisine de ihtiyacınız vardır.

Bu makalede, analiz için çok sayıda Jeo uzamsal veri sağlamak üzere yönetilebilir bir çözüm özetlenmektedir. Yaklaşım, Gelişmiş analiz başvuru mimarisine dayalıdır ve şu Azure hizmetlerini kullanır:

  • GıS Spark kitaplıklarıyla Azure Databricks verileri işler.
  • PostgreSQL için Azure veritabanı kullanıcıların API 'Ler aracılığıyla talep aldığı verileri sorgular.
  • Azure Veri Gezgini hızlı keşif sorguları çalıştırır.
  • Azure Haritalar, web uygulamalarında jeo-uzamsal verilerin görsellerini oluşturur.
  • Power BI Azure Haritalar Power BI görsel özelliği, özelleştirilmiş raporlar sağlar.

Olası kullanım örnekleri

Bu çözüm birçok alan için geçerlidir:

  • Haritalar veya iklim verileri gibi büyük miktarlarda raster verileri için işleme, depolama ve erişim sağlama.
  • Kurumsal kaynak planlama (ERP) Sistem varlıklarının coğrafi konumunu tanımlama.
  • Varlık konumu verilerini GıS başvuru verileriyle birleştirme.
  • Cihazların taşınması Nesnelerin İnterneti (IoT) telemetrisi.
  • Analitik Jeo uzamsal sorgular çalıştırılıyor.
  • Web uygulamalarında seçkin ve contextulaştırılan Jeo uzamsal veriler ekleme.

Mimari

Jeo-uzamsal verilerin bir Azure sistemi üzerinden nasıl akacağını gösteren mimari diyagramı. Çeşitli bileşenler verileri alır, işler, depolar, analiz eder ve yayımlar.

  1. IoT verileri sisteme girer:

    • IoT verilerinin akışını Azure Event Hubs. Veriler, cihazların konumlarını tanımlayan koordinatları veya diğer bilgileri içerir.
    • Event Hubs ilk akış işleme için Azure Databricks kullanır.
    • Event Hubs verileri Azure Data Lake Storage depolar.

  2. GıS verileri sisteme girer:

    • Her biçimdeki coğrafi verileri ve vektör GıS verilerini Azure Data Factory.

      • Raster verileri, değerlerin ızgarasından oluşur. Her piksel değeri, bir coğrafi alanın sıcaklığı veya yükseltmesi gibi bir özelliği temsil eder.
      • Vektör verileri belirli coğrafi özellikleri temsil eder. Köşeler veya ayrık geometrik konumlar, vektörlerini oluşturup her bir uzamsal nesnenin şeklini tanımlar.

    • Data Factory verileri Data Lake Storage depolar.

  3. Azure Databricks Spark kümeleri, verileri dönüştürmek ve normalleştirmek için Jeo-uzamsal kod kitaplıklarını kullanır.

  4. Data Factory, hazırlanan vektör ve raster verileri PostgreSQL için Azure veritabanı 'na yükler. Çözüm PostGIS uzantısını bu veritabanıyla birlikte kullanır.

  5. Data Factory, hazırlanan vektör ve raster verileri Azure Veri Gezgini 'ye yükler.

  6. PostgreSQL için Azure veritabanı GıS verilerini depolar. API 'Ler bu verileri standartlaştırılmış biçimlerde kullanılabilir hale getirir:

    • Geojson , JAVASCRIPT nesne GÖSTERIMI (JSON) temel alır. GeoJSON, basit coğrafi özellikleri ve bunların uzamsal olmayan özelliklerini temsil eder.
    • İyi bilinen metin (WKT) vektör geometrisi nesnelerini temsil eden bir metin biçimlendirme dilidir.
    • Vektör kutucukları , coğrafi verilerin paketleridir. Hafif biçimleri eşleme performansını geliştirir.

    Redsıs Cache, verilere hızlı erişim sağlayarak performansı geliştirir.

  7. Web Apps özelliği, verilerin görsellerini oluşturmak için Azure Haritalar ile birlikte çalışarak Azure App Service.

  8. Kullanıcılar Azure Veri Gezgini ile verileri analiz eder. Bu aracın GıT özellikleri, öngörülü görselleştirmeler oluşturur. Örnek olarak Jeo-uzamsal verilerden dağınık terler oluşturma sayılabilir.

  9. Power BI özelleştirilmiş raporlar ve iş zekası (bı) sağlar. Power BI için Azure Haritalar visual, iş sonuçlarındaki konum verilerinin rolünü vurgular.

İşlem boyunca:

  • Azure Izleyici, olaylar ve performans hakkında bilgi toplar.
  • Log Analytics sorguları Izleyici günlüklerinde çalıştırır ve sonuçları analiz eder.
  • Azure Key Vault parolaların, bağlantı dizelerinin ve parolaların güvenliğini sağlar.

Bileşenler

  • Event Hubs , büyük veriler için tam olarak yönetilen bir akış platformudur. Bu hizmet olarak platform (PaaS), bölümlenmiş bir tüketici modeli sunar. Birden çok uygulama, veri akışını aynı anda işlemek için bu modeli kullanabilir.

  • Data Factory , farklı veri depolarındaki verilerle birlikte çalışarak bir tümleştirme hizmetidir. Veri dönüştürme iş akışlarını oluşturmak, zamanlamak ve düzenlemek için bu tam olarak yönetilen, sunucusuz platformunu kullanabilirsiniz.

  • Azure Databricks bir veri analizi platformudur. Tam olarak yönetilen Spark kümeleri, birden fazla kaynaktan oluşan büyük veri akışlarını işler. Azure Databricks, analiz ve veri görselleştirmesinde kullanılmak üzere Jeo-uzamsal verileri büyük ölçekte dönüştürebilir.

  • Data Lake Storage , yüksek performanslı analiz iş yükleri için ölçeklenebilir ve güvenli bir veri gölü olur. Bu hizmet, yüzlerce Gigabit aktarım hızı sağlarken birden çok petabaytlarca bilgiyi yönetebilir. Veriler genellikle birden çok, heterojen kaynaktan gelir ve yapılandırılmış, yarı yapılandırılmış veya yapılandırılmamış olabilir.

  • PostgreSQL Için Azure veritabanı , açık kaynak PostgreSQL veritabanı altyapısının topluluk sürümünü temel alan, tam olarak yönetilen bir ilişkisel veritabanı hizmetidir.

  • PostGIS , CBS sunucularıyla tümleşen PostgreSQL veritabanı için bir uzantıdır. postgıs, coğrafi nesneleri içeren SQL konum sorgularını çalıştırabilir.

  • Redsıs , açık kaynaklı, bellek içi veri deposudur. Redsıs önbellekler, sunucu belleğinde sık erişilen verileri saklar. Önbellekler daha sonra verileri kullanan büyük hacimde uygulama isteklerini hızla işleyebilir.

  • Power BI , yazılım hizmetleri ve uygulamaları koleksiyonudur. ilişkisiz veri kaynaklarını bağlamak ve bunların görsellerini oluşturmak için Power BI kullanabilirsiniz.

  • Power BI için Azure Haritalar visual , uzamsal verilerle haritaları geliştirmek için bir yol sağlar. Bu görseli, konum verilerinin iş ölçümlerini nasıl etkilediğini göstermek için kullanabilirsiniz.

  • App Service ve Web Apps özelliği Web uygulamaları oluşturmaya, dağıtmaya ve ölçeklendirmeye yönelik bir çerçeve sağlar. App Service platformu yerleşik altyapı bakımı, güvenlik düzeltme eki uygulama ve ölçeklendirme olanağı sunar.

  • Haritalar Azure 'daki gıs veri apı 'leri , coğrafi json ve vektör kutucukları gibi biçimlerde eşleme verilerini depolar ve alır.

  • Azure Veri Gezgini , büyük hacimlerleçalışan hızlı, tam olarak yönetilen bir veri analizi hizmetidir. Bu hizmet başlangıçta zaman serisine ve Log Analytics 'e odaklanmıştır. Artık uygulamalardan, Web sitelerinden, IoT cihazlarından ve diğer kaynaklardan farklı veri akışlarını da işler. Azure Veri Gezgini Jeo uzamsal işlevselliği , eşleme verilerini işlemeye yönelik seçenekler sağlar.

  • İzleme , ortamlar ve Azure kaynakları üzerinde veri toplar. Bu tanılama bilgileri, kullanılabilirliği ve performansı korumak için yararlıdır. İki veri platformu Izleme yapar:

  • Log Analytics , izleme günlüğü verilerinde sorgular çalıştıran bir Azure Portal aracıdır. Log Analytics ayrıca sorgu sonuçlarının grafiğini oluşturmak ve istatistiksel olarak analiz etmek için özellikler sağlar.

  • Key Vault, parolalar ve API anahtarları gibi gizli dizilere erişimi depolar ve kontrol eder. Key Vault ayrıca şifreleme anahtarlarını oluşturur ve kontrol eder ve güvenlik sertifikalarını yönetir.

Alternatifler

  • Kendi API'lerinizi geliştirmek yerine Martin'i kullanmayı düşünün. Bu açık kaynak kutucuk sunucusu, vektör kutucuklarını web uygulamaları için kullanılabilir yapar. Rust ile yazılanMartin, PostgreSQL tablolarına bağlanır. Kapsayıcı olarak dağıtabilirsiniz.

  • Hedefiniz GIS verileri için standartlaştırılmış bir arabirim sağlamaksa GeoServer kullanmayı göz önünde bulundurabilirsiniz. Bu açık çerçeve, Web Feature Service (WFS) gibi endüstri standardı Open Geospatial Consortium (OGC) protokollerini uygulamaya almaktadır. Ayrıca ortak uzamsal veri kaynaklarıyla da tümleştirilmiştir. GeoServer'ı bir sanal makinede kapsayıcı olarak dağıtabilirsiniz. Özelleştirilmiş web uygulamaları ve keşif sorguları ikincil olduğunda GeoServer, jeo-uzamsal verileri yayımlamak için kolay bir yol sağlar.

  • Farklı spark kitaplıklarında jeo-uzamsal verilerle çalışmak için Azure Databricks. Bu çözüm şu kitaplıkları kullanır:

    Ancak, coğrafi olarak uzamsal iş yükleriniiş yüküyle işlemeye ve ölçeklendirmeye yönelik Azure Databricks.

  • Vektör kutucukları, haritalarda GIS verilerini görüntülemek için verimli bir yol sağlar. Bu çözüm, vektör kutucuklarını dinamik olarak sorgulamak için PostGIS kullanır. Bu yaklaşım, 1 milyondan az kayıt içeren basit sorgular ve sonuç kümeleri için iyi çalışır. Ancak aşağıdaki durumlarda farklı bir yaklaşım daha iyi olabilir:

    • Sorgularınız çok pahalıdır.
    • Verileriniz sık değişmez.
    • Büyük veri kümeleri görüntüleniyor.

    Bu durumlarda vektör kutucukları oluşturmak için Tippecanoe kullanmayı göz önünde bulundurabilirsiniz. Tippecanoe'yu veri işleme akışınıza bir kapsayıcı olarak veya bir kapsayıcı olarak Azure İşlevleri. Sonuçta elde edilen kutucukları API'ler aracılığıyla kullanılabilir hale abilirsiniz.

  • Veri Event Hubs, Azure IoT Hub miktarda veri alan bir veri olabilir. Ancak IoT Hub cihazlarla çift yönlü iletişim özellikleri de sunar. Verileri doğrudan cihazlardan alır ancak aynı zamanda cihazlara komutlar ve ilkeler gönderirsiniz, IoT Hub yerine Event Hubs.

  • Çözümü basit hale getirmek için şu bileşenleri atla:

    • Azure Veri Gezgini
    • Power BI

Dikkat edilmesi gerekenler

Microsoft Azure Well-Architected Framework'e bağlı olarak aşağıdaki konularbu çözüm için geçerlidir:

Kullanılabilirlik konusunda dikkat edilmesi gerekenler

Ölçeklenebilirlik konusunda dikkat edilmesi gerekenler

Bu çözümün uygulaması şu koşulları karşılar:

  • Günde 10 milyona kadar veri kümesi işleme. Veri kümeleri toplu veya akış olaylarını içerir.
  • Bir veritabanına 100 milyon veri PostgreSQL için Azure Veritabanı depolar.
  • Aynı anda 1 milyon veya daha az veri kümesi sorgular. Sorguları en fazla 30 kullanıcı çalıştırıyor.

Ortam şu yapılandırmayı kullanır:

  • Dört Azure Databricks düğüme sahip F8s_V2 küme.
  • Veri depolamanın bellek için iyileştirilmiş PostgreSQL için Azure Veritabanı.
  • İki App Service S2 örneği olan bir plan.

Bu faktörleri göz önünde bulundurarak, uygulamanız için hangi ayarlamaları yapacaklarını belirleme:

  • Veri alımı hızınız.
  • Veri hacminiz.
  • Sorgu biriminiz.
  • Desteklemesi gereken paralel sorgu sayısı.

Azure bileşenlerini bağımsız olarak ölçeklendirebilirsiniz:

İzleyici'nin otomatik ölçeklendirme özelliği ölçeklendirme işlevi de sağlar. Bu özelliği yük artışlarını işlemek için kaynak eklemek üzere yapılandırabilirsiniz. Ayrıca tasarruf etmek için kaynakları kaldırabilir.

Güvenlik konuları

Fiyatlandırma

Sonraki adımlar

Bu çözümü uygulamaya başlamak için şu bilgilere bakın:

Jeo-uzamsal verileri işleme hakkında bilgi