Düzenle

Telekomünikasyon sektörü için jeo-uzamsal analiz

Azure Data Factory
Azure Data Lake
Azure Databricks
Azure Machine Learning
Azure Maps

Bu makalenin odak noktası, büyük hacimli jeo-uzamsal verileri işlemek için Azure Cloud Services kullanan pratik bir mimariyi göstermektir. Şirket içi çözümler ölçeklendirilmezse ileriye doğru bir yol sağlar. Ayrıca geçerli jeo-uzamsal analiz araçlarının sürekli kullanımına da olanak tanır.

Apache®, Apache Spark®, GeoSpark® ve Sedona®, Apache Software Foundation'ın Birleşik Devletler ve/veya diğer ülkelerdeki kayıtlı ticari markaları veya ticari markalarıdır. Bu işaretlerin kullanılması Apache Software Foundation tarafından onaylanmamaktadır.

GeoPandas®, QGIS® ve ArcGIS®, ilgili şirketlerinin ticari markalarıdır. Bu işaretlerin kullanılması hiçbir onay anlamına gelmez.

Mimari

Büyük hacimli jeo-uzamsal verileri işlemek için Azure Cloud Services kullanan bir mimarinin diyagramı.

Bu mimarinin bir Visio dosyasını indirin.

İş akışı

  1. Azure Data Factory jeo-uzamsal verileri Azure Data Lake Storage alır. Bu verilerin kaynağı Teradata, Oracle Spatial ve PostgreSQL gibi jeo-uzamsal veritabanlarıdır.
  2. Azure Key Vault parolaların, kimlik bilgilerinin, bağlantı dizelerinin ve diğer gizli dizilerin güvenliğini sağlar.
  3. Veriler, işlenme şekline göre Data Lake Storage çeşitli klasörlere ve dosya sistemlerine yerleştirilir. Diyagramda çok atlamalı bir mimari gösterilir. Bronz kapsayıcı ham verileri, gümüş kapsayıcısı yarı seçilmiş verileri, altın kapsayıcı ise tam olarak seçilmiş verileri barındırır.
  4. Veriler GeoJson, WKT ve Vektör kutucukları gibi biçimlerde depolanır. Azure Databricks ve GeoSpark / Sedona paketi, büyük ölçekli uzamsal verileri makineler arasında verimli bir şekilde yükleyebilir, işleyebilir ve analiz edebilir.
  5. Azure Databricks ve Apache Sedona büyük ölçekte çeşitli işlemler yapar:
    1. Birleştirmeler, kesişimler ve tessellations
    2. Uzamsal örnekleme ve istatistikler
    3. Uzamsal dizin oluşturma ve bölümleme
  6. GeoPandas verileri QGIS ve ARCGIS gibi üçüncü taraf GIS uygulamaları tarafından kullanılmak üzere çeşitli biçimlerde dışarı aktarır.
  7. Azure Machine Learning, jeo-uzamsal verilerden içgörüler ayıklayarak yeni kablosuz erişim noktalarının nerede ve ne zaman dağıtılacağına karar vermektedir.
  8. Power BI ve Azure Haritalar Power BI görseli (Önizleme), jeo-uzamsal verileri görselleştirmek için bir harita tuvali oluşturur. Power BI, Azure Databricks kümesine bağlanmak için Azure Databricks yerel bağlayıcısı kullanır.
  9. Azure portal bir araç olan Log Analytics, olayları ve performansı analiz etmek üzere sağlam ve ayrıntılı bir günlük sistemi uygulamak için Azure İzleyici Günlüklerindeki verilere karşı sorgular çalıştırır.

Bileşenler

  • Azure Data Lake Storage, yüksek performanslı analiz iş yükleri için ölçeklenebilir ve güvenli bir veri gölüdür. Petabaytlarlık verileri yüksek aktarım hızıyla yönetmek için Data Lake Storage kullanabilirsiniz. Yapılandırılmış, yarı yapılandırılmış veya yapılandırılmamış biçimlerde birden çok, heterojen kaynak ve veri barındırabilir.
  • Azure Databricks , Spark kümelerini kullanan bir veri analizi platformudur. Kümeler Azure Cloud Services platformu için iyileştirilmiştir.
  • Azure Data Factory tam olarak yönetilen, ölçeklenebilir ve sunucusuz bir veri tümleştirme hizmetidir. Çeşitli veri depolarıyla çalışan bir veri tümleştirme ve dönüştürme katmanı sağlar.
  • Microsoft Power BI , birden çok veri kaynağını tutarlı, görsel olarak çevreleyici ve etkileşimli içgörülere dönüştürmek için birlikte çalışan yazılım hizmetleri, uygulamalar ve bağlayıcılardan oluşan bir koleksiyondur.
  • Azure Haritalar, web ve mobil uygulamalara coğrafi bağlam sağlamak için yeni eşleme verilerini kullanan jeo-uzamsal hizmetler ve SDK'lardan oluşan bir koleksiyondur.
  • Azure Machine Learning , makine öğrenmesi modellerini büyük ölçekte eğitmek, dağıtmak ve yönetmek için kullanılan tam olarak yönetilen bir bulut hizmetidir.
  • Azure Key Vault belirteçlere, kimlik bilgilerine, sertifikalara, API Anahtarları'na ve diğer gizli dizilere erişimi güvenli bir şekilde depolamak, yönetmek ve sıkı bir şekilde denetlemek için kullanılabilen bir hizmettir.
  • Azure İzleyici , bulut ve şirket içi ortamlarınızdan telemetri toplamak, analiz etmek ve üzerinde işlem gerçekleştirmek için kapsamlı bir çözümdür. Uygulamalarınızın ve hizmetlerinizin kullanılabilirliğini ve performansını en üst düzeye çıkarmak için bunu kullanabilirsiniz.

Alternatifler

  • Aynı açık kaynak çerçevelerini kullanarak Azure Databricks yerine jeo-uzamsal analiz için Synapse Spark Havuzlarını kullanabilirsiniz.
  • Verileri almak için Data Factory kullanmak yerine Azure Event Hubs kullanabilirsiniz. Doğrudan veya Kafka gibi diğer olay akış hizmetlerinden çok büyük miktarlarda veri alabilir. Ardından verileri işlemek için Azure Databricks'i kullanabilirsiniz. Daha fazla bilgi için bkz. Azure Databricks ile Akış İşleme.
  • Azure Databricks yerine Azure SQL Veritabanı veya Azure SQL Yönetilen Örneği kullanarak jeo-uzamsal verileri sorgulayabilir ve işleyebilirsiniz. Bu veritabanları, jeo-uzamsal analiz için kullanabileceğiniz tanıdık T-SQL dilini sağlar. Daha fazla bilgi için bkz. Uzamsal Veriler (SQL Server).
  • Event Hubs gibi Azure IoT Hub de algılayıcı ve telekom IoT cihazlarından büyük miktarlarda veri alabilir. Cihazlarla güvenli bir şekilde iletişim kurmak ve bunları bulutta merkezi bir platformdan yönetmek ve denetlemek için IoT Hub çift yönlü özelliğini kullanabilirsiniz.
  • web uygulamalarınıza ve mobil uygulamalarınıza coğrafi bağlam sağlamak için Azure Haritalar kullanabilirsiniz. konum bilgilerine ek olarak, Azure Haritalar gerçek zamanlı trafik bilgilerini almak için adresleri, yerleri ve ilgi çekici noktaları bulmak için hizmetleri arayabilir. Azure Haritalar Power BI Görseli hem Power BI Desktop hem de Power BI hizmeti aynı özellikleri sağlar.

Senaryo ayrıntıları

Konum zekası ve jeo-uzamsal analizler, telekomünikasyon şirketlerini etkileyen önemli bölgesel eğilimleri ve davranışları ortaya çıkarabiliyor. Şirketler bu bilgileri radyo sinyallerini ve kablosuz kapsamalarını geliştirmek ve böylece rekabet avantajı elde etmek için kullanabilirler.

Telekomünikasyon şirketleri, coğrafi olarak dağınık varlık verilerinin büyük hacimlerine sahiptir ve bunların çoğu kullanıcı telemetrisidir. Veriler radyo ağlarından, IoT algılama cihazlarından ve jeo-uzamsal verileri yakalayan uzaktan algılama cihazlarından gelir. Görüntü, GPS, uydu ve metinsel gibi çeşitli yapılandırılmış ve yarı yapılandırılmış biçimlerdedir. Bunu kullanmak için toplama ve bölgesel haritalar ve trafik verileri gibi diğer kaynaklarla birleştirme gerekir.

Veriler toplanıp birleştirildikten sonra, bundan içgörü ayıklamak zor olur. Geçmişte, telekomünikasyon şirketleri jeo-uzamsal özelliklere sahip şirket içi veritabanları gibi eski sistemlere dayanmaktadır. Sonuçta bu tür sistemler sürekli artan veri miktarı nedeniyle ölçeklenebilirlik sınırlarına isabet etti. Ayrıca, jeo-uzamsal veritabanı sistemlerinin gerçekleştiremeyen görevleri gerçekleştirmek için üçüncü taraf yazılımlara da ihtiyaç duyarlar.

Olası kullanım örnekleri

Bu çözüm, telekomünikasyon sektörü için idealdir ve aşağıdaki senaryolar için geçerlidir:

  • Ağ kalitesini değerlendirmek için konumlar arasında sinyal bilgilerini analiz etme
  • Bakım ve onarıma yol göstermek için gerçek zamanlı ağ altyapısı verilerini analiz etme
  • Pazar segmentasyon ve pazar talebini analiz etme
  • Müşteri konumları ile şirket pazarlama kampanyaları arasındaki ilişkileri tanımlama
  • Bağlantı ve hizmet kalitesini sağlamak için kapasite ve kapsam planları oluşturma

Dikkat edilmesi gerekenler

Bu önemli noktalar, bir iş yükünün kalitesini artırmak için kullanılabilecek bir dizi yol gösteren ilke olan Azure Well-Architected Framework'ün yapı taşlarını uygular. Daha fazla bilgi için bkz. Microsoft Azure Well-Architected Framework.

Bu çözümü uygularken Microsoft Azure Well-Architected Framework'i izlemeyi göz önünde bulundurun. Çerçeve, beş yapıda teknik rehberlik sağlar: maliyet iyileştirmesi, güvenlik, güvenilirlik, performans verimliliği ve operasyonel mükemmellik.

Performans

  • Tasarım desenleri ve performans ayarlama en iyi yöntemleri hakkında Apache Sedona programlama kılavuzlarını izleyin.
  • Jeo-uzamsal dizin oluşturma, büyük ölçekli jeo-uzamsal verilerin işlenmesi için çok önemlidir. Apache Sedona ve H3 gibi diğer açık kaynak dizin oluşturma çerçeveleri bu özelliği sağlar.
  • GeoPandas çerçevesi GeoSpark / Apache Sedona'nın dağıtılmış özelliklerine sahip değildir. Bu nedenle, mümkün olduğunca, jeo-uzamsal işleme için Sedona çerçevesini kullanın.
  • İşlemeden önce geometri biçimlendirmesini doğrulamak için Sedona'nın yerleşik işlevlerini kullanmayı göz önünde bulundurun.

Güvenlik

Güvenlik, kasıtlı saldırılara ve değerli verilerinizin ve sistemlerinizin kötüye kullanılmasına karşı güvence sağlar. Daha fazla bilgi için bkz. Güvenlik sütununa genel bakış.

Daha iyi güvenlik için şu yönergeleri izleyin:

Maliyet iyileştirmesi

Maliyet iyileştirmesi, gereksiz giderleri azaltmanın ve operasyonel verimliliği artırmanın yollarını gözden geçmektir. Daha fazla bilgi için bkz. Maliyet iyileştirme sütununa genel bakış.

  • Bu çözümü uygulama maliyetini tahmin etmek için yukarıda bahsedilen hizmetler için Azure Fiyatlandırma Hesaplayıcısı'nı kullanın.
  • Power BI, çeşitli lisanslama teklifleriyle birlikte gelir. Daha fazla bilgi için bkz. Power BI fiyatlandırması.
  • Azure Databricks küme yapılandırmalarınızı ölçeklendirmeniz gerekiyorsa maliyetleriniz artar. Bu, veri miktarına ve analizin karmaşıklığına bağlıdır. Küme yapılandırmasıyla ilgili en iyi yöntemler için bkz. Azure Databricks En iyi yöntemler: Küme yapılandırması.
  • Maliyetleri en aza indirmenin yolları için bkz. Maliyet iyileştirme sütununa genel bakış .
  • QGIS ve ARCGIS gibi üçüncü taraf bileşenleri için fiyatlandırma bilgileri için satıcı web sitelerine bakın.
  • Bu çözümde bahsedilen Apache Sedona ve GeoPandas gibi çerçeveler ücretsiz açık kaynak çerçevelerdir.

Katkıda Bulunanlar

Bu makale Microsoft tarafından yönetilir. Başlangıçta aşağıdaki katkıda bulunanlar tarafından yazılmıştır.

Asıl yazar:

Sonraki adımlar