Изменить

Share via

Геопространственный анализ для телекоммуникационной отрасли

Фабрика данных Azure
Azure Data Lake
Azure Databricks
Машинное обучение Azure
Azure Maps

В этой статье основное внимание уделяется демонстрации практической архитектуры, которая использует azure Облачные службы для обработки больших объемов геопространственных данных. Он предоставляет путь вперед, если локальные решения не масштабируется. Это также позволяет продолжать использовать текущие инструменты геопространственного анализа.

Apache®, Apache Spark®, GeoSpark® и Sedona® являются зарегистрированными товарными знаками или товарными знаками Apache Software Foundation в США и (или) других странах. Использование этих меток не подразумевает подтверждения от Apache Software Foundation.

GeoPandas®, QGIS® и ArcGIS® являются товарными знаками соответствующих компаний. Использование этих меток не подразумевает никакого подтверждения.

Архитектура

Схема архитектуры, которая использует azure Облачные службы для обработки больших объемов геопространственных данных.

Скачайте файл Visio этой архитектуры.

Рабочий процесс

  1. Фабрика данных Azure прием геопространственных данных в Azure Data Lake Storage. Источником этих данных являются геопространственные базы данных, такие как Teradata, Oracle Spatial и PostgreSQL.
  2. Azure Key Vault защищает пароли, учетные данные, строки подключения и другие секреты.
  3. Данные помещаются в различные папки и файловые системы в Data Lake Storage в зависимости от способа их обработки. На схеме показана архитектура с несколькими прыжками . В бронзовом контейнере содержатся необработанные данные, в контейнере silver — полу курированные данные, а в контейнере gold — полностью курированные данные.
  4. Данные хранятся в таких форматах, как плитки GeoJson, WKT и Vector. Azure Databricks и пакет GeoSpark/ Sedona могут преобразовывать форматы и эффективно загружать, обрабатывать и анализировать крупномасштабные пространственные данные на разных компьютерах.
  5. Azure Databricks и Apache Sedona выполняют различные виды обработки в большом масштабе:
    1. Соединения, пересечения и тесселяции
    2. Пространственная выборка и статистика
    3. Пространственное индексирование и секционирование
  6. GeoPandas экспортирует данные в различных форматах для использования сторонними приложениями ГИС, такими как QGIS и ARCGIS.
  7. Машинное обучение Azure извлекает аналитические сведения из геопространственных данных, определяя, например, где и когда следует развертывать новые точки беспроводного доступа.
  8. Power BI и Azure Maps визуальный элемент Power BI (предварительная версия) отрисовывает холст карты для визуализации геопространственных данных. Power BI использует собственный соединитель Azure Databricks для подключения к кластеру Azure Databricks.
  9. Log Analytics, средство в портал Azure, выполняет запросы к данным в журналах Azure Monitor, чтобы реализовать надежную и детализированную систему ведения журнала для анализа событий и производительности.

Компоненты

  • Azure Data Lake Storage — это масштабируемое и безопасное озеро данных для высокопроизводительных аналитических рабочих нагрузок. Вы можете использовать Data Lake Storage для управления петабайтами данных с высокой пропускной способностью. Он может вмещать несколько разнородных источников и данных в структурированных, частично структурированных или неструктурированных форматах.
  • Azure Databricks — это платформа аналитики данных, использующая кластеры Spark. Кластеры оптимизированы для платформы Azure Облачные службы.
  • Фабрика данных Azure — это полностью управляемая, масштабируемая и бессерверная служба интеграции данных. Он обеспечивает уровень интеграции и преобразования данных, который работает с различными хранилищами данных.
  • Microsoft Power BI — это набор программных служб, приложений и соединителей, которые работают вместе, чтобы превратить несколько источников данных в согласованные, визуально иммерсивные и интерактивные аналитические сведения.
  • Azure Maps — это коллекция геопространственных служб и пакетов SDK, которые используют новые данные сопоставления для предоставления географического контекста веб-приложениям и мобильным приложениям.
  • Машинное обучение Azure — это полностью управляемая облачная служба, которая используется для обучения, развертывания моделей машинного обучения и управления ими в большом масштабе.
  • Azure Key Vault — это служба, которую можно использовать для безопасного хранения, управления и жесткого контроля доступа к маркерам, учетным данным, сертификатам, ключам API и другим секретам.
  • Azure Monitor — это комплексное решение для сбора, анализа и использования телеметрии из облачных и локальных сред. Его можно использовать для повышения доступности и производительности приложений и служб.

Альтернативные варианты

  • Пулы Synapse Spark можно использовать для геопространственной аналитики вместо Azure Databricks, используя те же платформы с открытым кодом.
  • Вместо использования Фабрики данных для приема данных можно использовать Центры событий Azure. Он может получать большие объемы данных напрямую или от других служб потоковой передачи событий, таких как Kafka. Затем вы можете использовать Azure Databricks для обработки данных. Дополнительные сведения см. в статье Потоковая обработка с помощью Azure Databricks.
  • Вместо Azure Databricks можно использовать базу данных Azure SQL или Управляемый экземпляр SQL Azure для запроса и обработки геопространственных данных. Эти базы данных предоставляют знакомый язык T-SQL, который можно использовать для геопространственного анализа. Дополнительные сведения см. в разделе Пространственные данные (SQL Server).
  • Как и Центры событий, Центр Интернета вещей Azure могут принимать большие объемы данных с датчиков и телекоммуникационных устройств Интернета вещей. Вы можете использовать Центр Интернета вещей двунаправленную возможность для безопасного взаимодействия с устройствами, а также для управления ими с централизованной платформы в облаке.
  • Вы можете использовать Azure Maps для предоставления географического контекста веб-приложениям и мобильным приложениям. Помимо аналитики местоположения, Azure Maps могут искать в службах адреса, места и точки интереса, чтобы получить информацию о дорожном движении в режиме реального времени. Azure Maps power BI Visual предоставляет одинаковые возможности как в Power BI Desktop, так и в служба Power BI.

Сведения о сценарии

Аналитика местоположения и геопространственный анализ могут выявить важные региональные тенденции и поведение, влияющие на телекоммуникационные компании. Компании могут использовать такие знания для улучшения своего радиосигнала и беспроводного охвата, и таким образом получить конкурентное преимущество.

Телекоммуникационные компании имеют большие объемы географически распределенных данных активов, большинство из которых — данные телеметрии пользователей. Данные поступают из радиосетей, устройств зондирования Интернета вещей и устройств дистанционного зондирования, которые собирают геопространственные данные. Он находится в различных структурированных и частично структурированных форматах, таких как изображения, GPS, спутниковые и текстурные. Для его использования требуется агрегирование и объединение с другими источниками, такими как региональные карты и данные о дорожном движении.

После агрегирования и объединения данных необходимо извлечь из него аналитические сведения. Исторически телекоммуникационные компании опирались на устаревшие системы, такие как локальные базы данных с геопространственные возможности. В конечном итоге такие системы достигли пределов масштабируемости из-за постоянно растущего объема данных. Кроме того, им требуется стороннее программное обеспечение для выполнения задач, которые не могут выполняться системами геопространственных баз данных.

Потенциальные варианты использования

Это решение идеально подходит для телекоммуникационной отрасли и применяется к следующим сценариям:

  • Анализ информации о сигналах в разных расположениях для оценки качества сети
  • Анализ данных сетевой инфраструктуры в режиме реального времени для управления обслуживанием и ремонтом
  • Анализ сегментации рынка и рыночного спроса
  • Определение связей между расположениями клиентов и маркетинговыми кампаниями компании
  • Создание планов емкости и покрытия для обеспечения подключения и качества обслуживания

Рекомендации

Эти рекомендации реализуют основные принципы Azure Well-Architected Framework, которая представляет собой набор руководящих принципов, которые можно использовать для повышения качества рабочей нагрузки. Дополнительные сведения см. в статье Microsoft Azure Well-Architected Framework.

При реализации этого решения рекомендуется следовать microsoft Azure Well-Architected Framework . Платформа предоставляет технические рекомендации по пяти основным направлениям: оптимизация затрат, безопасность, надежность, эффективность производительности и эффективность работы.

Производительность

  • Следуйте руководствам по программированию Apache Sedona по шаблонам проектирования и рекомендациям по настройке производительности.
  • Геопространственный индексирование имеет решающее значение для обработки крупномасштабных геопространственных данных. Apache Sedona и другие платформы индексирования с открытым кодом, такие как H3 , предоставляют эту возможность.
  • Платформа GeoPandas не имеет распределенных функций GeoSpark или Apache Sedona. Поэтому, насколько это возможно, используйте платформу Sedona для геопространственной обработки.
  • Рассмотрите возможность использования встроенных функций Sedona для проверки геометрического форматирования перед обработкой.

Безопасность

Безопасность обеспечивает гарантии от преднамеренных атак и злоупотреблений ценными данными и системами. Дополнительные сведения см. в статье Общие сведения о компонентах безопасности.

Для повышения безопасности рекомендуется следовать этим рекомендациям:

Оптимизация затрат

Оптимизация затрат заключается в поиске способов уменьшения ненужных расходов и повышения эффективности работы. Дополнительные сведения см. в разделе Обзор критерия "Оптимизация затрат".

  • Чтобы оценить затраты на реализацию этого решения, используйте калькулятор цен Azure для упомянутых выше служб.
  • Power BI поставляется с различными предложениями лицензирования. Дополнительные сведения см. в разделе Цены на Power BI.
  • Затраты увеличиваются, если необходимо масштабировать конфигурации кластера Azure Databricks. Это зависит от объема данных и сложности анализа. Рекомендации по настройке кластера см. в статье Azure Databricks Best practices: Cluster configuration (Рекомендации по настройке кластера Azure Databricks).
  • Сведения о том, как свести к минимуму затраты, см. в статье Общие сведения о принципе оптимизации затрат.
  • Сведения о ценах для сторонних компонентов, таких как QGIS и ARCGIS, см. на веб-сайтах поставщиков.
  • Платформы, упомянутые в этом решении, такие как Apache Sedona и GeoPandas, являются бесплатными платформами с открытым кодом.

Соавторы

Эта статья поддерживается корпорацией Майкрософт. Первоначально она была написана следующими авторами.

Основной автор:

Дальнейшие действия