Share via

Комплексное геопространственного хранилища, анализа и визуализации

  • Статья

Геопространственные данные доступны в различных формах и требуют широкий спектр возможностей для обработки, анализа и визуализации данных. Хотя географическая информационная система (GIS) распространена, она также в значительной степени не является облачной. Большинство GIS выполняются на рабочем столе, что ограничивает их масштаб и производительность. Хотя в серверной части были достигнуты успехи в перемещении данных, эти системы остаются привязанными к IaaS, что затрудняет их масштабирование.

В этой статье представлен высокоуровневый подход к использованию облачных возможностей, а также некоторых вариантов программного обеспечения с открытым исходным кодом и коммерческих вариантов. Будут рассматриваться три человека. Лица являются архитекторами, которые ищут высокоуровневый поток без получения конкретных особенностей реализации. К ним относятся следующие лица:

  • Общий геопространственный архитектор. Этот архитектор ищет средства для реализации геопространственного, но может не иметь фона в GIS или удаленном датчике.
  • Геопространственный архитектор OSS. Этот архитектор предназначен для решения программного обеспечения с открытым исходным кодом (OSS), но использует преимущества облака для вычислений и хранения.
  • Геопространственный архитектор КОТS. Этот архитектор предназначен для COTS, но также использует преимущества облачных вычислений и хранилища.

Потенциальные варианты использования

Решения, предоставляемые в этих архитектурах, применяются ко многим вариантам использования:

  • Обработка, хранение и предоставление доступа к большим объемам растровых данных, таких как слои или данные климата.
  • Объединение данных расположения сущностей из систем ERP с эталонными данными GIS или включение векторных данных, массивов, облаков точек и т. д.
  • Хранение телеметрии Интернета вещей от перемещения устройств и анализа в режиме реального времени или пакетной службы
  • выполнение аналитических геопространственных запросов;
  • внедрение отобранных и контекстуализированных геопространственных данных в веб-приложения.
  • Обработка данных от беспилотных летательных аппаратов, аэрофотографии, спутниковых снимков, LiDAR, сетчатой модели и т. д.

Общая геопространствальная архитектура

Azure имеет множество собственных геопространственных возможностей. На этой схеме и следующих этапах вы найдете высокоуровневые этапы, в которых проходят геопространственные данные. Во-первых, у вас есть источник данных, шаг приема, место, в котором данные хранятся, преобразуются, обслуживаются, публикуются и, наконец, используются. Обратите внимание на значок глобуса рядом со службами с собственными геопространственных возможностями. Кроме того, эти схемы не считаются линейными процессами. Можно запустить в столбце "Преобразования", "Опубликовать и использовать", а затем создать некоторые производные наборы данных, для которых требуется вернуться к предыдущему столбцу.

Geospatial On Azure

Этот поток архитектуры предполагает, что данные могут поступать из баз данных, файлов или потоковых источников, а не хранятся в собственном формате GIS. После приема данных с помощью Фабрика данных Azure или с помощью Azure IoT, Центров событий и Stream Analytics он может храниться постоянно в теплом хранилище с помощью SQL Azure, Управляемый экземпляр SQL Azure, База данных Azure для PostgreSQL или Azure Data Lake. служба хранилища. Оттуда данные можно преобразовать и обработать в пакете с помощью пакетная служба Azure или пула Synapse Spark, из которых можно автоматизировать с помощью конвейера Фабрика данных Azure или Synapse. Для данных в режиме реального времени его можно преобразовать или обработать с помощью Stream Analytics, Azure Карты или вставить в контекст с Azure Digital Twins. После преобразования данных его можно снова обслуживать для дополнительных использования в базе данных SQL Azure или База данных Azure для PostgreSQL, пуле SQL Synapse (для абстрактных не геопространственных данных), Azure Cosmos DB или Azure Data Обозреватель. После готовности данные можно запрашивать непосредственно через API базы данных, но часто используется уровень публикации. API данных Azure Карты будет достаточно для небольших наборов данных, в противном случае служба, не встроенная, может быть представлена на основе OSS или COTS для доступа к данным через веб-службы или классические приложения. Наконец, веб-пакет SDK azure Карты, размещенный в службе приложение Azure, позволит геовизуализации. Другим вариантом является использование Azure Карты в Power BI. Наконец, HoloLens и Пространственные привязки Azure можно использовать для просмотра данных и его размещения в реальном мире для виртуальной реальности (VR) и дополненной реальности (AR).

Следует также отметить, что многие из этих вариантов являются необязательными и могут быть дополнены ОСS для снижения затрат, а также поддержания масштабируемости или сторонних средств для использования своих конкретных возможностей. Следующий сеанс решает эту необходимость.

3rd Party и геопространственной архитектуры программного обеспечения с открытым исходным кодом

Этот шаблон использует собственные геопространственные возможности Azure, одновременно используя некоторые сторонние инструменты и средства программного обеспечения с открытым исходным кодом.

Наиболее значительным различием между этим подходом и предыдущей схемой потоков является использование FME от Сейф Software Inc., которое можно получить из Azure Marketplace. FME позволяет геопространственных архитекторам интегрировать различные типы геопространственных данных, включая CAD (для Azure Карты Creator), GIS, BIM, 3D, облако точек, LIDAR и т. д. Существует 450+ вариантов интеграции и может ускорить создание многих преобразований данных с помощью его функциональных возможностей. Однако реализация основана на использовании виртуальной машины и поэтому имеет ограничения в своих возможностях масштабирования. Автоматизация преобразований FME может быть достигнута с помощью вызовов API FME с использованием Фабрика данных Azure и (или) с Функции Azure. После загрузки данных в SQL Azure, например, его можно обслуживать в GeoServer и публиковать как веб-службу компонентов (вектор) или службу плитки веб-сопоставления (растр) и визуализировать в веб-пакете SDK для Azure Карты или анализировать с помощью QGIS для рабочего стола вместе с другими базовыми картами Azure Карты.

Diagram of Azure and 3rd Party tools and open-source software.

Геопространственные архитектуры COTS: Esri со статическими и потоковыми источниками

Следующий подход мы рассмотрим использование коммерческих GIS в качестве основы для решения. Технология Esri, доступная из Azure Marketplace, будет основой для этой архитектуры, хотя другое коммерческое программное обеспечение может соответствовать тем же шаблонам. Как и раньше, источники, прием ( необработанное) хранилище, загрузка и обслуживание в основном остаются неизменными. Данные также можно преобразовать с помощью ArcGIS Pro на автономном компьютере (виртуальной машине) или в составе более крупного решения с виртуальным рабочим столом Azure. Данные можно публиковать с помощью ArcGIS Enterprise или с помощью ArcGIS Enterprise в Kubernetes (Служба Azure Kubernetes). Образы можно обрабатывать в IaaS с помощью образа ArcGIS в рамках развертывания ArcGIS Enterprise. Данные можно использовать в веб-приложениях, размещенных в службе приложение Azure с помощью пакета SDK Для JavaScript ArcGIS, конечного пользователя ArcGIS Pro, мобильного пакета SDK среды выполнения ArcGIS или ArcGIS для Power BI. Аналогичным образом пользователи могут использовать данные с Помощью ArcGIS Online.

Diagram of Esri with static and streaming sources.

Архитектура геопространственных образов COTS: Образ ArcGIS Esri и Azure Orbital

Следующая архитектура включает в себя образ ArcGIS Azure Orbital и Esri. Благодаря этому сквозному потоку Azure Orbital позволяет запланировать контакты со спутниками и связать данные с виртуальной машиной или потоком для Центры событий Azure. Помимо прямых потоковых спутниковых данных, беспилотных летательных аппаратов или других данных изображения можно передать на платформу и обработать их. Необработанные данные можно хранить в Azure NetApp Files, учетной записи служба хранилища Azure (BLOB-объект) или в базе данных, например База данных Azure для PostgreSQL. В зависимости от вспомогательной платформы и платформы датчиков данные преобразуются с уровня 0 на набор данных уровня 2. См. сведения о уровнях обработки данных НАСА. На какой уровень требуется, зависит от спутника и датчика. Затем ArcGIS Pro может преобразовать данные в набор данных Мозаики. Затем набор данных Мозаики преобразуется в службу изображений с ArcGIS Enterprise (на виртуальных машинах или Kubernetes). Сервер образов ArcGIS может служить данным непосредственно в качестве службы изображений или пользователь может использовать службу образов через ArcGIS Image for ArcGIS Online.

Diagram of Esri's ArcGIS Image and Azure Orbital.

Архитектура геопространственных образов с открытым кодом: пространство Azure для анализа готового набора данных

Когда наборы готовых к анализу данных становятся доступными через API, которые позволяют выполнять поиск и запросы, например с планетарным компьютером Майкрософт, вам не нужно сначала скачивать данные из спутника. Тем не менее, если для получения данных непосредственно из Azure Space требуются низкие сроки выполнения, так как спутниковый оператор или организация, направляемая миссией, может запланировать контакт со спутником через Azure Orbital. Процесс от уровня 0 до набора готовых к анализу данных уровня 2 зависит от спутника и продуктов изображения. Часто требуются несколько средств и промежуточных шагов. пакетная служба Azure или другой вычислительный ресурс может обрабатывать данные в кластере и хранить полученные данные. Данные могут пройти несколько шагов, прежде чем он готов к использованию в ArcGIS или QGIS или другом инструменте геовизуализации. Например, после того, как данные входят в формат Cloud Optimized GeoTIFF (COG), он обслуживается с помощью учетной записи служба хранилища или Azure Data Lake и предоставляет доступ к ним с помощью API STAC, который можно развернуть в Azure как услуга, с AKS среди других. Кроме того, данные публикуются как служба плитки веб-сопоставления с geoServer. Затем потребители могут получить доступ к данным в ArcGIS Pro или QGIS или через веб-приложение с помощью мобильных и веб-пакетов SDK Azure Карты или Esri.

Diagram of Azure Space to Analysis Ready Dataset.

Компоненты

  • Центры событий Azure — это полностью управляемая платформа потоковой передачи для больших данных. Это решение PaaS (платформа как услуга) предлагает модель секционированных потребителей. Несколько приложений могут использовать эту модель для одновременной обработки потока данных.
  • Azure Orbital — это полностью управляемая облачная облачная земная станция как услуга, которая позволяет оптимизировать свои операции путем приема данных пространства непосредственно в Azure.
  • Фабрика данных Azure — это служба интеграции, которая работает с данными из разных хранилищ данных. Вы можете использовать эту полностью управляемую бессерверную платформу для создания, планирования и координации рабочих процессов преобразования данных.
  • Azure Cosmos DB является полностью управляемой службой для баз данных NoSQL и предназначена для разработки современных приложений.
  • Azure Synapse Analytics — это корпоративная служба аналитики, которая ускоряет анализ между хранилищами данных и системами больших данных.
  • Azure Digital Twins — это платформа как услуга, которая позволяет создавать графы двойников на основе цифровых моделей всех сред, которые могут быть зданиями, фабриками, фермами, энергетическими сетями, железными дорогами, стадионами или целыми городами.
  • Виртуальный рабочий стол Azure — это служба виртуализации рабочих столов и приложений, которая выполняется в облаке.
  • Azure Databricks — это платформа аналитики данных. Полностью управляемые кластеры Spark обрабатывают большие потоки данных из нескольких источников. Azure Databricks может преобразовывать геопространственные данные в большом масштабе для использования в аналитике и визуализации данных.
  • пакетная служба Azure позволяет выполнять крупномасштабные параллельные и высокопроизводительные вычислительные задания.
  • Azure Data Lake служба хранилища — это масштабируемое и безопасное озеро данных для высокопроизводительных аналитических рабочих нагрузок. Эта служба может управлять несколькими петабайтами информации, поддерживая при этом сотни гигабит пропускной способности. Данные обычно берутся из нескольких разнородных источников и могут быть структурированы, полуструктурированными или неструктурированными.
  • База данных SQL Azure — это версия PAaS SQL Server и является интеллектуальной, масштабируемой, реляционной базой данных.
  • База данных Azure для PostgreSQL — это полностью управляемая служба реляционных баз данных на основе СУБД PostgreSQL с открытым кодом (Community Edition).
  • PostGIS — это расширение для базы данных PostgreSQL, которое интегрируется с серверами GIS. PostGIS может выполнять запросы расположения SQL, в которых задействованы географические объекты.
  • Power BI — это коллекция программных служб и приложений. Power BI можно использовать для подключения несвязанных источников данных и создания визуальных элементов.
  • Визуальный элемент Azure Maps для Power BI позволяет улучшить карты с помощью пространственных данных. С помощью этого визуального элемента можно продемонстрировать, как данные о расположении влияют на бизнес-метрики.
  • Служба приложений и ее функция Веб-приложения предоставляют платформу для создания, развертывания и масштабирования веб-приложений. Платформа Службы приложений предлагает встроенное обслуживание инфраструктуры, установку исправлений безопасности и масштабирование.
  • API данных GIS в Azure Maps хранят и извлекают данные карты в таких форматах, как GeoJSON и векторные плитки.
  • Azure Data Explorer — это быстрая и полностью управляемая служба аналитики управляемых данных, которая может работать с большими объемами данных. Первоначально эта служба была ориентирована на анализ временных рядов и журналов. Теперь она также обрабатывает разнообразные потоки данных из приложений, веб-сайтов, устройств Интернета вещей и других источников. Геопространственные функции в Azure Data Explorer предоставляют возможности для отображения данных карты.
  • Azure NetApp Files — это корпоративная, высокопроизводительная и высокопроизводительная служба подключенной к сети файлов служба хранилища (NAS).
  • Квантовые GIS — это бесплатные и открытые классические GIS , поддерживающие редактирование, анализ, геовизуализацию геопространственных данных.
  • ArcGIS Enterprise — это платформа для сопоставления и геовизуализации, аналитики и управления данными, в которой размещаются данные, приложения и пользовательские приложения с низким кодом или без кода. Она работает вместе с классическими GIS под названием ArcGIS Pro или ArcGIS Desktop (не включена здесь, так как она была заменена ArcGIS Pro).
  • ArcGIS Pro — это профессиональное классическое приложение GIS Esri. Это позволяет пользователям просматривать, геовизуализировать и анализировать данные. Он включает 2D и трехмерные возможности и работает лучше всего на виртуальных машинах вычислений Azure высокой производительности, таких как серия NV. Использование ArcGIS можно масштабировать с помощью виртуального рабочего стола Azure.
  • Образ ArcGIS для ArcGIS Online — это расширение для ArcGIS Online (SaaS), позволяющее геовизуализации, размещения, публикации и анализа.
  • Спецификация API STAC позволяет запрашивать и извлекать растровые данные через каталог.

Хотя на приведенных выше схемах не отображаются, Azure Monitor, Log Analytics и Key Vault также являются частью более широкого решения.

  • Azure Monitor собирает данные о средах и ресурсах Azure. Эти диагностические сведения полезны для обеспечения доступности и поддержания производительности. Две платформы данных составляют монитор:
    • Журналы Azure Monitor записывают и хранят журналы и данные о производительности.
    • Метрики Azure Monitor собирают числовые значения через регулярные промежутки времени.
  • Azure Log Analytics — это средство портал Azure, которое выполняет запросы к данным журнала монитора. Log Analytics также предоставляет функции для построения диаграмм и статистического анализа результатов запросов.
  • Key Vault хранит секреты, такие как токены, пароли и ключи API, а также управляет доступом к ним. Key Vault также создает и контролирует ключи шифрования и управляет сертификатами безопасности.

Альтернативные варианты

Различные библиотеки Spark доступны для работы с геопространственных данных в пулах Azure Databricks и Synapse Spark. См. следующие библиотеки:

Но существуют и другие решения для обработки и масштабирования геопространственных рабочих нагрузок с помощью Azure Databricks.

  • Другие библиотеки Python, которые следует рассмотреть, включают PySAL, Rasterio, WhiteboxTools, Turf.js, Pointpats, Raster Vision, EarthPy, Планетарный компьютер, PDAL и т. д.

  • Векторные плитки обеспечивают эффективный способ просмотра данных GIS на картах. Решение может использовать PostGIS для динамического запроса векторных плиток. Этот подход хорошо работает для простых запросов и наборов результатов, содержащих менее 1 миллиона записей. Но в следующих случаях может быть лучше использовать другой подход:

    • запросы потребляют много вычислительных ресурсов;
    • данные не меняются часто;
    • вы отображаете большие наборы данных.

В таких ситуациях рекомендуется использовать Tippecanoe для создания векторных плиток. Tippecanoe можно запустить как часть потока обработки данных в виде контейнера или с помощью Функций Azure. Можно сделать результирующие плитки доступными через API.

  • Как и Центры событий, Центр Интернета вещей Azure может получать большие объемы данных. Но Центр Интернета вещей также предлагает возможности двунаправленного обмена данными с устройствами. Если вы получаете данные непосредственно с устройств, а также отправляете команды и политики обратно на устройства, рассмотрите возможность использования Центра Интернета вещей вместо Центров событий.

Следующие шаги