При использовании Azure в качестве современной платформы данных вы можете выбрать модель "платформа как услуга" (PaaS) или "инфраструктура как услуга" (IaaS). PaaS предоставляет ориентированные на облако возможности для приема, преобразования и хранения данных. IaaS обеспечивает более высокий уровень контроля над гибридной инфраструктурой, начиная с размера и типа виртуальных машин, которые вы выбираете. Любой из этих подходов позволяет использовать множество полностью управляемых реляционных баз данных NoSQL и выполняющихся в памяти база данных, решений для хранения и предложений аналитики, которые охватывают защищаемые подсистемы и подсистемы с открытым кодом. В этом примере архитектуры показаны оба подхода.
Архитектура
Скачайте файл Visio для этой архитектуры.
Рабочий процесс
MQ IBM — это ПО промежуточного слоя, которое выступает в качестве слабо связанного канала между системой мейнфреймов или компьютеров среднего уровня и службами Azure. Сообщения принимаются и отправляются в соответствии с требованиями приложения к взаимодействию с уровнем приложения мейнфрейма.
В рамках ориентированного на облако подхода Azure Logic Apps использует соединитель MQ для обмена сообщениями с MQ IBM. Функция "Планировщик" управляет рабочим процессом Azure, отправляя и получая сообщения с повторяющимся интервалом в одну секунду.
Соединитель MQ может отправлять считываемые сообщения непосредственно в хранилище через соединитель или сначала отправлять их для преобразования. Logic Apps включает несколько параметров для преобразования данных, например встроенную среду выполнения JavaScript, с помощью которой можно выполнять простые фрагменты кода JavaScript для преобразования данных или операций с данными, в рамках которых преобразуются табличные данные JSON, CSV и HTML. Кроме того, вы можете создавать бессерверные однозадачные функции, используя Функции Azure.
Данные загружаются в хранилище. Azure предлагает множество управляемых решений для хранения данных с различными функциями и возможностями.
При использовании подхода IaaS виртуальная машина запускает Microsoft Host Integration Server (HIS) с помощью адаптера BizTalk для MQ WebSphere. HIS обменивается сообщениями с MQ IBM и предоставляет решение оркестрации как веб-службу для настраиваемого приложения .NET.
Приложение .NET сохраняет данные с помощью любого поддерживаемого хранилища данных Azure. Например, приложение может маскировать данные или использовать частные конечные точки для обеспечения безопасности.
Данные загружаются в хранилище. Azure предлагает множество управляемых решений для хранения данных с различными функциями и возможностями.
Компоненты
Azure Logic Apps предоставляет средства для оркестрации, интеграции и преобразования данных. Решение включает сотни соединителей для доступа к данным в локальной среде или облаке. Перед выбором соединителя хранилища данных обязательно протестируйте пропускную способность и производительность.
Планировщик Logic Apps предоставляет триггеры для запуска и выполнения рабочих процессов на основе указанного вами интервала и частоты повторения.
Соединитель MQ Logic Apps подключает рабочие процессы Logic Apps к серверу MQ IBM локально или в Azure. Рабочие процессы могут получать и отправлять сообщения, хранящиеся на сервере MQ. Кроме того, в решение включен клиент MQ от Майкрософт для обмена данными с удаленным сервером MQ через сеть TCP/IP. Клиент можно использовать для подключения к MQ 7.5, MQ 8.0, а также MQ 9.0, 9.1 и 9.2 IBM WebSphere.
Host Integration Server (HIS) можно использовать в качестве интегратора сообщений через адаптер MQ WebSphere в Microsoft BizTalk Server. Обмен сообщениями между MQ IBM и BizTalk Server осуществляется с помощью адаптера клиента и сервера. Кроме того, HIS выступает в качестве прослушивателя MQ и может опрашивать сервер MQ на наличие сообщений с указанными интервалами.
.NET — это бесплатная платформа разработки с открытым кодом, используемая в этом примере для создания приложения для извлечения данных с помощью HIS на уровень хранилища данных. Кроме того, платформа позволяет осуществлять доступ к серверам MQ IBM WebSphere напрямую через клиент Майкрософт для MQ.
Альтернативные варианты
Для уровня данных вы можете использовать управляемые службы по своему выбору, включая Базу данных Azure для PostgreSQL, Базу данных Azure для MySQL, Azure Cosmos DB, Базу данных Azure для MariaDB и Azure SQL.
Для уровня хранилища создайте корпоративное озеро данных с помощью Azure Data Lake Storage.
Для уровня данных создайте платформу для аналитики больших данных с помощью Azure Synapse Analytics.
Подробности сценария
Распространенный подход в сценариях цифровой трансформации — определить, могут ли существующие уровни приложений и ПО промежуточного слоя работать без изменений в гибридной установке, в которой Microsoft Azure является масштабируемой распределенной платформой данных. В этом примере описан подход "сначала данные" к интеграции ПО промежуточного слоя. Такой подход дает возможность использовать очереди сообщений (MQ) IBM, выполняющиеся в системах мейнфреймов или компьютеров среднего уровня, для работы со службами Azure. Это позволяет вам подобрать наилучшую платформу данных для своей рабочей нагрузки.
При использовании Azure в качестве современной платформы данных вы можете выбрать модель "платформа как услуга" (PaaS) или "инфраструктура как услуга" (IaaS). PaaS предоставляет ориентированные на облако возможности для приема, преобразования и хранения данных. IaaS обеспечивает более высокий уровень контроля над гибридной инфраструктурой, начиная с размера и типа виртуальных машин, которые вы выбираете. Любой из этих подходов позволяет использовать множество полностью управляемых реляционных баз данных NoSQL и выполняющихся в памяти база данных, решений для хранения и предложений аналитики, которые охватывают защищаемые подсистемы и подсистемы с открытым кодом.
В этом примере архитектуры показаны оба подхода:
Ориентированная на облако модель PaaS. Azure Logic Apps обменивается сообщениями с MQ IBM через соединитель MQ. Дополнительные соединители обеспечивают быстрый доступ к событиям, данным и действиям в других приложениях, службах, системах и при использовании других протоколов, а также на других платформах. Кроме того, Logic Apps включает средства для преобразования данных из очереди, если вам нужно изменить формат, структуру или значения данных перед их сохранением в Azure или отправкой на уровень приложения.
IaaS на основе виртуальных машин. При запуске Microsoft Host Integration Server (HIS) на виртуальной машине можно использовать компонент интеграции обмена сообщениями, который подключается к MQ IBM. Вы контролируете процесс преобразования данных путем создания приложения .NET для чтения и записи сообщений. Приложение может сохранять данные в хранилище данных Azure по вашему выбору. Кроме того, вы можете выбирать интервал опроса сервера MQ.
Потенциальные варианты использования
С помощью любого из этих подходов можно выполнять следующие действия:
разрешать слабо связанным приложениям, которые обмениваются данными через системы обмена сообщениями, использовать платформу данных Azure;
реализовать добавочную синхронизацию или репликацию данных между системой мейнфреймов или компьютеров среднего уровня и Azure;
передавать сообщения о событиях между системами мейнфреймов или компьютеров среднего уровня и Azure;
Рекомендации
Конфигурация гибридного центра обработки данных имеет смысл для организаций, разрабатывающих собственные облачные стратегии. Подключение к Azure может помочь в ликвидации пробелов в центре обработки данных, повысить производительность, улучшить непрерывность бизнес-процессов и вывести организацию на мировой уровень.
Например, приложения в локальной среде могут обмениваться данными с современной платформой данных в Azure и начать использовать преимущества аналитики больших данных или машинного обучения. Если вам нужно экономичное решение для хранения данных, можно реплицировать данные мейнфреймов, сохранить их в Azure и синхронизировать данные. Кроме того, Azure может добавить масштаб, необходимый для поддержки систем онлайн-обработки транзакций (OLTP), пакетной обработки и приема данных.
Доступность
В Соглашениях об уровне обслуживания Azure описаны гарантии времени доступности. Для различных компонентов могут использоваться разные Соглашения об уровне обслуживания. Например, служба Azure Logic Apps будет доступна по меньшей мере в течение 99,9 % времени. Выбираемые вами параметры конфигурации могут улучшить условия Соглашения об уровне обслуживания.
Оптимизация производительности
Прежде чем завершить разработку архитектуры, обязательно протестируйте пропускную способность и производительность уровня преобразования данных. Производительность зависит от нескольких факторов, в том числе от размера сообщений рабочей нагрузки, задержки и используемых соединителей. Тестирование поможет подобрать целевую платформу данных с наивысшим уровнем совместимости.
Хранилище
В этом примере архитектуры соединители Logic Apps можно использовать для отправки сообщений непосредственно в Службу хранилища Azure и Azure Data Lake Storage. Например, Logic Apps включает соединитель Хранилища BLOB-объектов Azure, как показано на следующем изображении. Соединитель упрощает хранение больших объемов неструктурированных данных в Хранилище BLOB-объектов Azure. Ваши данные будут доступны из любой точки мира по протоколу HTTP или HTTPS. Кроме того, Хранилище BLOB-объектов поддерживает Azure Data Lake Storage 2-го поколения. Это решение аналитики больших данных, предназначенное для облака. Данные загружаются в хранилище с помощью службы Azure, такой как средство AzCopy, Фабрика данных Azure или другое решение, которое может подключаться к хранилищу.
Скачайте файл Visio для этой архитектуры.
Варианты архитектуры PaaS и IaaS поддерживают многие популярные управляемые службы баз данных. Вы можете загрузить данные с помощью пользовательского встроенного средства загрузки, решения поставщика или управляемой службы, такой как Фабрика данных Azure. Варианты баз данных:
База данных SQL Azure. База данных SQL Azure в составе семейства Azure SQL — это интеллектуальная масштабируемая служба реляционных баз данных, созданная для облака. Служба всегда актуальна. Она включает автоматизированные функции, повышающие производительность, устойчивость и масштабируемость, позволяя сосредоточиться на создании новых приложений.
Управляемый экземпляр SQL Azure Управляемый экземпляр SQL входит в состав портфеля служб Azure SQL и сочетает в себе наивысший уровень совместимости с ядром QL Server и все преимущества полностью управляемого решения PaaS.
Azure SQL на виртуальных машинах Azure. Этот экономичный вариант в составе семейства Azure SQL предназначен для переноса рабочих нагрузок SQL Server в Azure методом lift-and-shift. Вариант сочетает в себе поддержку высокой производительности и безопасности, а также средства аналитики SQL Server с гибким и гибридным подключением Azure, обеспечивая полную совместимость кода. Теперь в решение включены образы SQL Server 2019.
База данных Azure для PostgreSQL. Это полностью управляемая служба реляционных баз данных на основе ядра СУБД PostgreSQL с открытым кодом (Community Edition). Вы можете сосредоточиться внедрении инноваций в приложение, а не на управлении базами данных, и легко масштабировать рабочие нагрузки.
База данных Azure для MySQL. Это полностью управляемая служба реляционных баз данных на основе ядра СУБД MySQL с открытым кодом (Community Edition).
Azure Cosmos DB. Глобально распределенная многомодельная база данных Azure Cosmos DB обеспечивает пропускную способность и хранилище, которые масштабируются эластично и независимо друг от друга в любом количестве географических регионов. Это полностью управляемая служба баз данных NoSQL, которая гарантирует задержку в единицах миллисекунд с 99-м процентилем в любой точке мира.
Azure Synapse Analytics. Эта корпоративная служба аналитики ускоряет извлечение аналитических сведений в разных хранилищах данных и системах больших данных.
Оптимизация затрат
В этой статье описан широкий спектр служб Azure, демонстрирующих различные возможности. Возможно, вам не потребуется использовать их все для интеграции MQ.
Оцените затраты на ресурсы Azure с помощью калькулятора цен Azure.
Чтобы составить представление о ценах на решение HIS, просмотрите страницу цен на BizTalk.
Соавторы
Эта статья поддерживается корпорацией Майкрософт. Первоначально он был написан следующими участник.
Автор субъекта:
- Эшиш Хандельвал | Главный конструктор архитектуры
Чтобы просмотреть недоступные профили LinkedIn, войдите в LinkedIn.
Следующие шаги
Дополнительные сведения см. в электронной почте Azure Инжиниринг данных — мейнфрейм и модернизация Midrange (datasqlninja@microsoft.com).