В этой эталонной архитектуре показано, как переместить данные из систем мейнфрейма и среднего уровня в Azure. В этой архитектуре архивные данные обслуживаются и используются только в системе мейнфреймов. Azure используется только в качестве носителя хранилища.
Архитектура
Скачайте файл Visio этой архитектуры.
Чтобы решить, какой метод следует использовать для перемещения данных между системой мейнфреймов и хранилищем Azure, рассмотрите частоту извлечения данных и объем данных. Доступны решения Майкрософт и сторонних разработчиков:
- Решения Майкрософт.
- Соединитель FTP Фабрика данных Azure.
- Действие копирования Фабрики данных, которое может копировать данные в любое решение службы хранилища Azure.
- Мейнфрейм JCL в BLOB-объект Azure с помощью Java— пользовательское решение для перемещения данных из системы мейнфреймов в Azure с помощью языка JCL. Дополнительную информацию можно получить по адресу datasqlninja@microsoft.com.
- Сторонние архивные решения. Решения, которые можно легко интегрировать с системами мейнфреймов, системами среднего уровня и службами Azure.
Рабочий процесс
Соединитель FTP Фабрика данных Azure перемещает данные из системы мейнфреймов в Хранилище BLOB-объектов Azure. Для этого решения требуется промежуточная виртуальная машина, на которой установлена локальная среда выполнения интеграции.
Действие копирования Фабрики данных подключается к базе данных Db2 для копирования данных в хранилище Azure. Для этого решения также требуется промежуточная виртуальная машина, на которой установлена локальная среда выполнения интеграции.
Microsoft Mainframe JCL в BLOB-объект Azure с помощью пользовательского решения Java перемещает данные между системой мейнфреймов и хранилищем BLOB-объектов и наоборот. Это решение основано на Java и выполняется в системных службах Unix на мейнфрейме. Это решение можно получить, обратившись в datasqlninja@microsoft.com.
а. Необходимо выполнить однократную настройку решения. Эта конфигурация включает получение ключей доступа к хранилищу BLOB-объектов и перемещение необходимых артефактов в систему мейнфреймов.
b. Отправка JCL перемещает файлы в мейнфрейм и хранилище BLOB-объектов и обратно.
c. Файлы хранятся в двоичном формате в Azure. Вы можете настроить пользовательское решение для преобразования EBCDIC в ASCII для простых типов данных.
При необходимости Azure Data Box может помочь в физической передаче данных мейнфреймов в Azure. Этот вариант подходит, если требуется перенести большой объем данных, а сетевые методы передачи занимают слишком много времени. (Например, если миграция занимает несколько недель.)
Легкое взаимодействие с мейнфреймом или средой среднего бизнеса обеспечивается сторонними архивными решениями.
Эти решения взаимодействуют с мейнфреймом и обрабатывают различные параметры мейнфреймов, такие как типы данных, типы записей, типы хранения и методы доступа. Они служат мостом между Azure и мейнфреймом. Некоторые сторонние решения подключают диск хранилища к мейнфрейму и помогают передавать данные в Azure.
Данные периодически синхронизируются и архивируются с помощью стороннего архивного решения. После того как данные будут доступны через стороннее решение, решение может легко отправить их в Azure с помощью доступных соединителей.
Данные хранятся в Azure.
При необходимости данные отзываются из Azure обратно в системы мейнфрейма или среднего уровня.
Компоненты
- Служба хранилища Azure предоставляет масштабируемое и высокозащищенное облачное хранилище для ваших данных, приложений и рабочих нагрузок. Файлы Azure предоставляет простые и безопасные бессерверные облачные общие папки. Эти компоненты используются для синхронизации и хранения данных.
- Фабрика данных Azure — это гибридная служба интеграции данных, которую можно использовать для создания, планирования и оркестрации рабочих процессов ETL и ELT.
- Azure Data Box — это физическое устройство, которое можно использовать для перемещения локальных данных в Azure.
Альтернативные варианты
Вы можете использовать классический метод перемещения данных из системы мейнфрейма или среднего класса по протоколу FTP. Фабрика данных предоставляет соединитель FTP , который можно использовать для архивации данных в Azure.
Сведения о сценарии
Системы мейнфреймов и среднего уровня создают, обрабатывают и хранят огромные объемы данных. Когда эти данные устареют, это обычно не полезно. Однако нормативные и нормативные правила иногда требуют, чтобы эти данные хранились в течение определенного количества лет, поэтому их архивация крайне важна. Архивируя эти данные, можно сократить затраты и оптимизировать ресурсы. Архивация данных также помогает с аналитикой данных и предоставляет журнал данных.
Потенциальные варианты использования
Архивация данных в облако может помочь вам:
- Освободите ресурсы хранилища в системах мейнфреймов и систем среднего уровня.
- Оптимизируйте производительность запросов, сохраняя только соответствующие данные в активной системе.
- Сокращение эксплуатационных затрат за счет более экономичного хранения данных.
- Используйте архивные данные для аналитики, чтобы создавать новые возможности и принимать более обоснованные бизнес-решения.
Рекомендации
В зависимости от того, как вы используете данные, может потребоваться преобразовать их в ASCII из двоичного файла, а затем отправить в Azure. Это упрощает аналитику в Azure.
Рекомендации
- Сложные типы данных в мейнфрейме должны обрабатываться во время архивации.
- Специалисты по приложениям могут определить, какие данные необходимо архивировать.
- Чтобы определить время между синхронизациями, учитывайте такие факторы, как критичность бизнеса, требования к соответствию требованиям и частота доступа к данным.
Сторонние архивные решения
Некоторые сторонние решения доступны на Azure Marketplace. Каждое из этих решений требует уникальной конфигурации. Настройка этих решений является одной из основных задач реализации этой архитектуры.
Хранилище Azure
В Azure есть множество вариантов для различных приложений и технических требований, таких как частый и редкий доступ, а также структурированные и неструктурированные данные. В службе хранилища Azure можно настроить различные конфигурации жизненного цикла хранилища. Вы можете определить правила для управления жизненным циклом. Общие сведения см. в статье Настройка политики управления жизненным циклом.
Отзыв данных
Отзыв архивных данных является важным аспектом архивных решений. Некоторые сторонние решения обеспечивают простой процесс для отзыва архивных данных. Это так же просто, как выполнение команды в локальной среде. Сторонний агент автоматически получает данные из Azure и получает их обратно в систему мейнфреймов.
Оптимизация затрат
Используйте калькулятор цен Azure для оценки затрат на реализацию этого решения.
Соавторы
Эта статья поддерживается корпорацией Майкрософт. Первоначально она была написана следующими участниками.
Основной автор:
- Пратим Дасгупта | Инженерный архитектор
Другие участники:
- Мик Альбертс | Технический модуль записи
- Ашиш Хандельвал | Старший инженер-архитектор
- Раманат Наяк | Инженерный архитектор
Дальнейшие действия
Для получения дополнительных сведений обратитесь к azure Инжиниринг данных — модернизация мейнфреймов и среднего бизнеса.
См. следующие ресурсы:
- Руководства по переносу баз данных Azure
- Что такое Фабрика данных Azure?
- Введение в хранилище Azure
- Что представляет собой служба "Файлы Azure"?
- Что такое Azure Data Box?
- Обзор служб хранилища Azure