Идеи решения
Эта статья является идеей решения. Если вы хотите расширить содержимое с дополнительными сведениями, такими как потенциальные варианты использования, альтернативные службы, рекомендации по реализации или рекомендации по ценам, сообщите нам, предоставив отзыв GitHub.
При переносе локального мейнфрейма или приложения среднего порядка в Azure передача данных является основным фактором. Для нескольких сценариев модернизации требуется реплика файлы в Azure быстро или поддерживать синхронизацию между локальными файлами и файлами Azure.
В этой статье описывается несколько процессов передачи файлов в Azure, преобразования и преобразования данных файлов, а также хранения данных в локальной среде и в Azure.
Архитектура
На следующей схеме показаны некоторые параметры реплика настройки и синхронизации локальных файлов с Azure:
Скачайте файл Visio для этой архитектуры.
Поток данных
Передача файлов в Azure:
Самый простой способ передачи файлов локально или в Azure — использовать протокол FTP. На виртуальной машине Azure можно разместить FTP-сервер. Простой язык управления заданиями FTP (JCL) отправляет файлы в Azure в двоичном формате, что важно для сохранения мейнфреймов и средних вычислений и двоичных типов данных. Вы можете хранить передаваемые файлы в локальных дисках, хранилище файлов виртуальной машины Azure или Хранилище BLOB-объектов Azure.
Вы также можете отправлять локальные файлы в служба хранилища BLOB-объектов с помощью таких средств, как AzCopy.
Соединитель FTP/SFTP Фабрика данных Azure также можно использовать для передачи данных из системы мейнфрейма в служба хранилища BLOB-объектов. Для этого метода требуется промежуточная виртуальная машина, на которой устанавливается локальная среда выполнения интеграции (SHIR).
Вы также можете найти сторонние средства в Azure Marketplace для передачи файлов из мейнфреймов в Azure.
Оркестрация, преобразование и преобразование данных:
Azure не может считывать файлы кодов кода расширенного двоичного кода (EBCDIC) IBM в дисках виртуальной машины Azure или служба хранилища BLOB-объектов. Чтобы сделать эти файлы совместимыми с Azure, сервер интеграции узлов (HIS) преобразует их из EBCDIC в американский стандартный код для обмена информацией (ASCII).
Книги копирования определяют структуру данных файлов COBOL, PL/I и языка сборки. ЕГО преобразует эти файлы в ASCII на основе макетов книги копирования.
Перед передачей данных в хранилища данных Azure может потребоваться преобразовать данные или использовать их для аналитики. Фабрика данных может управлять этими действиями extract-transform-load (ETL) и extract-load-transform (ELT) и хранить данные непосредственно в Azure Data Lake служба хранилища.
Для интеграции больших данных Azure Databricks и Azure Synapse Analytics могут выполнять все действия преобразования быстро и эффективно с помощью модуля Apache Spark для выполнения вычислений в памяти.
Хранение данных:
Вы можете хранить передаваемые данные в одном из нескольких доступных режимов хранения Azure в зависимости от ваших требований.
Если нет необходимости в аналитике, Фабрика данных Azure может хранить данные непосредственно в широком спектре вариантов хранения, таких как Data Lake служба хранилища и служба хранилища BLOB-объектов.
Azure размещает различные базы данных, которые решают различные потребности:
- Реляционные базы данных включают семейство SQL Server и базы данных с открытым кодом, такие как PostgreSQL и MySQL.
- Нереляционные базы данных включают Azure Cosmos DB, быструю, мультимодальную, глобально распределенную базу данных NoSQL.
Просмотрите аналитику и бизнес-аналитику:
Microsoft Fabric — это решение для аналитики с одним интерфейсом, которое ваша организация может использовать для изучения перемещения данных, эксперимента с науками данных и проверки аналитики в режиме реального времени и бизнес-аналитики. Он предлагает полный набор функций, включая озеро данных, проектирование данных и интеграцию данных.
Компоненты
В различных сценариях передачи файлов, интеграции и хранилища используются различные компоненты. Ознакомьтесь с калькулятором цен Azure, чтобы оценить затраты на ресурсы Azure.
Сеть
Локальный шлюз данных — это мост программного обеспечения, которое подключает локальные данные к облачным службам. Шлюз можно установить на выделенной локальной виртуальной машине.
Интеграция и преобразование данных
Поставщик данных для файлов узлов — это компонент HIS , который преобразует файлы страниц кода EBCDIC в ASCII. Поставщик может считывать и записывать записи вне сети в локальном двоичном файле или использовать системную сетевую архитектуру (SNA) или протокол управления передачей или протокол TCP/IP для чтения и записи записей в удаленных наборах данных ibm z/OS или физических файлах i5/OS. Соединители HIS доступны для BizTalk и Azure Logic Apps.
Фабрика данных Azure — это гибридная служба интеграции данных, используемая для создания, планирования и оркестрации рабочих процессов ETL и ELT.
Azure Databricks — это высокопроизводительная платформа на основе Apache Spark, оптимизированная для Azure. Вы можете использовать Databricks для сопоставления входящих данных и обогащения их другими данными, хранящимися в Databricks.
Azure Synapse Analytics — это быстрое и гибкое облачное хранилище данных с архитектурой массовой параллельной обработки (MPP), которую можно использовать для масштабирования, вычислений и хранения данных эластично и независимо.
Базы данных
База данных SQL Azure — это масштабируемая реляционная облачная база данных. База данных SQL Azure постоянно и всегда актуально, с ИИ на базе ИИ и автоматизированными функциями, которые оптимизируют производительность и устойчивость. Параметры бессерверного вычислений и хранилища гипермасштабирования автоматически масштабируйте ресурсы по требованию. С помощью Преимущество гибридного использования Azure вы можете использовать существующие локальные лицензии SQL Server в облаке без дополнительных затрат.
Управляемый экземпляр SQL Azure объединяет самую широкую совместимость ядра СУБД SQL Server со всеми преимуществами полностью управляемой и вечной платформы как службы (PaaS). С помощью Управляемый экземпляр SQL можно модернизировать существующие приложения в масштабе с помощью знакомых инструментов, навыков и ресурсов.
SQL Server в Azure Виртуальные машины поднимает и перемещает рабочие нагрузки SQL Server в облако, чтобы объединить гибкость и гибридное подключение Azure с производительностью, безопасностью и аналитикой SQL Server. Вы можете получить доступ к последним обновлениям и выпускам SQL Server с совместимостью с кодом 100 %.
База данных Azure для PostgreSQL — это полностью управляемая служба реляционной базы данных на основе выпуска сообщества ядра СУБД PostgreSQL с открытым исходным кодом.
База данных Azure для MySQL — это полностью управляемая служба реляционных баз данных на основе выпуска сообщества ядра СУБД MySQL с открытым исходным кодом.
Azure Cosmos DB — это полностью управляемая служба базы данных NoSQL с несколькими моделями для создания и модернизации масштабируемых высокопроизводительных приложений. Azure Cosmos DB масштабирует пропускную способность и хранение эластично и независимо между географическими регионами и гарантирует задержку с однозначными миллисекундами в 99-м процентили доступности в любом месте мира.
Другие хранилища данных
Большой двоичный объект служба хранилища хранит большие объемы неструктурированных данных, таких как текстовые или двоичные данные, которые можно получить из любого места через HTTP или HTTPS. Вы можете использовать служба хранилища BLOB-объектов для общедоступного предоставления данных или хранения данных приложения в частном порядке.
Data Lake служба хранилища — это репозиторий хранилища, который содержит большой объем данных в собственном, необработанном формате. Data Lake служба хранилища обеспечивает масштабирование рабочих нагрузок аналитики больших данных с терабайтами и петабайтами данных. Данные обычно берутся из нескольких разнородных источников и могут быть структурированы, частично структурированы или неструктурированные.
Потенциальные варианты использования
К локальным реплика файлам и вариантам использования синхронизации относятся:
Подчиненные или вышестоящий зависимости, например, если приложения, которые выполняются в мейнфрейме и приложениях, работающих в Azure, должны обмениваться данными с помощью файлов.
Параллельное тестирование повторно размещенных или повторно разработанных приложений в Azure с локальными приложениями.
Тесно связанные локальные приложения в системах, которые не могут быть немедленно исправлены или модернизируются.
Соавторы
Эта статья поддерживается корпорацией Майкрософт. Первоначально он был написан следующими участник.
Основные авторы:
- Эшиш Хандельвал | Главный конструктор архитектуры
- Нитиш Арульдосс | Инженер-архитектор
Чтобы просмотреть недоступные профили LinkedIn, войдите в LinkedIn.
Следующие шаги
- Дополнительные сведения см. в команде microsoft SQL Инжиниринг данных.
- Руководства по миграции базы данных Azure