Azure Synapse Link для Azure Cosmos DB: Варианты использования анализа практически в реальном времени
Область применения: 
Nosql Mongodb Гремлин
Azure Synapse Link для Azure Cosmos DB — это облачная гибридная транзакционно-аналитическая возможность обработки (HTAP), которая позволяет вам выполнять аналитику операционных данных почти в реальном времени. Synapse Link обеспечивает тесную эффективную интеграцию между Azure Cosmos DB и Azure Synapse Analytics.
Возможно, вам будет интересно понять, в каких вариантах использования в отрасли можно использовать эту облачную функцию HTAP для аналитики почти в реальном времени в отношении операционных данных. Ниже приведены три типичных варианта использования Azure Synapse Link для Azure Cosmos DB.
- Анализ цепочек поставок, прогнозирование и отчеты
- Персонализация в реальном времени
- Прогнозное обслуживание, обнаружение аномалий в сценариях для Интернета вещей
Примечание.
Azure Synapse Link для Azure Cosmos DB предназначена для сценариев, в которых корпоративным группам нужна возможность выполнения анализа почти в реальном времени. Эти аналитические данные выполняются без ETL по операционным данным, созданным в рамках транзакционных приложений, созданных на основе Azure Cosmos DB. Это отменяет необходимость в отдельном хранилище данных, если существуют традиционные требования к хранилищу данных, такие как управление рабочей нагрузкой, высокая степень параллелизма, сохраняемость статистических выражений в нескольких источниках данных.
Примечание.
Synapse Link для API Gremlin теперь находится в предварительной версии. Вы можете включить Synapse Link в новых или существующих графах с помощью Azure CLI. Дополнительные сведения о настройке см . здесь.
Анализ цепочек поставок, прогнозирование и отчеты
Исследования показывают, что внедрение анализа больших данных в операции цепочки поставок приводит к улучшениям времени доставки и эффективности цепочки поставок.
Производители используют облачные технологии, чтобы избежать ограничений устаревших систем планирования ресурсов предприятия (ERP) и управления цепочкой поставок (SCM). Поскольку цепочки поставок создают ежеминутно растущие объемы операционных данных (заказ, отправку, данные транзакций), производителям требуется операционная база данных. Эта операционная база данных должна масштабироваться для работы с томами данных, а также с аналитической платформой, чтобы получить уровень контекстной аналитики в режиме реального времени, чтобы вовремя реагировать на изменения.
В следующей архитектуре показано использование Azure Cosmos DB в качестве собственной операционной базы данных в облаке и Synapse Link в службе анализа цепочек поставок.
Благодаря архитектуре, показанной выше, вы можете получить следующие варианты использования с Synapse Link для Azure Cosmos DB:
Подготовка и обучение прогнозного конвейера: создание аналитических сведений о операционных данных в цепочке поставок с помощью машинного обучения преобразуется. Таким образом можно уменьшить количество операций инвентаризации, затрат на эксплуатацию и сократить время доставки заказа клиентам.
Synapse Link позволяет анализировать изменяющиеся операционные данные в Azure Cosmos DB без каких-либо ручных процессов ETL. Это позволяет сократить дополнительные затраты, задержку и снизить операционную сложность. Synapse Link позволяет специалистам по обработке и анализу данных создавать надежные прогнозные конвейеры:
Операционные данные можно запрашивать аналитического хранилища Azure Cosmos DB, используя встроенную интеграцию с пулами Apache Spark в Azure Synapse Analytics. Данные можно запрашивать в интерактивной записной книжке или запланированных удаленных заданиях без сложного инжиниринга данных.
Создание моделей машинного обучения с помощью алгоритмов машинного обучения Spark и интеграции машинного обучения Azure в Azure Synapse Analytics.
Обратная запись результатов после определения модели в Azure Cosmos DB для повышения эффективности оценки почти в реальном времени.
Операционные отчеты: группам цепочек поставок требуются гибкие и настраиваемые отчеты в режиме реального времени и точные операционные данные. Эти отчеты необходимы для получения моментального представления об эффективности, рентабельности и производительности цепочки поставок. Это позволяет аналитикам данных и другим ключевым заинтересованным лицам постоянно переоценивать бизнес-деятельность и вычислять области, которые необходимо настроить для сокращения эксплуатационных расходов.
Synapse Link для Azure Cosmos DB позволяет выполнять сложные сценарии бизнес-аналитики и отчетности.
Операционные данные из аналитического хранилища Azure Cosmos DB можно запрашивать с помощью собственной интеграции с бессерверным пулом SQL и удобного языка выражений T-SQL.
Моделирование и публикация автоматического обновления панелей мониторинга бизнес-аналитики с Azure Cosmos DB с помощью поддержки бессерверного пула SQL для привычных средств бизнес-аналитики. Например, Azure Analysis Services, Power BI Premium и т. д.
Ниже приведены некоторые рекомендации по интеграции данных для пакетной и потоковой передачи данных в Azure Cosmos DB.
Интеграция с пакетными данными и оркестрация. Благодаря цепочкам поставок становится сложнее, платформы данных цепочки поставок должны интегрироваться с различными источниками данных и форматами. Azure Synapse поставляется с тем же механизмом интеграции данных и с возможностями Фабрики данных Azure. Такая интеграция позволяет инженерам данных создавать многофункциональные конвейеры данных без отдельной подсистемы оркестрации:
Перемещение данных из свыше 85 поддерживаемых источников данных в Azure Cosmos DB с помощью Фабрики данных Azure.
Создавайте конвейеры ETL без написания кода для Azure Cosmos DB включая реляционные и иерархические сопоставления с потоками данных сопоставления.
Интеграция потоковых данных и обработка: при росте промышленного Интернета вещей (ресурсы отслеживания датчиков из "пола в хранилище", подключенных логистики и т. д.), существует взрыв данных в режиме потоковой передачи, которая должна быть интегрирована с традиционными медленными перемещениями данных для создания аналитических сведений. Azure Stream Analytics является рекомендуемой службой для потоковой передачи ETL и обработки в Azure с использованием широкого спектра сценариев. Azure Stream Analytics поддерживает Azure Cosmos DB в качестве собственного приемника данных.
Персонализация в реальном времени
Сегодня поставщики конечных решений должны создавать безопасные и масштабируемые решения для электронной коммерции, которые отвечают требованиям как клиентов, так и бизнеса. Эти решения для электронной коммерции должны привлекать клиентов через настраиваемые продукты и предложения, обрабатывайте сделки быстро и безопасно, сосредоточившись на услугах по обработке заказов и обслуживании клиентов. Azure Cosmos DB вместе с последней версией Synapse Link для Azure Cosmos DB позволяет розничным продавцам создавать персонализированные рекомендации для клиентов в режиме реального времени. Они используют параметры малой задержки и настраиваемой совместимости для немедленного анализа, как показано в следующей архитектуре:
Варианты использования Synapse Link для Azure Cosmos DB:
- Подготовка и обучение прогнозного конвейера. Вы можете создавать аналитические сведения о операционных данных в бизнес-подразделениях или сегментах клиентов с помощью Synapse Spark и моделей машинного обучения. Результатом этого становятся персонализированная доставка в сегменты клиентуры, прогнозирование конечных пользователей и средства целевого маркетинга в соответствии с требованиями конечного пользователя.
Прогнозное обслуживание Интернета вещей
Нововведения в промышленных решениях для Интернета вещей значительно уменьшили время простоя оборудования и повысили общую эффективность всех сегментов отрасли. Одним из таких нововведений является анализ прогнозного обслуживания для компьютеров на границе облака.
Ниже показана архитектура, использующая облачные возможности HTAP в Azure Synapse Link для Azure Cosmos DB в IoT-средстве прогнозного обслуживания.
Варианты использования Synapse Link для Azure Cosmos DB:
Подготовка и обучение прогнозного конвейера: исторические операционные данные датчиков устройств Интернета вещей можно использовать для обучения прогнозных моделей, таких как детекторы аномалий. Затем эти средства обнаружения аномалий развертываются обратно на границе для мониторинга в режиме реального времени. Такой цикл тем самым эффективно обеспечивает непрерывное переобучение прогнозных моделей.
Операционные отчеты: благодаря росту популярности инициативы создания цифровых двойников компании собирают большие объемы операционных данных из большого количества датчиков для создания цифровой копии каждого компьютера. Эта возможность требует от бизнес-аналитики понимания тенденций по сравнению с историческими данными, а также приложениям в реальном времени по сравнению с последними горячими данными.
Пример сценария: HTAP для Azure Cosmos DB
Почти десять лет Azure Cosmos DB для критически важных приложений пользовались тысячи клиентов, которым требуется эластичное масштабирование, согласованное глобальное распределение, репликация с записью в несколько регионов с низкой задержкой и высоким уровнем доступности для чтения и записи в транзакционных рабочих нагрузках.
В списке ниже приведены общие сведения о различных шаблонах операционной нагрузки для операционных данных на основе Azure Cosmos DB.
- Приложения и службы в режиме реального времени
- Обработка потока событий
- Панели мониторинга бизнес-аналитики
- Аналитика больших данных
- Машинное обучение
Azure Synapse Link позволяет Azure Cosmos DB не только использовать транзакционные рабочие нагрузки, но и выполнять аналитические рабочие нагрузки почти в реальном времени для хронологических операционных данных. Такой подход избавляет от необходимости использовать ETL и гарантирует изоляцию производительности от транзакционных рабочих нагрузок.
На следующем рисунке показаны шаблоны рабочих нагрузок с помощью Azure Cosmos DB: 
Давайте рассмотрим пример международной компании CompanyXYZ, занимающейся электронной коммерцией, которую осуществляет в 20 странах/регионах, чтобы продемонстрировать преимущества выбора Azure Cosmos DB как единой базы данных в режиме реального времени, поддерживающей транзакционные и аналитические требования к платформе управления запасами.
Основной бизнес CompanyXYZ зависит от системы управления запасами, поэтому доступность и надежность являются для нее основными базовыми требованиями. Преимущества использования Azure Cosmos DB:
- Благодаря тесной интеграции с инфраструктурой Azure и прозрачной глобальной репликации с записью в несколько регионов Azure Cosmos DB предоставляет ведущую в отрасли доступность уровня 99,999 % на фоне региональных простоев.
Партнеры по цепочке поставок CompanyXYZ могут находиться в разных географических расположениях, но для поддержки их локальных операций может потребоваться единое представление о запасах продуктов по всему миру. Сюда входит возможность чтения обновлений, внесенных другими партнерами по цепочке поставок, в режиме реального времени. А также возможность вносить обновления, не беспокоясь о конфликтах с другими партнерами, сохраняя высокую пропускную способность. Преимущества использования Azure Cosmos DB:
С помощью уникального протокола репликации с записью в несколько регионов и хранилища транзакций, оптимизированного для записи, Azure Cosmos DB обеспечивает менее 10 мс глобальной задержки для индексированных операций чтения и записи на уровне 99-го процентиля.
Высокая пропускная способность приема потоков и пакетов данных с помощью индексирования в реальном времени в транзакционном хранилище.
Транзакционное хранилище Azure Cosmos DB предоставляет на три варианта больше, чем два уровня согласованности (общей и на уровне событий), для достижения компромисса в отношении доступности и производительности, максимального приближенного к потребностям бизнеса.
Партнеры по цепочке поставок CompanyXYZ испытывают сильные колебания в плотности трафика от сотен до миллионов запросов в секунду, и поэтому платформа управления запасами должна работать с непредвиденным уровнем нагрузки в трафике. Преимущества использования Azure Cosmos DB:
- Транзакционное хранилище Azure Cosmos DB поддерживает эластичную масштабируемость хранилища и пропускной способности с помощью горизонтального секционирования. Контейнеры и базы данных, настроенные Автопилотом, могут автоматически и мгновенно масштабировать подготовленную пропускную способность в зависимости от потребностей приложения, не влияя на глобальные доступность, задержку, пропускную способность или производительность рабочей нагрузки.
Компания CompanyXYZ должна установить безопасную платформу аналитики для объединения хронологических данных инвентаризации на уровне системы, чтобы обеспечить проведение аналитики и передачу аналитических данных между партнерами по цепочке поставок, подразделениями и функциями. Платформа аналитики должна обеспечить совместную работу между системой, традиционными вариантами использования бизнес-аналитики и отчетности, примерами использования расширенной аналитики и прогнозными интеллектуальными решениями по данным операционной инвентаризации. Преимущества использования Synapse Link для Azure Cosmos DB:
- При использовании аналитического хранилища Azure Cosmos DB, полностью изолированного хранилища столбцов, Synapse Link, не позволяет реализовать аналитику извлечения, преобразования и загрузки (ETL) в Azure Synapse Analytics к глобально распределенным операционным данным при заданном масштабе. Бизнес-аналитики, инженеры и специалисты по обработке и анализу данных теперь могут использовать Synapse Spark или Synapse SQL в интерактивном режиме для запуска конвейеров бизнес-аналитики почти в реальном времени, анализа и машинного обучения, не влияя на производительность транзакционных рабочих нагрузок в Azure Cosmos DB. Дополнительные сведения см. в разделе Преимущества Synapse Link в Azure Cosmos DB.
Следующие шаги
Дополнительные сведения см. в следующих документах: