Обзор распределенных вычислений типа "решетка" для рисков в банковской сфереRisk Grid Computing in Banking Overview

ВведениеIntroduction

В корпоративной финансовой и инвестиционной банковской сферах одной из важнейших задач является анализ рисков.In corporate finance and investment banking, one of the most important jobs is analyzing risk.

Чтобы получить полную картину рисков, связанных с портфелем инвестиций, аналитики финансовых рисков изучают исследования, экономические и социальные условия, следят за законодательствами и создают компьютерные модели инвестиционного климата.To provide a comprehensive picture of the risk associated with an investment portfolio, financial risk analysts review research, monitor economic and social conditions, stay abreast of regulations, and create computer models of the investment climate.

Анализ рисков по нескольким направлениям, которые влияют на портфель, достаточно сложен, поэтому компьютерное моделирование в этой области неизбежно.Risk analysis across the many vectors that affect a portfolio is sufficiently complex that computer modeling is required. Большинство аналитиков тратят довольно много времени на работу с компьютерными моделями, пытаясь смоделировать финансовые условия и предсказать их изменение.Most analysts spend quite a bit of time working with computer models to simulate and predict how financial conditions will change. При оценке инвестиционных рисков (рыночный риск, кредитный риск и операционный риск) при подготовке прогнозной модели может потребоваться весьма значительный объем вычислений из-за разнообразия и количества исходных данных.When evaluating investment risks (Market Risk, Credit Risk and Operational Risk), the computational load of processing the predicative models can be quite large due to the volume of and diversity data.

Облачные вычисления дают существенные преимущества при распределенных вычислениях или моделировании рисков, так как они позволяют аналитикам получать доступ к большим вычислительным ресурсам по требованию без капитальных расходов на инфраструктуру и управление ею.Cloud computing offers significant benefits for risk grid computing or risk modeling because it enables analysts to access massive compute resources on demand, without incurring capital costs or managing infrastructure. В этой статье рассказывается о Microsoft Azure для дополнения имеющихся распределенных вычислений типа "решетка" и оптимизации затрат и скорости проведения распределенных вычислений типа "решетка".This article examines leveraging Microsoft Azure to augment current risk grid compute resources and optimize the cost and speed of risk grid computing workloads. Здесь рассматривается безопасное и надежное подключение, пакетная обработка и вспомогательные вычислительные ресурсы по требованию, когда ресурсы локальных серверов достигают своего предела.Topics covered include secure and reliable connectivity, batch processing, and augmenting compute resources based on demand when on-premises servers are at capacity.

Службы распределенных вычислений типа "решетка"Grid computing services

Аналитикам требуется простой и надежный способ передачи модели на конвейер пакетной обработки, начинающийся с ввода данных, дальнейшей обработки этих данных для анализа, где на основе полученных данных можно получить определенные выводы.Analysts need a simple and reliable way to provide their models to a batch processing pipeline, which starts with data ingestion and flows through data processing to analysis, where insights can be derived from the resulting data.

Входные данные модели рисков поставляются в нескольких наиболее распространенных форматах файлов Excel или CSV-файлов.Risk model input data comes in several forms, the most common being Excel files or .csv files. Эти файлы часто преобразуются в более подходящие для обработки в модели рисков форматы на более поздних стадиях конвейера вычислений рисков.These files are often restructured into formats more suitable for processing the risk model in later stages of the risk compute pipeline. Распространенный способ синтаксического анализа и обработки этих файлов — пакетная обработка с помощью сетки виртуальных машин (VMs?WT.mc_id=gridbank-docs-dastar), которые совместно работают над общей задачей.A common technique for parsing and processing these files is batch processing with a grid of virtual machines (VMs?WT.mc_id=gridbank-docs-dastarr) working together to reach a common goal.

Пакетная служба Azure — это служба Azure, которая позволяет нескольким рабочим виртуальным машинам запускаться параллельно, как показано ниже.Azure Batch is an Azure service which allows multiple worker VMs to run in parallel, as shown below. Обработка файлов данных и отправка результатов в систему машинного обучения или хранилище данных — это типичные задачи для рабочих узлов.Processing data files and submitting results to machine learning systems or data stores are common tasks for the worker nodes. Код приложения, выполняемый на рабочих узлах, создается клиентом, поэтому в пакетном задании можно выполнить практически любое действие.The application code run by the worker nodes is created by the customer, so almost any action may be taken in the batch job.

Пакетная обработка в локальной среде

Azure предоставляет элегантное решение для распределенных вычислений типа "решетка" для рисков с помощью пакетной службы Azure.Azure provides an elegant solution for risk grid computing using Azure Batch. Клиенты могут использовать пакетную службу Azure для расширения существующей вычислительной сети или полностью заменить локальные ресурсы ее облачным решением.Customers can use Azure Batch to extend their existing risk computing grid, or to replace on-premises resources with a completely cloud-based solution.

Полностью поддерживается защищенное непосредственное подключение к облаку Azure.Connecting directly and securely to the Azure cloud is fully supported. Рабочие узлы сети пакетной обработки вычислений для рисков могут получить доступ к данным модели при подключении к локально хранимым данным и при подключении к Azure с использованием гибридной сети.The Batch risk processing grid worker nodes can access modeling data when connecting to data stored on-premises when connecting to Azure with a hybrid network. Клиент также может передавать данные в соответствующее хранилище в Azure, позволяя прямой доступ к данным при пакетной обработке.The customer can also upload data to appropriate storage within Azure, allowing Batch to have direct access to the data.

Безопасное подключение к AzureSecure connectivity to Azure

При построении распределенного вычислительного решения в Azure компании часто будут продолжать использовать существующие локальные приложения, такие как торговые системы, управление рисками контрольных подразделений, анализ рисков и т. д.When building a risk grid computing solution on Azure, the business will often continue to use existing on-premises applications such as trading systems, middle office risk management, risk analytics, and so on. Azure становится расширением этих существующих инвестиций.Azure becomes an extension to those existing investments.

При подключении к облаку первоочередным фактором является безопасность.When connecting to the cloud, security is a primary consideration. Первым шагом при подключении непосредственно к Azure для текущей модели безопасности является учетная запись.Accounting for your current security model is the first step in connecting directly to Azure. Клиенты, которые уже используют Active Directory (AD?WT.mc_id=gridbank-docs-dastarr) локально, для подключения к Azure могут использовать существующие ресурсы идентификаторов.For customers already using Active Directory (AD?WT.mc_id=gridbank-docs-dastarr) on-premises, connecting to Azure can leverage existing identity resources. Учетные записи служб могут существовать в локальной службе AD.Service accounts can live in the on-premises AD.

Гибридное сетевое решениеHybrid network solution

Гибридная сеть связывает Azure непосредственно с локальной сетью клиента.A hybrid network ties Azure directly to the customer's on-premises network. Azure предлагает две модели для надежного и безопасного подключения текущих локальных систем в Azure, Microsoft Azure ExpressRoute и VPN-шлюзе.Azure offers two models for securely and reliably connecting current on-premises systems to Azure, Microsoft Azure ExpressRoute and VPN Gateway. Обе они являются решениями с возможностью надежного подключения, несмотря на то, что существуют различия в их реализации, производительности, затратах и других атрибутах.Both are trusted connectivity solutions, although there are differences in implementation, performance, cost and other attributes.

Возможности подключения к Azure

"Ускорение в облаке" передает задания вычислений в облачные машины при пиковых нагрузках существующих ресурсов, дополняя ЦОД или ресурсы частного облака клиента."Burst to cloud" offloads computing jobs to cloud-based machines when existing resources spike, augmenting the customer's data center or private cloud resources. Использование модели гибридной сети обеспечивает более простой сценарий передачи данных из очереди в облако, поскольку облачная сеть расчета рисков представляет собой простое расширение существующей сети.Using the hybrid network model allows for easy burst to cloud scenarios as the cloud-based risk computing grid is a simple extension of the existing network.

Существует несколько конфигураций подключения к сети, помимо тех, которые доступны в случае простой модели, представленной в логической архитектуре выше.There are several network connectivity configurations beyond those in the simple model presented in the logical architecture above. Чтобы узнать больше о принятии решений и управлении архитектурой при подключении к сети в Azure, см. статью Подключение локальной сети к Azure.To help with decisions and architectural guidance regarding connecting your network to Azure, see the article Connect an on-premises network to Azure.

Решение REST API через ИнтернетREST API solution over Internet

Альтернатива созданию гибридной сети — отправка данных в хранилище Azure (файловое хранилище или хранилище BLOB-объектов, которые, скорее всего, являются кандидатами?WT.mc_id=gridbank-docs-dastarr) и пакетное чтение файлов данных из хранилища.An alternative to creating a hybrid network is to upload data into Azure Storage (file or Blob storage being likely candidates?WT.mc_id=gridbank-docs-dastarr) and have Batch read the data files from storage. Это можно сделать с помощью безопасного (SSL?WT.mc_id=gridbank-docs-dastarr) подключения к Azure, сохранения документов в службе хранилища Azure и последующего управление заданиями распределенных вычислений типа "решетка" с помощью REST API пакетной службы или пакета SDK с помощью специализированного приложения, выполняя оркестрацию выполнения пакетного задания.This can be achieved using a secure (SSL?WT.mc_id=gridbank-docs-dastarr) connection to connect to Azure, storing the documents in Azure Storage, and then managing the risk grid computing jobs via the Batch service REST API or SDK with a fit-for-purpose application, orchestrating the Batch run.

Фабрика данных AzureAzure Data Factory

Другое решение для вашего сценария может использовать фабрику данных Azure, облачную службу интеграции данных, для объединения конвейеров хранения, перемещения и обработки данных.Another solution for your scenario may be using Azure Data Factory, a cloud-based data integration service, to compose large storage, movement and processing pipelines. Данные можно загрузить по требованию через конвейер фабрики данных.Data can be uploaded on demand through a Data Factory pipeline. Эта служба предоставляет визуальный конструктор на портале Azure для создания, извлечения, преобразования и загрузки решений в Azure (ETL?WT.mc_id=gridbank-docs-dastarr).The service provides a visual designer in the Azure portal for building Extract, Transform and Load (ETL?WT.mc_id=gridbank-docs-dastarr) solutions in Azure. Фабрика данных может помочь вводить данные в Azure для дальнейшей обработки.Data Factory can help ingest data into Azure for further processing.

По запросу требуется соответствующая обработкаMatching processing needs with demand

При вычислении рисков, ежедневных или с более значительными нагрузками в конце месяца, вычисления потребляют значительное количество вычислительных ресурсов.When computing risk, whether daily or with the heavier loads at the end of the month, the calculations consume significant computational resources. Эти вычисления не выполняются ежедневно и круглосуточно.These calculations do not run 24x7. Если вычисление рисков не будет выполняться в локальной сети организации, она сможет убрать рабочие нагрузки с ценных и дорогостоящих серверов, но сохранит эксплуатационные расходы на электричество, охлаждение и место центра обработки данных, а также другие фиксированные затраты.When risk calculations are not being run on the on-premises grid, the organization leaves valuable and expensive servers running with no workload, but with ongoing costs for power, cooling, and datacenter space, along with other fixed costs.

Расширение локальной вычислительной сети с помощью пакетной службы AzureAugmenting on-premises grid with Azure Batch

Чтобы свести к минимуму затраты, компании, использующие облачные решения, предпочитают просто владеть и управлять достаточным количеством рабочих узлов в соответствии с требованиями при низкой нагрузке.To minimize costs, a business could choose to own and manage just enough worker nodes to satisfy requirements when demand is low. Высокопроизводительные распределенные вычислительные задания можно перенести на высокопроизводительные серверы в Azure, выполнив эластичное масштабирование в соответствии с потребностями рабочей нагрузки.High demand risk grid computing jobs can then be pushed to high performance servers in Azure, elastically scaling up and down with workload demand.

Модель обработки пакетной службой Azure имеет несколько преимуществ для распределенных вычислений рисков.The Azure Batch processing model has several benefits for risk grid computing:

  • Дополняются существующие инвестиции в различных в локальных системах.Augments existing investments in various on-premises systems.
  • Существующая инфраструктура используется для обслуживания задач по анализу рисков при низкой нагрузке, высвобождая рабочие узлы в Azure.Allows existing infrastructure to serve risk analysis needs when demand is low, deallocating Azure-based worker nodes.
  • Предоставляется дополнительная емкость в сетке вычисления рисков при высокой нагрузке.Provides extra capacity to the risk compute grid when demand is high.
  • Соответствие профилей компьютеров и вычислительных мощностей, необходимых для пакетной рабочей нагрузки, даже в том случае, когда для нагрузки требуются конфигурации HPC.Enables matching machine profiles to the processing power needed by Batch workload, even when the load calls for High Performance Computing (HPC) configurations.

Распространенным решением является автоматическое добавление рабочих узлов в Azure, когда полностью загружены все рабочие роли на предприятии.A common solution is to automatically add worker nodes in Azure when the on-premises workers are all in use. Головной узел сетки вычисления рисков просто запрашивает дополнительные рабочие роли.The risk grid head node simply asks for more workers. Таким образом количество рабочих узлов сетки в Azure автоматически масштабируется, и решение эластично соответствует спросу.This automatically scales the number of grid worker nodes in Azure and enables an elastic demand solution.

Гибридное облачное решение

Наряду с эффективным использованием ресурсов такой подход дает и другие преимущества.Along with efficient use of resources, this arrangement provides other benefits. Для независимых задач добавление дополнительных рабочих ролей позволяет линейно масштабировать нагрузку.For independent tasks, adding more workers allows the load to scale linearly. Azure также предоставляет возможность попробовать очень большие экземпляры виртуальной машины или машины с несколькими картами GPU.Azure also provides the flexibility to try out a very large VM instance or a machine with several GPU cards. Такая гибкость позволяет экспериментировать и внедрять инновации.This flexibility enables experimentation and innovation.

Если требуется увеличение вычислительной мощности, например, при ежеквартальных оценках, дополнительная мощность также может поступать благодаря автомасштабированию пакетной службы Azure.For times when more compute capacity is needed, such as quarterly valuations, the extra capacity can also come from Azure Batch auto-scaling. Автоматическое масштабирование обеспечивает эластичность решения пакетной службы.Auto-scaling provides elasticity to your Batch solution. С помощью масштабирования ресурсов в соответствии с нагрузкой Azure предоставляет значительно больше возможностей по более низкой цене, чем требуется на владение оборудованием.By scaling resources to match needed load, Azure provides significantly greater capacity at a lower cost than owning the hardware.

Большинство коммерческих продуктов для распределенных вычислений поддерживают некоторую форму передачи данных в облако, что позволяет упростить процесс формирования оценки для задач анализа рисков.Most commercial grid products do support some form of burst to cloud, enabling easier proofs of concept for your risk analysis load. Например, пакет Microsoft HPC можно запустить в Azure, так же как продукты таких компаний, как TIBCO, Univa и др.For example, Microsoft HPC Pack can run in Azure, as can products from companies like TIBCO, Univa, and others. Многие из этих сторонних инструментов или систем доступны через Azure Marketplace.Many of these 3rd party tools or systems are available through the Azure Marketplace.

Перенос дополнительных ресурсов в облакоMigrating additional resources to the cloud

По мере роста рабочих нагрузок или устаревания локальной инфраструктуры центра обработки данных организация сможет перенести в Azure всю пакетную обработку для распределенных вычислений рисков.As workloads grow or on-premises datacenter infrastructure ages, organizations can move their entire Batch processing for risk grid computing into Azure.

Расширение в AzureGrowing into Azure

По мере окончания срока эксплуатации локальных компьютеров рабочие узлы можно переносить в облако.As on-premises machines reach end of life, you can further distribute worker nodes into the cloud. То же самое можно сделать для головного узла пакетной службы.The same can be true for the Batch head node. Это совершенно меняет связь между локальной сетью и Azure.This inverts the relationship between the on-premises network and Azure. Это позволяет снизить затраты, списав любые сетевые продукты, такие как Azure ExpressRoute и оставшиеся узлы в локальных рабочих ролях.This may be an opportunity to decrease costs by decommissioning any network-to-network products such as Azure ExpressRoute, and any remaining on-premises worker nodes.

В рамках этого изменения данные можно сделать доступными в Azure с помощью различных методов ввода файлов.As part of this change, data may be made available to Azure using various file ingress techniques. Azure предлагает различные варианты хранения на выбор, включая зарезервированные конечные точки, чтобы разрешить передачу данных напрямую, вместо получения вычислительных заданий из локальной сети.Azure has many storage options to choose from, including rest endpoints to allow uploading data directly, rather than having the compute jobs pick it up from the on-premises network.

Пакетная обработка в локальной среде

В этой модели все распределенные вычисления рисков могут выполняться в облаке.Under this model, all risk grid computing activities can take place in the cloud. Файлы данных, обрабатываемые рабочими ролями, могут храниться в службе хранилища Azure, данные могут передаваться непосредственно в Azure Data Lake, а Azure HDInsight может позаботиться о задачах обучения.Data files processed by the workers may be stored in Azure storage, data can be fed directly into the Azure Data Lake, and Azure HDInsight can take care of machine learning needs. Наконец, Power BI и Azure Analytics являются отличным средствами для анализа данных и могут работать со всеми данными, хранящимися в Azure.Finally, Power BI and Azure Analytics are excellent data analysis tools and can work across all data stored in Azure.

Вопросы безопасности данных при распределенных вычислениях рисковData security considerations for risk grid computing

Хотя вычисления данных часто не содержат личные сведения (PII?WT.mc_id=gridbank-docs-dastarr), большинство банков, скорее всего, проводят оценку рисков безопасности перед размещением любых рабочих нагрузок в облаке.While calculation data often does not include any Personally Identifiable Information (PII?WT.mc_id=gridbank-docs-dastarr), most banks are still likely to conduct a security risk assessment before placing any workload in the cloud. Эта оценка может потребовать ввода от корпорации Майкрософт и может привести к наличию рекомендаций по обеспечению безопасности.This assessment may require input from Microsoft and may result in security recommendations.

При распределенных вычислениях рисков важно выполнять пакетные процессы в виртуальной сети Azure.A notable consideration for risk grid computing is to run the batch processes within an Azure VNet. Это позволяет узлам вычислительного пула безопасно обмениваться данными с другими вычислительными узлами или локальной сетью.This allows pool compute nodes to communicate securely with other compute nodes, or with an on-premises network. Следует создать соответствующие учетные записи служб и группы безопасности сети (NSG), которые будут использоваться вычислительными узлами при пакетной обработке.Appropriate service accounts and Network Service Groups (NSG) should be created and used by the batch compute nodes. Azure также содержит решения для шифрования данных при передаче и хранении в службе хранилища Azure.Azure also has solutions for data encryption in transit and at rest in Azure storage.

Что следует учитывать: Active Directory (AD) или неприсоединенные к домену вычислительные узлы (для узлов Windows Server?WT.mc_id=gridbank-docs-dastarr), шифрование дисков виртуальных Машин, безопасность входных и выходных данных при хранении и передаче, конфигурации сети Azure, разрешения и многое другое.Some areas to consider may be: Active Directory (AD) or non-AD joined compute nodes (for Windows Server nodes?WT.mc_id=gridbank-docs-dastarr), VM disk encryption, security of calculation input and output data at rest and in transit, Azure network configurations, permissions and more. Проверка подлинности также может осуществляться на уровне REST API с помощью секретного ключа.Authentication may also be handled at the REST API level through a secret key.

Приступая к работеGetting Started

Многие клиенты располагают собственной вычислительной сетью для оценки рисков, которую они уже используют.Many customers have an in-house risk computing grid they already use. Если ваша компания самостоятельно разработала такую сеть, рекомендуем расширить возможности вашей сети с помощью пакетной службы Azure.If your company developed the grid internally, consider Azure Batch to extend the grid. Лучше всего начать с пакетной службы Azure путем расширения любого текущего локального решения с использованием репликации текущей логики приложения для обработки, и запустив его в качестве пакетного задания в Azure.A good place to start with Azure Batch is by extending any current on-premises solution by replicating the current processing application logic and running it as a Batch job in Azure. Для этого может потребоваться сетевое решение для присоединения вычислительных узлов пакетной службы Azure к локальной сети, в зависимости от функциональных возможностей приложения.This may require a networking solution for joining the Azure Batch compute nodes to the on-premises network, depending on our application's functionality.

Чтобы устранить любые проблемы с безопасностью, скоростью и надежностью подключений, рассмотрим подключение к локальной сети в Azure с помощью Azure ExpressRoute или VPN-шлюза.To mitigate any security, speed, and connection reliability concerns, consider connecting your on-premises network to Azure using Azure ExpressRoute or a VPN Gateway. После этого у вас может получиться локальный головной узел и кластер рабочих узлов на основе Azure, которые развертываются и свертываются при необходимости.From there, you may have your on-premises head node provision a cluster of Azure-based worker nodes, spinning them up and down as needed.

Наконец, возможно, вы будете готовы к полной миграции инфраструктуры вычислений рисков в Azure.Lastly, you may be ready for a complete migration of your risk compute infrastructure to Azure. Если это так, эта статья поможет приступить к миграции уже сегодня.If this is the case, here is an article to get you started today.

Представленные технологииTechnologies Presented

Пакетная служба Azure позволяет дополнить локальные рабочие узлы вычисления рисков путем динамического предоставления вычислительных ресурсов по требованию.Azure Batch enables augmenting on-premises risk computing worker nodes to dynamically provide compute resources based on demand.

Azure DataLake предоставляет возможности хранения, обработки и анализа по результатам оценки рисков.Azure DataLake provides storage, processing and analytics across for your risk analysis data.

Azure ExpressRoute расширяет вашу локальную сеть в Azure с помощью частного подключения, которое обеспечивается поставщиком услуг подключения.Azure ExpressRoute extends your on-premises network to Azure over a private connection facilitated by a connectivity provider.

Azure HDInsight — это полностью управляемый инструмент аналитики с открытым исходным кодом для обработки больших объемов данных, таких как данные, представленные для пакетной обработки в конце месяца.Azure HDInsight is a fully managed open-source analytics service to process massive amounts of data such as the data provided in month-end batch runs.

Пакет Microsoft HPC позволяет выполнять подготовку кластеров высокопроизводительных вычислительных систем для пакетной обработки.Microsoft HPC Pack enables provisioning High Performance Computing clusters for batch processing.

Power BI — это набор средств бизнес-аналитики для получения оценки рисков и передачи результатов.Power BI is a suite of business analytics tools risk analysts use to gain and share insights.

VPN-шлюз расширяет вашу локальную сеть в облако Azure через Интернет.VPN Gateway extends your on-premises network to the Azure cloud over the Internet.

ЗаключениеConclusion

Решения, рассмотренные в этой статье, позволяют обеспечить распределенные вычисления типа "решетка" для оценки рисков в банковской сфере.The solutions covered in this article are approaches to risk grid computing in banking. Учитывая широкие возможности продуктов и служб Azure, а также различные архитектуры существующих клиентских систем, вы можете использовать и другие архитектуры.Other architectures may be used given the rich capabilities of Azure products and services and the various existing client system architectures. Тем не менее пакетная служба предоставляет разумную модель распределенных вычислений рисков с учетом преимуществ, изложенных в этой статье.Even so, Batch provides a reasonable model for risk grid computing given the advantages laid out in this article.

Расширение локальной сети в Azure позволяет Azure легко получать доступ к сетевым ресурсам и другим системам обработки, уже присутствующим в локальной сети.Extending the on-premises network to Azure allows Azure easy access to network resources and other processing systems already present in the on-premises network. Когда срок службы локальных компьютеров начнет истекать, целесообразнее может оказаться полный перенос вычислительных процессов пакетной обработки в Azure вместо поддержания гибридной модели.When on-premises machines are reaching end of life, it may make more sense to use Batch compute entirely in Azure rather than supporting a hybrid model.

Отправка файлов в службу хранилища Azure перед началом пакетного задания — еще один способ воспользоваться преимуществами пакетной службы без необходимости в гибридной сети.Uploading files to Azure Storage before the Batch job begins is another way to take advantage of Batch without the need for a hybrid network. Этого можно добиться постепенно, а также путем запуска процесса для пакетной обработки.This could be done incrementally, or as a starting process to the Batch run.

После выбора стратегии подключения логично начать вычисления рисков с переноса существующих заданий на рабочие узлы вычислений Azure и запустить их в тестовой среде, чтобы увидеть, есть ли необходимость менять какой-либо код.After selecting a connectivity strategy, a logical place to start with risk compute is placing your existing jobs into Azure compute worker nodes and running them in a test environment to see if any code needs to be changed. В этой статье даны отправные точки для начала работы с пакетной службой Azure с использованием удобного языка или инструментария.This article provides a starting point for getting started with Azure Batch in the language or tool of your choice.

Руководство по решениям для распределенных вычислений типа "решетка" для рисков в банковской сфереRisk Grid Computing in Banking Solution Guide