Общие сведения об управлении данными в банковской сфереData Management in Banking Overview

ВведениеIntroduction

Сегодня банки несут ответственность за сбережение и хранение огромного количества ценной информации в своих брандмауэрах как о своих клиентах, так и об изменении финансовой ситуации.Banks today carry responsibility for securing and storing enormous amounts of valuable information within their firewalls, both about their customers and about the shifting financial landscape. Во многих случаях эта информация не используется, поскольку она труднодоступна или доступна для поиска, хотя использование данных может улучшить процесс принятия решений в рамках нескольких банковских операций.In many cases that information goes unused because it is not easily accessible or searchable, even though use of data could improve decision making across multiple banking activities.

С помощью этих данных банки могли быстрее находить информацию о том, кто рискует невыполнением обязательств по кредиту, или решить, какие корректировки по оценке патентных портфелей на рынке необходимы.With this data, banks could find information faster about who is at risk for defaulting on a loan or decide what market portfolio valuation adjustments are needed. Банки могли также иметь более четкое представление о том, как их данные хранятся и управляются в соответствии с нормативными требованиями, чтобы их можно было использовать, хранить, архивировать или удалять, чтобы соответствовать требованиям.Banks could also have a clearer view of how their data is stored and managed to meet regulatory requirements, so that data can be leveraged, retained, archived or deleted to comply.

С тысячами больших и малых решений, необходимых для удовлетворения ежедневных требований с точки зрения банковской функции, данные становятся все более важными.With thousands of decisions, large and small, required to meet every day banking function requirements, data becomes increasingly important. Но учитывая строгие требования и обязательства по финансовым преступлениям, банки должны иметь возможность проверять результаты любого процесса анализа данных, отследить весь путь обратно к исходной информации помещения в хранилище данных.Not only that, but given strict regulatory requirements and Financial Crime obligations, banks need the ability to audit the results of any data analysis process, all the way back to the initial information landing into a data repository. Прослеживаемость требует прозрачности от принятия до получения данных для дальнейших действий.Traceability requires transparency from ingestion to producing actionable data.

Чтобы управлять многими учетными записями или предприятиями, которые обслуживают банки, необходимо быстро и экономично оценить все эти данные.To manage the many accounts or businesses that banks are serving, they need to make sense of all this data rapidly and cost-effectively. Поскольку банки идут в ногу с цифровыми технологиями, объем данных и возможности использования их по-новому экспоненциально растут, что позволяет банкам разрабатывать новые бизнес-модели и области, ориентированные на клиента.As banks mature digitally, the amount of data and the opportunities to leverage that data in new ways is exponentially growing, enabling banks to pursue new business models and areas of customer-centric opportunities.

Наличие соответствующей стратегии хранения данных имеет ключевое значение для эффективности работы, хорошей производительности приложений и соответствия нормативным требованиям.Having the appropriate data storage strategy in place is key to operational efficiencies, good application performance, and regulatory compliance. Стратегия хранения данных также является исходной линией для получения данных в форматах, где ее можно использовать для бизнес-аналитики и принятия эффективных решений.The data storage strategy is also the initial lynchpin in getting data into formats where it can be used for business intelligence and actionable insights.

Ниже приводится общая схема управления данными:A common pattern to data management follows:

Процесс управления данными

В этой модели "Службы данных" описывают любое преобразование, объединение данных или любые другие операции с данными, отличные от архивирования.In this model, “Data Services” describes any transformation, joining of data, or any other data operations other than archiving. Это ключевое действие, необходимое для использования данных для принятия более обоснованных решений.This is the key activity needed to take advantage of the data to help make more informed decisions.

Все банки и финансовые учреждения принимают, перемещают и хранят данные.All banks and financial institutions ingest, move and store data. В этой статье основное внимание уделяется переносу данных на Azure и отходу от традиционного локального хранения, обработки, архивирования и удаления данных.This article focuses on bringing data to Azure and moving away from traditional on-premises data storage, processing, archiving, and deletion. Перемещая данные в Azure, банки и финансовые учреждения могут воспользоваться основными преимуществами, в том числе:By moving data to Azure, banks and financial institutions can take advantage of fundamental benefits including:

  • Контроль затрат за счет эффективного неограниченного глобального масштаба, используя вычислительные ресурсы и емкость данных только тогда, когда и где это необходимо.Cost control through effectively unlimited global scale, using compute resources and data capacity only when and where it is needed.

  • Сокращение капитальных затрат и затрат на управление посредством снятия с учета локальных физических серверов.Reduction of capital expenditure and management costs through retiring of physical servers on-premises.

  • Сокращение расходов и снижение сложности защиты данных благодаря встроенному резервному копированию и аварийному восстановлению.Integrated backup and disaster recovery, reducing the cost and complexity of data protection.

  • Автоматизированное архивирование холодных данных в хранилище с низкой стоимостью хранения при одновременном обеспечении соответствия требованиям.Automated archiving of cold data to low cost storage, while still ensuring compliance needs are met.

  • Доступ к передовым и интегрированным службам данных для обработки, обучения, прогнозирования, трансформации или других потребностей.Access to advanced and integrated data services to process data for learning, forecasting, transformation, or other needs.

В этой статье представлены рекомендуемые методы обеспечения эффективного доступа к данным Azure и методы управления основными данными, которые будут использоваться, когда они находятся в облаке.This article provides recommended techniques to ensure efficient data ingress to Azure and fundamental data management techniques to use once it is in the cloud.

Прием данныхData ingest

Финансовые учреждения будут иметь данные, которые уже собраны и используются для текущего приложения.Financial Institutions will have data that has already been collected and is being used by current applications. Существует несколько вариантов перемещения данных в Azure.There are several options for moving this data to Azure. Во многих случаях существующие приложения могут подключаться к данным в Azure, как если бы они были на месте, с минимальными изменениями в существующих приложениях.In many cases existing applications can connect to data in Azure as though it were on-premises, with minimal changes to those existing applications. Это особенно актуально при использовании Microsoft Azure SQL Database, но с помощью Azure Marketplace можно найти решения для Oracle, TeraData MongoDB и других.This is especially true when using Microsoft Azure SQL Database, but through the Azure Marketplace solutions can be found for Oracle, TeraData MongoDB and others.

Стратегии миграции данных существуют для перемещения данных из локальной среды в Azure и различной степени задержки.Different data migration strategies exist for moving data from on-premises to Azure and have varying degrees of latency. Все методы, упоминаемые ниже, обеспечивают прозрачность данных и надежную безопасность.All the techniques referenced below provide data transparency and reliable security.

Конечные точки службы виртуальной сетиVirtual Network (VNet) Service Endpoints

Безопасность является основной задачей при работе с финансовой информацией клиента.Security is a primary concern when dealing with customer financial information. Защита ресурсов (таких как база данных) в Azure часто зависит от настройки сетевой инфраструктуры внутри самой службы Azure и последующего доступа к этой сети через определенную конечную точку.The securing of resources (such as database) within Azure often depends on setting up a network infrastructure within Azure itself, and then accessing that network via a specific endpoint.

Прежде чем переносить данные в Azure, необходимо рассмотреть сетевую топологию, обеспечивающую как ваши ресурсы Azure, так и подключение к ним из локальной сети.Before transferring data to Azure, it is useful to consider the network topology securing both your Azure resources and the connection to them from on-premises. Конечные точки службы (VNet? WT.mc_id=bankdm-docs-dastarr) виртуальной сети обеспечивают защищенное прямое подключение к определенной виртуальной сети Azure.Virtual Network (VNet?WT.mc_id=bankdm-docs-dastarr) Service Endpoints provide a secured direct connection to an Azure defined VNet.

Виртуальные сети определяются в Azure для содержания ресурсов Azure в связанной виртуальной сети.VNets are defined in Azure to contain Azure resources within a bounded VNet. Конечная точка этой виртуальной сети обеспечивает безопасный доступ к вашим критически важным ресурсам службы Azure и только в определенной сети.An endpoint to that VNet then enables secure access to your critical Azure service resources and only to those on the defined VNet.

Репликация базы данных по методике "lift-and-shift"Database Lift and Shift

Модель переноса базы данных "lift-and-shift" является одним из наиболее распространенных сценариев использования базы данных SQL Azure.A “lift and shift” model of database migration is one of the most common scenarios for using Azure SQL Database. Она являет собою получение существующих локальных баз данных и их непосредственное перемещение в облако.Lift and shift simply means taking existing on-premises databases and moving them directly to the cloud. Для этого существуют следующие причины:Reasons to do this include the following:

  • Перемещение из текущего центра обработки данных, где цены выше или какая-либо другая причинаMove from a current datacenter where prices are higher or some other operational reason
  • Срок действия текущего локального оборудования базы данных SQL Server заканчивается, или приближается к концу срок службыCurrent on-premises SQL Server database hardware is expiring or nearing end-of-life
  • Поддержка для компании общей стратегии "перемещения в облако"To support a general “move to cloud” strategy for the company
  • Воспользуйтесь доступными преимуществами SQL Azure по аварийному восстановлениюTake advantage of SQL Azure’s availability and disaster recovery capabilities

В случае небольших баз данных на первом шаге приема данных обычно создается хранилище данных и структуры (например, таблицы), которые требуют использования Azure Portal, Azure CLI или Azure SDK.In the case of smaller databases, the first step of data ingestion is typically creating the datastores and structures (like tables) needed via the Azure Portal, Azure CLI, or the Azure SDK. Для этих небольших хранилищ данных следующие шаги могут выполняться специальным приложением, написанным для копирования правильных данных в соответствующее хранилище данных Azure.For these smaller data stores, the next steps may be performed by a custom application written to copy the right data to the appropriate Azure data storage. Для крупных миграций данных восстановление резервных копий в Azure обычно является самым быстрым маршрутом.For larger data migrations restoring backups in Azure is typically the fastest route.

Существует много быстрых и безопасных способов для передачи данных в Azure.There are many ways to transfer data securely and quickly into Azure. Дополнительные сведения о некоторых стандартных методах с преимуществами и недостатками каждого см. в этой статье .See this article for some standard techniques with advantages, and disadvantages of each.

Azure Database Migration ServiceAzure Database Migration Service

Служба миграции баз данных Microsoft Azure может использоваться для перемещения баз данных SQL Server в Azure.When lifting and shifting SQL Server databases the Microsoft Azure Database Migration Service can be used to move databases to Azure. Служба использует Помощника по миграции данных, чтобы ваша локальная база данных была совместима с функциями, предлагаемыми в Azure SQL.The service uses the Data Migration Assistant to ensure your on-premises database will be compatible with features offered in Azure SQL. Любые изменения, необходимые для миграции базы данных, зависят от вас.Any changes required before migrating the database is up to you. Кроме того, использование службы требует подключения к Интернету типа "сеть-сеть" между локальной сетью и Azure.Further, use of the service requires a Site-to-Site internet connection between the on-premises network and Azure.

Программа массового копирования для SQL ServerBulk Copy Program for SQL Server

Если сегодня SQL Server является локальным, и цель состоит в том, чтобы перейти к SQL Azure, еще одним замечательным методом является использование SQL Server Management Studio и утилиты BCP для перемещения данных в SQL Azure.If SQL Server is on-premises today and the goal is to move to SQL Azure, another great technique is to use SQL Server Management Studio and the BCP utility to move data into SQL Azure. После написания сценариев и создания баз данных Azure SQL с исходного сервера на предприятии, можно использовать BCP для быстрой передачи данных в SQL Azure.After scripting and creating Azure SQL databases from the original on-premises server, BCP can be used to rapidly transfer data into SQL Azure.

Хранилище BLOB-объектов и файловBlob and File storage

Отдельные филиалы банка часто имеют свои собственные хранилища на локальных серверах.Individual bank branches often have their own file stores on local on-premises servers. Это может вызвать проблемы обмена файлами между филиалами и в результате не иметь ни единого источника для данного файла.This can cause problems with file sharing between branches and result in having no single source of truth for a given file. Хуже того, в учреждениях может быть "официальное" хранилище файлов, которое имеет доступ к филиалу, но возникают проблемы со связью или с доступом к файловому ресурсу.Even worse, the institution may have an “official” file store that branches access, but have intermittent connectivity or other problems accessing the file share.

Azure предлагает службы, помогающие устранить эти проблемы.Azure has services to help mitigate these problems. Перемещение этих данных в Azure обеспечивает единый источник для всех данных и универсально доступное хранилище с централизованными разрешениями и элементами управления доступом.Moving this data into Azure provides a single source of truth for all data and universally accessible storage with centralized permissions and access controls.

Решения хранения данных больше подходят для конкретных форматов данных.Different data storage solutions may be more suitable for specific data formats. Например, данные, хранящиеся локально в SQL Server, лучше всего подходят для Azure SQL.For example, data stored on-premises in SQL Server is likely best suited for Azure SQL. Данные, хранящиеся в файлах .csv или Excel, скорее всего, подходят для хранилища Blob-объектов Azure или хранилища файлов Azure, которые реализованы поверх службы.Data stored in .csv or Excel files is likely best suited for Azure Blob storage or Azure Files storage, which is implemented on top of the Blob service.

Почти все данные, поступающие и исходящие из службы Azure, проходят через хранилище Blob-объектов как часть процесса движения данных.Almost all data flowing in and out of Azure goes through Blob storage as some part of the data’s movement. Хранилище BLOB-объектов имеет следующие основные принципы.Blob storage has the following pillars.

  • Надежность и доступностьDurable & Available
  • Безопасность и совместимостьSecure & Compliant
  • Управляемость и экономическая эффективностьManageable & Cost efficient
  • Масштабируемость и высокая производительностьScalable & Performant
  • Открытость и возможность взаимодействияOpen & Interoperable

Подключение всех филиалов к одному и тому же файловому ресурсу в Azure часто осуществляется через существующий центр обработки данных банка, как показано на рис. 1.Connecting all branches to the same file share in Azure is often done through the bank’s existing datacenter as shown in Figure 1. Корпоративный центр обработки данных подключается к хранилищу файлов через соединение SMB (Server Message Block).The corporate data center connects to Files storage through an SMB (Server Message Block) connection. Логично и с точки зрения сети сайта общий ресурс файла может находиться в корпоративном центре обработки данных и может быть установлен как любой другой сетевой файловый ресурс.Logically, and from the site network’s point of view, the file share can be in the corporate datacenter and can be mounted as any other networked file share. При использовании этого метода данные шифруются при хранении и во время транспортировки между центром обработки данных и Azure.When using this technique, data is encrypted at rest and during transport between the data center and Azure.

Общий доступ к логическим файлам

На рисунке 1Figure 1

Предприятия часто используют хранилище файлов для консолидации и защиты больших объемов файлов.Enterprises often use Files storage to consolidate and secure large volumes of files. Это позволяет прекратить использование старых файловых серверов или повторно назначить оборудование.This allows retiring old file servers or re-purposing the hardware. Еще одним преимуществом перехода на хранилище файлов является централизация служб управления данными и восстановления.Another advantage of moving to Files storage is to centralize data management and recovery services.

Azure Data BoxAzure Data Box

Зачастую банки будут иметь терабайты, если не петабайты информации для переноса в Azure.Often, banks will have terabytes, if not petabytes, of information to bring into Azure. К счастью, хранилища данных в Azure очень эластичны и масштабируемы.Luckily data stores in Azure are very elastic and highly scalable.

Azure Data Box — служба, ориентированная на перенос очень больших объемов данных в Azure.A service focused on migrating very large volumes of data to Azure is Azure Data Box. Эта служба предназначена для переноса данных без передачи или для резервного копирования через подключение к Azure.This service is designed to migrate data without transferring data or backups over an Azure connection. Устройство Azure Data Box подходит для терабайтов данных, его можно заказать на портале Azure.Suitable for terabytes of data, Azure Data Box is an appliance that can be ordered from the Azure Portal. Он будет отправлен в ваше расположение, где его можно подключить к сети и загрузить данные по стандартным протоколам NAS и закрепить через шифрование standard256-AES.It is shipped to your location, where it can be connected to your network and loaded with data via standard NAS protocols and secured via standard256-AES encryption. После того как данные попадают на устройство, оно отправляется обратно в центр обработки данных Azure, где данные будут расконсервированы.Once the data is on the appliance, it is shipped back to the Azure Data Center where the data is hydrated in Azure. Затем устройство безопасно удаляется.The device is then securely erased.

Azure Information ProtectionAzure Information Protection

Azure Information Protection (AIP) — это облачное решение, помогающее организациям классифицировать, отмечать и защищать документы и сообщения электронной почты.Azure Information Protection (AIP) is a cloud-based solution helping organizations to classify, label, and protect its documents and emails. Это можно сделать автоматически с помощью администраторов, которые определяют правила и условия, вручную (самими пользователями) или сочетая два этих подхода, когда пользователи получают рекомендации.This can be done automatically by administrators who define rules and conditions, manually by users, or a combination where users are given recommendations.

Службы данныхData services

Банки имеют проблемы с управлением основными данными, метаданные конфликтуют из-за разрозненных основных банковских систем, а данные, поступающие от систем происхождения, бортовых систем, предлагают системы управления, системы CRM и многое другое.Banks struggle with Master Data Management, meta data conflicting due to disparate core banking systems, and data coming from origination systems, onboarding systems, offers management systems, CRM systems, and more. В Azure есть средства, которые помогут устранить эти и другие распространенные проблемы с данными.Azure has tools to help mitigate thesee and other commonly occurring data issues.

Существует много организаций по предоставлению финансовых услуг и операций, которые выполняют действия со своими данными.There are many operations financial services organizations need to perform on their data. При записи данных в хранилища Azure может потребоваться преобразование этих данных или объединение их с другими данными, которые дополняют происходящее.When writing data to Azure data stores, there may be a need to transform that data or to join it with other data that augments what is being ingested.

Фабрика данных AzureAzure Data Factory

Фабрика данных Azure для Microsoft — это полностью управляемая служба для приема, обработки и наблюдения за перемещением данных в конвейере Фабрики данных.Microsoft Azure Data Factory is a fully managed service to help with ingress, processing, and monitoring data movement in a Data Factory pipeline. Действия Фабрики данных образуют структуру управления конвейера данных.Data Factory activities form the structure of the data management pipeline.

Фабрика данных позволяет преобразовывать или изменять данные, пока они передаются в Azure, а также между другими службами Azure.Data Factory enables transformation or augmentation of data as it flows into Azure and between other Azure services. Фабрика данных — это управляемая облачная служба, созданная для сложных гибридных проектов извлечения, преобразования и загрузки (или извлечения, загрузки и преобразования) и интеграции данных.Data Factory is a managed cloud service that's built for complex hybrid extract-transform-load (ETL), extract-load-transform (ELT), and data integration projects.

Например, данные могут использоваться в аналитических конвейерах или средствах, которые приводят к ценной практической информации.For example, data may be fed into analytics pipelines or tools that result in actionable insights. Данные могут входить в решение для машинного обучения или быть преобразованы в другой формат для последующей обработки.Data may flow into a machine learning solution or be transformed to another format for later downstream processing. Примером является преобразование CSV-файлов в файлы паркета, которые лучше подходят для систем машинного обучения и хранения этих паркетных файлов в хранилище BLOB-объектов.An example is converting .csv files to parquet files, which are better suited for machine learning systems, and storing those parquet files in Blog storage.

Данные также могут быть отправлены в нисходящий поток с помощью служб вычислений, например, Azure HDInsight, Spark, Azure Data Lake Analytics и машинного обучения Azure.Data may also be submitted to downstream compute services such as such as Azure HDInsight, Spark, Azure Data Lake Analytics, and Azure Machine Learning. Это позволяет напрямую подавать системы, которые приводят к анализу и интеллектуальной отчетности.This allows directly feeding systems which result in analysis and intelligent reporting. Одна общая модель для входа данных показана ниже на рис. 2.One common model for data ingress is shown in Figure 2 below. Данные хранятся в общем хранилище Data Lake, которое будет использоваться службами аналитики в нисходящем направлении.The data is held in a common Data Lake to be used by downstream analytics services.

Модель приема Data Lake

Рис. 2Figure 2

Конвейеры Фабрики данных состоят из действий, которые принимают и выдают наборы данных.Data Factory pipelines are composed of activities, which take in and output datasets. Действия можно объединять в конвейер, определяющий, где необходимо получить данные, как обрабатывать и где нужно хранить результаты.Activities can be assembled into a pipeline defining where you want to get your data, how you want it processed, and where you want to store the results. Сборка конвейеров с действиями — это сердце Фабрики данных, а составление визуальной схемы прямо на портале Azure позволяет создавать конвейеры проще.Building pipelines with activities is the heart of Data Factory and composing a visual workflow right in the Azure Portal makes creating pipelines easy. Полный список действий см. здесь.See here for a complete listing of activities.

Azure DatabricksAzure Databricks

Azure Databricks — это высокопроизводительная платформа Azure на основе Apache Spark.Azure Databricks is a managed Apache Spark based analytics platform in Azure. Она обладает высокой масштабируемостью, а задания Spark работают на таких больших кластерах машин, насколько это необходимо.It is highly scalable and Spark jobs run on machine clusters as large as needed. Databricks работает с Notebook, который обеспечивает единое место сотрудничества между аналитиками данных, инженерами-разработчиками данных и бизнес-аналитиками.Databricks works from a Notebook which provides a single place of collaboration between data scientists, data engineers, and business analysts.

Databricks является логическим конвейером обработки, когда требуется преобразование или анализ данных.Databricks is a logical processing pipeline when data transformation or analysis is needed. Его можно напрямую подавать с помощью Фабрики данных для сценариев машинного обучения, где важно время для получения сведений или для простого преобразования.It can be fed directly by Data Factory for machine learning scenarios where time-to-insight is critical, or for simple file transformations.

Databricks

Архивация данныхArchiving data

Когда данные больше не нужны в активном хранилище, они могут быть заархивированы в соответствии с целями соблюдения или аудита с государственными и местными правилами банковского обслуживания.When data is no longer needed in an active data store, it can be archived due for compliance or audit trail purposes in accordance with state and local banking regulations. Azure имеет параметры, доступные для хранения редко используемых данных.Azure has options available for storage of infrequently accessed data. Часто возникают проблемы с конфиденциальностью данных, которые требуют хранения данных в течение многих лет.There are often privacy issues with data that require keeping data in storage for years.

Стоимость хранения данных может быть высокой, особенно при хранении в локальных базах данных.The costs of storing data can be high, particularly when storing in on-premises databases. К этим базам данных иногда предоставляется доступ, но только для записи новых архивных данных или для очистки от данных, которые больше не нужны в архиве.These databases are sometimes accessed infrequently and only to write new archived data or rid the database of data no longer wanted in the archive. Нечастый доступ к локальным машинам означает повышение общей стоимости использования оборудования.The infrequent access to on-premises machines means higher total cost of ownership of the hardware.

Архивное хранилище AzureAzure Archive storage

Для неструктурированных данных, таких как файлы или изображения, Azure предлагает несколько уровней хранилища для хранилища BLOB-объектов, в том числе "Горячий", "Холодный" и "Архивный".For unstructured data such as files or images, Azure offers several tiers of storage for Blob storage including hot, cool, and archive. Уровень доступа "Горячий" предназначен для активных и наиболее эффективных данных, которые будут использоваться в приложениях.The hot access tier is for data that is active and expected to be most performant and in use in applications. Уровень доступа "Холодный" предназначен для краткосрочных резервных копий и наборов данных аварийного восстановления, а также для данных, редко доступных для приложения.The cool access tier is for short-term backup and disaster recovery datasets, as well as for data available to an application but is rarely accessed. Уровень доступа "Архивный" имеет наименьшие затраты и предназначен для данных, которые находятся в автономном режиме.The archive tier has the lowest cost and is intended for data that is offline.

Данные уровня "Архивный" могут быть перемещены в "Холодный" или "Горячий" уровень, но для выполнения этого действия может потребоваться несколько часов.Archive tier data can be rehydrated into the cool or hot tiers, but this action may take several hours to complete. Архивное хранилище может быть целесообразным,если данные не будут доступны в течение как минимум 180 дней.Archive storage may be appropriate if your data isn’t going to be accessed for at least 180 days. Когда большой двоичный объект находится в архивном хранилище, его нельзя прочитать, но могут быть выполнены такие операции, как построение списка, удаление и получение метаданных.When a blob is in archive storage, it cannot be read, but other existing operations may be performed such as list, delete, and retrieving metadata. Уровень доступа "Архивный" является наименее затратным уровнем данных для хранения BLOB-объектов.The archive data tier is the least expensive data tier for blob storage.

Принципы работы долгосрочного хранения базы данных SQLAzure SQL Database long-term retention

При использовании Azure SQL выполняется долгосрочное хранения резервных копий службы для хранения резервных копий до десяти лет.When using Azure SQL, there is a long-term backup retention service for storing backups up to ten years. Пользователи могут планировать резервное копирование, которое нужно хранить долгосрочно, таким образом резервная копия будет сохранена в течение нескольких недель, месяцев или даже лет.Users can schedule backups to be retained for long-term storage such that the backup will be retained for weeks, months, or even years.

Восстановление базы данных из хранилища долгосрочного хранения (LTR) можно выполнить, выбрав необходимую резервную копию по метке времени.To restore a database from long-term storage, select a specific backup based on its timestamp. Базу данных можно восстановить на доступный сервер с той же подпиской, что и у исходной базы данных.The database can be restored to an existing server under the same subscription as the original database.

Удаление нежелательных данныхDeleting unwanted data

Чтобы сохранение данных оставалось в соответствии с банковскими правилами или политикой, необходимо часто удалять данные, которые больше не нужны.To remain compliant with banking regulations or policies regarding data retention, data must often be deleted when it is no longer wanted. Прежде чем внедрять техническое решение для этих нежелательных данных, важно иметь план локальной чистки без нарушения политик.Before implementing a technical solution for this unwanted data, it is important to have a purge plan in place so agreed upon policies are not violated. Данные могут быть удалены из архива или других хранилищ данных Azure в любое время.Data may be deleted from archive or any other data stores in Azure at any time.

Эффективная стратегия удаления нежелательных данных заключается в том, чтобы сделать это с интервалом (по ночам или еженедельно).An effective strategy for deleting unwanted data is to do so on an interval, nightly or weekly being the most common. Для выполнения этого задания также можно записать Функцию Azure, которая активирует время.A time triggered Azure Function can be written to perform this job well. Если вы удалите данные, Microsoft Azure удалит их, включая все сохраненные в кэше или резервные копии.If you delete any data, Microsoft Azure deletes the data, including any cached or backup copies.

Приступая к работеGetting Started

Существует множество способов начать работу на основе текущего использования и зрелости используемых моделей данных.There are many ways to get started based on the current usage and maturity of the data models used today. Во всех случаях это идеальное время для анализа хранения, обработки и хранения модели, необходимой для каждого хранилища данных.In all cases, it is a perfect time to review the data storage, processing, and the retention model needed per data store. Это имеет решающее значение для создания систем управления данными в сценариях соответствия нормативным требованиям.This is critical in building data management systems in regulatory compliance scenarios. Облако предоставляет новые возможности здесь, которые в настоящее время локально недоступны.The cloud provides new opportunities here, that are not currently available on-premises. Это может означать обновление существующих моделей данных, которые у вас могут быть.This may mean updates to existing data models you may have.

После настройки новой модели данных определите стратегию приема данных.Once you are comfortable with new data model, determine your data ingestion strategy. Какие источники данных существуют?What data sources are there? Где будет располагаться данные в Azure?Where will the data live in Azure? Как и когда они перемещаются в Azure?How and when will it be moved into Azure? Существует множество ресурсов, доступных для миграции на основе типа содержимого, размера и многого другого.There are many resources available here to help migrate based on the content type, size and more. Одним из таких примеров является служба миграции данных Azure.The Azure Data Migration Service is one such example.

После размещения данных в Azure создайте план очистки для данных, которые стали бесполезными, или их срок действия истек.Once your data is hosted in Azure, create a data purge plan for data that has outlived its usefulness or lifespan. В то время как долгосрочное (холодное) хранилище всегда является отличным вариантом для архивирования, очистка данных с истекшим сроком действия снижает затраты на место и общую стоимость хранения.While long-term (cold) storage is always a great option for archiving, clean-up of expired data reduces footprint and overall storage costs. Резервное копирование и архивирование Архитектуры решений Azure является хорошим ресурсом, помогающим спланировать общую стратегию.Backup and archive Azure solution architectures is a good resource to help plan your overall strategy.

Соответствующие технологииRelevant Technologies

  • Функции Azure — это небольшие программы и серверные сценарии, которые могут запускаться в ответ на системное событие или таймер.Azure Functions are serverless scripts and small programs that can run in response to a system event or on a timer.

  • Средства клиента хранилища Azure — это средства для доступа к хранилищам данных, которые включают гораздо больше возможностей, чем портал Azure.Azure Storage Client Tools are tools to access data stores and include far more than the Azure portal.

  • Хранилище BLOB-объектов подходит для хранения файлов, таких как текст или изображения и другие виды неструктурированных данных.Blob storage is suitable to store files like text or images and other types of unstructured data.

  • Databricks — это полностью управляемая служба, которая предлагает простую реализацию кластера Spark.Databricks is a fully managed service offering easy implementation of a Spark cluster.

  • Фабрика данных являет собой облачную службу интеграции данных для объединения служб хранения, перемещения и обработки данных в автоматизированные конвейеры данных.Data Factory is a cloud data integration service used to compose data storage, transit, and processing services into automated data pipelines

ЗаключениеConclusion

С быстрым изменением цифровых технологий банковской и финансовой индустрии клиенты все чаще обращаются к партнерам и решениям, которые они могут использовать без замедления.With the rapid change of the digital landscape for the banking and financial industry, customers are increasingly looking to solutions and partners they can immediately utilize with no slow ramp up time. По мере того, как потребление данных увеличивается экспоненциально, банкам нужны быстрые, инновационные и безопасные способы хранения, анализа и использования важных данных.As data ingestion increases exponentially, banks are needing fast, innovative and secure ways to store, analyze and use their important data.

Azure может помочь в приеме, обработке, архивировании и удалении данных с использованием нескольких технологий и стратегий.Azure can help data ingestion, processing, archiving and deletion requirements using several technologies and strategies. Прием данных в Azure является простым, и различные хранилища данных доступны для хранения данных в зависимости от типа, структуры и т. д. Решения для данных доступны помимо SQL Server и SQL Azure для включения сторонних баз данных.Ingesting data into Azure is simple and various data stores are available to store data depending on its type, structure, etc. Data solutions are available beyond SQL Server and SQL Azure to include 3rd party databases.

Работа с этими данными и их действие могут быть простыми, если использовать сервисы Azure, такие как Databricks и Data Factory.Operating and acting on that data can be simple using Azure services like Databricks and Data Factory. Архивное хранилище доступно для долговременного хранения редко используемых данных, и оно может быть удалено в последовательном цикле при необходимости.Archival storage is available for long-term storage of rarely-accessed data and it can be deleted on a rolling cycle as needed.

Чтобы приступить к разработке плана управления данных, посетите библиотеку резервного копирования и архивного хранилища Azure.Visit the Azure solutions library for backup and archival storage to get started designing your data management plan.

Статья подготовлена Говардом Бушем (Howard Bush) и Дэвидом Старром (David Starr)Article by: Howard Bush and David Starr