Vue d’ensemble de la gestion des données dans le secteur bancaireData Management in Banking Overview

IntroductionIntroduction

De nos jours, les banques sont responsables de la sécurisation et du stockage d’importants volumes de données précieuses derrière leurs pare-feu. Ces données concernent aussi bien leurs clients que l’environnement financier en perpétuel changement.Banks today carry responsibility for securing and storing enormous amounts of valuable information within their firewalls, both about their customers and about the shifting financial landscape. La plupart du temps, ces données ne sont pas utilisées en raison de leur difficulté d’accès ou de recherche, alors qu’elles pourraient améliorer la prise de décisions dans de multiples activités du secteur bancaire.In many cases that information goes unused because it is not easily accessible or searchable, even though use of data could improve decision making across multiple banking activities.

Ces données permettraient aux banques de trouver plus rapidement des informations sur les personnes susceptibles de ne pas pouvoir rembourser un prêt ou encore de décider des ajustements d’évaluation du portefeuille sur le marché nécessaires.With this data, banks could find information faster about who is at risk for defaulting on a loan or decide what market portfolio valuation adjustments are needed. Les établissements bancaires pourraient également avoir un aperçu plus clair de la manière dont sont stockées et gérées leurs données pour répondre aux exigences réglementaires, de façon que les données puissent être exploitées, conservées, archivées ou supprimées à des fins de conformité.Banks could also have a clearer view of how their data is stored and managed to meet regulatory requirements, so that data can be leveraged, retained, archived or deleted to comply.

Avec des milliers de décisions, plus ou moins importantes, nécessaires pour répondre à toutes les exigences de la fonction bancaire au quotidien, les données gagnent en importance.With thousands of decisions, large and small, required to meet every day banking function requirements, data becomes increasingly important. En outre, avec les exigences réglementaires strictes et les obligations relatives à la criminalité financière, les banques doivent être en mesure d’auditer les résultats de tous les processus d’analyse de données, en remontant jusqu’aux informations fournies initialement et se trouvant dans un référentiel de données.Not only that, but given strict regulatory requirements and Financial Crime obligations, banks need the ability to audit the results of any data analysis process, all the way back to the initial information landing into a data repository. La traçabilité requiert de la transparence depuis l’ingestion jusqu’à la génération de données exploitables.Traceability requires transparency from ingestion to producing actionable data.

Pour gérer leurs nombreux comptes ou activités, les banques doivent comprendre toutes ces données de façon rapide et rentable.To manage the many accounts or businesses that banks are serving, they need to make sense of all this data rapidly and cost-effectively. À mesure que les banques effectuent leur transition numérique, la quantité de données et les opportunités de les exploiter de toutes autres façons augmentent de manière exponentielle. Cela permet aux banques de définir de nouveaux modèles métier et de nouvelles opportunités centrées sur le client.As banks mature digitally, the amount of data and the opportunities to leverage that data in new ways is exponentially growing, enabling banks to pursue new business models and areas of customer-centric opportunities.

Avoir la stratégie de stockage de données appropriée en place est essentiel pour jouir d’une efficacité opérationnelle, de bonnes performances d’application et d’une conformité réglementaire.Having the appropriate data storage strategy in place is key to operational efficiencies, good application performance, and regulatory compliance. La stratégie de stockage de données est également le pilier initial pour obtenir des données dans des formats qui peuvent être utilisés dans le cadre de la prise de décisions et d’insights exploitables.The data storage strategy is also the initial lynchpin in getting data into formats where it can be used for business intelligence and actionable insights.

Vous trouverez ci-après un modèle courant de gestion des données :A common pattern to data management follows:

Flux de gestion des données

Dans ce modèle, « Services de données » décrit toute transformation (jointure de données) ou opération de données autre que l’archivage.In this model, “Data Services” describes any transformation, joining of data, or any other data operations other than archiving. Il s’agit de l’activité clé nécessaire pour exploiter les données et ainsi prendre des décisions plus éclairées.This is the key activity needed to take advantage of the data to help make more informed decisions.

Toutes les banques et institutions financières ingèrent, déplacent et stockent des données.All banks and financial institutions ingest, move and store data. Cet article porte sur l’importation de données vers Azure et décrit comment s’écarter de l’approche classique de stockage, de traitement, d’archivage et de suppression des données en local.This article focuses on bringing data to Azure and moving away from traditional on-premises data storage, processing, archiving, and deletion. En déplaçant les données vers Azure, les banques et institutions financières peuvent profiter d’avantages fondamentaux, notamment :By moving data to Azure, banks and financial institutions can take advantage of fundamental benefits including:

  • Contrôle des coûts via une mise à l’échelle globale illimitée en utilisant des ressources de calcul et la capacité des données quand et où cela est nécessaire.Cost control through effectively unlimited global scale, using compute resources and data capacity only when and where it is needed.

  • Réduction des dépenses en capital et des coûts de gestion via la mise hors service des serveurs physiques en local.Reduction of capital expenditure and management costs through retiring of physical servers on-premises.

  • Sauvegarde et récupération d’urgence intégrées, ce qui réduit le coût et la complexité de la protection des données.Integrated backup and disaster recovery, reducing the cost and complexity of data protection.

  • Archivage automatisé des données brutes dans un stockage à faible coût tout en garantissant le respect des exigences de conformité.Automated archiving of cold data to low cost storage, while still ensuring compliance needs are met.

  • Accès aux services de données intégrés et avancés pour traiter des données à des fins de formation, prévision, transformation ou autres.Access to advanced and integrated data services to process data for learning, forecasting, transformation, or other needs.

Cet article présente des techniques recommandées pour assurer l’entrée efficace des données dans Azure, ainsi que des techniques de gestion des données fondamentales à utiliser une fois les données dans le cloud.This article provides recommended techniques to ensure efficient data ingress to Azure and fundamental data management techniques to use once it is in the cloud.

Ingestion des donnéesData ingest

Les institutions financières auront des données préalablement collectées et utilisées par les applications actuelles.Financial Institutions will have data that has already been collected and is being used by current applications. Plusieurs options s’offrent à vous pour déplacer ces données vers Azure.There are several options for moving this data to Azure. La plupart du temps, les applications existantes peuvent se connecter aux données dans Azure comme si elles se trouvaient en local, sans que de nombreuses modifications soient appliquées.In many cases existing applications can connect to data in Azure as though it were on-premises, with minimal changes to those existing applications. C’est particulièrement vrai lorsque vous utilisez Microsoft Azure SQL Database, mais des solutions peuvent être trouvées pour Oracle, TeraData, MongoDB, etc. via la Place de marché Microsoft Azure.This is especially true when using Microsoft Azure SQL Database, but through the Azure Marketplace solutions can be found for Oracle, TeraData MongoDB and others.

Des stratégies de migration de données différentes existent pour déplacer des données en local vers Azure, et celles-ci présentent différents degrés de latence.Different data migration strategies exist for moving data from on-premises to Azure and have varying degrees of latency. Toutes les techniques référencées ci-après garantissent la transparence des données et la sécurité.All the techniques referenced below provide data transparency and reliable security.

Points de terminaison de service de réseau virtuelVirtual Network (VNet) Service Endpoints

La sécurité est une préoccupation essentielle lors du traitement des données financières des clients.Security is a primary concern when dealing with customer financial information. La sécurisation des ressources (telles que la base de données) au sein d’Azure dépend souvent de la configuration d’une infrastructure réseau dans Azure, puis de l’accès au réseau via un point de terminaison spécifique.The securing of resources (such as database) within Azure often depends on setting up a network infrastructure within Azure itself, and then accessing that network via a specific endpoint.

Avant de transférer des données vers Azure, il est utile de prendre en compte la topologie de réseau qui sécurise vos ressources Azure et leur connexion depuis le site local.Before transferring data to Azure, it is useful to consider the network topology securing both your Azure resources and the connection to them from on-premises. Les points de terminaison de service de réseau virtuel (VNet?WT.mc_id=bankdm-docs-dastarr) fournissent une connexion directe sécurisée à un réseau virtuel Azure défini.Virtual Network (VNet?WT.mc_id=bankdm-docs-dastarr) Service Endpoints provide a secured direct connection to an Azure defined VNet.

Les réseaux virtuels sont définis dans Azure pour héberger les ressources Azure au sein d’un réseau virtuel délimité.VNets are defined in Azure to contain Azure resources within a bounded VNet. Un point de terminaison vers ce réseau virtuel permet un accès sécurisé à vos ressources de service Azure critiques et uniquement à celles sur le réseau virtuel défini.An endpoint to that VNet then enables secure access to your critical Azure service resources and only to those on the defined VNet.

Lift-and-shift de base de donnéesDatabase Lift and Shift

Un modèle « lift-and-shift » de migration de base de données est l’un des scénarios les plus courants d’utilisation d’Azure SQL Database.A “lift and shift” model of database migration is one of the most common scenarios for using Azure SQL Database. Lift-and-shift signifie simplement importer les bases de données locales existantes directement dans le cloud.Lift and shift simply means taking existing on-premises databases and moving them directly to the cloud. Vous trouverez ci-dessous les raisons pour lesquelles cette opération est effectuée :Reasons to do this include the following:

  • Déplacement des données d’un centre de données existant où les prix sont plus élevés ou pour toute autre raison opérationnelleMove from a current datacenter where prices are higher or some other operational reason
  • Expiration ou fin de vie proche du matériel de base de données SQL Server localCurrent on-premises SQL Server database hardware is expiring or nearing end-of-life
  • Prise en charge d’une stratégie générale de « déplacement vers le cloud » pour l’entrepriseTo support a general “move to cloud” strategy for the company
  • Utilisation des fonctionnalités de récupération d’urgence et de disponibilité de SQL AzureTake advantage of SQL Azure’s availability and disaster recovery capabilities

Pour les bases de données plus petites, la première étape d’ingestion des données crée généralement les magasins de données et les structures (comme les tables) nécessaires via le portail Azure, Azure CLI ou le Kit de développement logiciel (SDK) Azure.In the case of smaller databases, the first step of data ingestion is typically creating the datastores and structures (like tables) needed via the Azure Portal, Azure CLI, or the Azure SDK. Pour ces magasins de données plus petits, les étapes suivantes peuvent être effectuées par une application personnalisée écrite pour copier les données appropriées dans le stockage de données Azure qui convient.For these smaller data stores, the next steps may be performed by a custom application written to copy the right data to the appropriate Azure data storage. Pour les migrations de données plus volumineuses, la méthode la plus rapide consiste généralement à restaurer les bases de données dans Azure.For larger data migrations restoring backups in Azure is typically the fastest route.

De nombreuses options s’offrent à vous pour transférer des données dans Azure de façon rapide et sûre.There are many ways to transfer data securely and quickly into Azure. Consultez cet article pour découvrir certaines techniques standard, ainsi que leurs avantages et inconvénients.See this article for some standard techniques with advantages, and disadvantages of each.

Azure Database Migration ServiceAzure Database Migration Service

Lorsque vous effectuez une opération lift-and-shift sur les bases de données SQL Server, Microsoft Azure Database Migration Service peut être utilisé pour déplacer les bases de données vers Azure.When lifting and shifting SQL Server databases the Microsoft Azure Database Migration Service can be used to move databases to Azure. Le service fait appel à l’Assistant Migration de données pour garantir la compatibilité de votre base de données locale avec les fonctionnalités offertes par Azure SQL.The service uses the Data Migration Assistant to ensure your on-premises database will be compatible with features offered in Azure SQL. C’est à vous de décider si des modifications doivent être appliquées avant la migration de la base de données.Any changes required before migrating the database is up to you. En outre, l’utilisation du service requiert une connexion internet de site à site entre le réseau local et Azure.Further, use of the service requires a Site-to-Site internet connection between the on-premises network and Azure.

Programme de copie en bloc pour SQL ServerBulk Copy Program for SQL Server

Si SQL Server est actuellement en local et que l’objectif est de le déplacer vers SQL Azure, nous vous recommandons d’utiliser SQL Server Management Studio et l’utilitaire BCP pour déplacer les données vers SQL Azure.If SQL Server is on-premises today and the goal is to move to SQL Azure, another great technique is to use SQL Server Management Studio and the BCP utility to move data into SQL Azure. Après avoir écrit les scripts et créé les bases de données Azure SQL à partir du serveur local d’origine, BCP peut être utilisé afin de transférer rapidement les données vers Azure SQL.After scripting and creating Azure SQL databases from the original on-premises server, BCP can be used to rapidly transfer data into SQL Azure.

Stockage de fichiers et d’objets blobBlob and File storage

Chaque agence bancaire a souvent ses propres serveurs locaux et magasins de fichiers.Individual bank branches often have their own file stores on local on-premises servers. Des problèmes peuvent alors se poser lors du partage de fichiers entre les agences, et aucune source unique fiable n’est disponible pour un fichier donné.This can cause problems with file sharing between branches and result in having no single source of truth for a given file. Pire encore, l’établissement peut avoir un magasin de fichiers « officiel » auquel les agences ont accès, mais celles-ci ont une connectivité intermittente ou rencontrent d’autres problèmes pour accéder au partage de fichiers.Even worse, the institution may have an “official” file store that branches access, but have intermittent connectivity or other problems accessing the file share.

Azure propose des services pour aider à atténuer ces problèmes.Azure has services to help mitigate these problems. Le déplacement de ces données dans Azure fournit une source unique fiable pour toutes les données, ainsi qu’un stockage universellement accessible avec des autorisations et contrôles d’accès centralisés.Moving this data into Azure provides a single source of truth for all data and universally accessible storage with centralized permissions and access controls.

Diverses solutions de stockage des données peuvent être mieux adaptées à certains formats de données.Different data storage solutions may be more suitable for specific data formats. Par exemple, Azure SQL convient probablement davantage aux données stockées en local dans SQL Server.For example, data stored on-premises in SQL Server is likely best suited for Azure SQL. Les données enregistrées au format .csv ou les fichiers Excel correspondent probablement plus à un stockage Blob Azure ou à un stockage Azure Files, implémenté sur le service BLOB.Data stored in .csv or Excel files is likely best suited for Azure Blob storage or Azure Files storage, which is implemented on top of the Blob service.

Presque toutes les données entrant et sortant d’Azure transitent par le stockage Blob Azure au cours de l’opération de déplacement des données.Almost all data flowing in and out of Azure goes through Blob storage as some part of the data’s movement. Le stockage Blob Azure repose sur les piliers suivants.Blob storage has the following pillars.

  • Durabilité et disponibilitéDurable & Available
  • Sécurité et conformitéSecure & Compliant
  • Facilité de gestion et rentabilitéManageable & Cost efficient
  • Évolutivité et performanceScalable & Performant
  • Ouverture et interopérabilitéOpen & Interoperable

La connexion de toutes les agences au même partage de fichiers dans Azure est souvent réalisée via le centre de données existant de la banque, comme illustré à la Figure 1.Connecting all branches to the same file share in Azure is often done through the bank’s existing datacenter as shown in Figure 1. Le centre de données d’entreprise se connecte au stockage Azure Files via une connexion SMB (Server Message Block).The corporate data center connects to Files storage through an SMB (Server Message Block) connection. Logiquement, du point de vue du réseau du site, le partage de fichiers peut se trouver dans le centre de données d’entreprise et être monté comme tout autre partage de fichiers en réseau.Logically, and from the site network’s point of view, the file share can be in the corporate datacenter and can be mounted as any other networked file share. Lorsque vous utilisez cette technique, les données sont chiffrées au repos et pendant le transfert entre le centre de données et Azure.When using this technique, data is encrypted at rest and during transport between the data center and Azure.

Partage de fichiers logique

La figure 1Figure 1

Les entreprises utilisent souvent le stockage Azure Files pour renforcer et sécuriser d’importants volumes de fichiers.Enterprises often use Files storage to consolidate and secure large volumes of files. Cela permet de mettre hors service les anciens serveurs de fichiers ou de réaffecter le matériel.This allows retiring old file servers or re-purposing the hardware. Un autre avantage relatif au déplacement des données vers un stockage de fichiers est celui de centraliser la gestion des données et des services de récupération.Another advantage of moving to Files storage is to centralize data management and recovery services.

Azure Data BoxAzure Data Box

Souvent, les banques auront des téraoctets, voire des pétaoctets, de données à migrer vers Azure.Often, banks will have terabytes, if not petabytes, of information to bring into Azure. Heureusement, les magasins de données dans Azure sont très élastiques et hautement évolutifs.Luckily data stores in Azure are very elastic and highly scalable.

Azure Data Box est un service axé sur la migration de très importants volumes de données vers Azure.A service focused on migrating very large volumes of data to Azure is Azure Data Box. Ce service est conçu pour migrer des données sans transférer de données ou sauvegardes via une connexion Azure.This service is designed to migrate data without transferring data or backups over an Azure connection. Adaptée à des téraoctets de données, Azure Data Box est une appliance qui peut être commandée à partir du portail Azure.Suitable for terabytes of data, Azure Data Box is an appliance that can be ordered from the Azure Portal. Elle est envoyée à votre site, où elle peut être connectée à votre réseau et chargée avec des données via des protocoles de périphérique de stockage NAS standard et sécurisée via un chiffrement AES-256 traditionnel.It is shipped to your location, where it can be connected to your network and loaded with data via standard NAS protocols and secured via standard256-AES encryption. Une fois les données sur l’appliance, elle est envoyée au centre de données Azure où les données sont activées dans Azure.Once the data is on the appliance, it is shipped back to the Azure Data Center where the data is hydrated in Azure. L’appareil est ensuite effacé en toute sécurité.The device is then securely erased.

Azure Information ProtectionAzure Information Protection

Azure Information Protection est une solution basée sur le cloud permettant aux organisations de classer, d’étiqueter et de protéger ses documents et ses e-mails.Azure Information Protection (AIP) is a cloud-based solution helping organizations to classify, label, and protect its documents and emails. Cela peut être fait automatiquement par les administrateurs qui définissent les règles et les conditions, manuellement par les utilisateurs, ou d’une manière mixte (les utilisateurs reçoivent des recommandations).This can be done automatically by administrators who define rules and conditions, manually by users, or a combination where users are given recommendations.

Services de donnéesData services

Les banques rencontrent des difficultés avec la gestion des données de référence, les métadonnées en conflit en raison de systèmes bancaires centraux disparates et les données provenant de systèmes d’émission, d’intégration, de gestion des offres, de CRM, etc.Banks struggle with Master Data Management, meta data conflicting due to disparate core banking systems, and data coming from origination systems, onboarding systems, offers management systems, CRM systems, and more. Azure propose des outils pour réduire ces difficultés, ainsi que d’autres problèmes de données courants.Azure has tools to help mitigate thesee and other commonly occurring data issues.

Les organisations de services financiers ont de nombreuses opérations à effectuer sur leurs données.There are many operations financial services organizations need to perform on their data. Lors de l’écriture des données dans les magasins de données, il peut être nécessaire de transformer ces données ou de les joindre avec d’autres données, ce qui augmente la quantité à ingérer.When writing data to Azure data stores, there may be a need to transform that data or to join it with other data that augments what is being ingested.

Azure Data FactoryAzure Data Factory

Microsoft Azure Data Factory est un service entièrement géré permettant de faciliter l’entrée et le traitement des données, ainsi que la surveillance du déplacement des données dans un pipeline Data Factory.Microsoft Azure Data Factory is a fully managed service to help with ingress, processing, and monitoring data movement in a Data Factory pipeline. Les activités Data Factory forment la structure du pipeline de gestion des données.Data Factory activities form the structure of the data management pipeline.

Data Factory permet de transformer ou d’augmenter les données à mesure qu’elles circulent dans Azure et entre les autres services Azure.Data Factory enables transformation or augmentation of data as it flows into Azure and between other Azure services. Data Factory est un service cloud géré créé pour des projets complexes d’extraction, de transformation et de chargement (ETL), d’extraction, de chargement et de transformation (ELT) et d’intégration des données.Data Factory is a managed cloud service that's built for complex hybrid extract-transform-load (ETL), extract-load-transform (ELT), and data integration projects.

Par exemple, les données peuvent être envoyées dans des outils ou pipelines d’analyse et transformées en insights exploitables.For example, data may be fed into analytics pipelines or tools that result in actionable insights. Les données peuvent circuler dans une solution Machine Learning ou être converties en un autre format pour un traitement en aval ultérieur.Data may flow into a machine learning solution or be transformed to another format for later downstream processing. Un exemple est la conversion de fichiers .csv en fichiers parquet, qui conviennent mieux aux systèmes Machine Learning, et le stockage de ces fichiers parquet dans un stockage d’objets blob.An example is converting .csv files to parquet files, which are better suited for machine learning systems, and storing those parquet files in Blog storage.

Les données peuvent également être envoyées aux services de calcul en aval tels que Azure HDInsight Hadoop, Spark, Azure Data Lake Analytics et Azure Machine Learning.Data may also be submitted to downstream compute services such as such as Azure HDInsight, Spark, Azure Data Lake Analytics, and Azure Machine Learning. Cela permet d’alimenter directement les systèmes, ce qui entraîne la génération de rapports intelligents et d’analyses.This allows directly feeding systems which result in analysis and intelligent reporting. Un modèle commun pour l’entrée de données est illustré à la Figure 2 ci-dessous.One common model for data ingress is shown in Figure 2 below. Les données sont conservées dans un référentiel Data Lake commun pour être utilisées par les services d’analyse en aval.The data is held in a common Data Lake to be used by downstream analytics services.

Un modèle d’ingestion de données Data Lake

Figure 2Figure 2

Les pipelines Data Factory sont composés d’activités qui font entrer et sortir des jeux de données.Data Factory pipelines are composed of activities, which take in and output datasets. Les activités peuvent être assemblées dans un pipeline définissant l’emplacement où vous souhaitez obtenir vos données, la façon dont vous souhaitez les traiter et l’emplacement où vous souhaitez stocker les résultats.Activities can be assembled into a pipeline defining where you want to get your data, how you want it processed, and where you want to store the results. La création de pipelines avec des activités est au cœur de Data Factory, et la composition d’un flux de travail visuel approprié dans le portail Azure facilite cette création de pipelines.Building pipelines with activities is the heart of Data Factory and composing a visual workflow right in the Azure Portal makes creating pipelines easy. Consultez cette page pour obtenir une liste complète des activités.See here for a complete listing of activities.

Azure DatabricksAzure Databricks

Azure Databricks est une plateforme d’analyse basée sur Apache Spark et gérée dans Azure.Azure Databricks is a managed Apache Spark based analytics platform in Azure. Elle est hautement évolutive, et les travaux Spark s’exécutent sur des clusters de machine aussi grands que nécessaire.It is highly scalable and Spark jobs run on machine clusters as large as needed. Databricks fonctionne à partir d’un Notebook qui offre un lieu de collaboration unique entre les scientifiques des données, les ingénieurs des données et les analystes métier.Databricks works from a Notebook which provides a single place of collaboration between data scientists, data engineers, and business analysts.

Databricks est un pipeline de traitement logique utilisé lorsque la transformation ou l’analyse des données est nécessaire.Databricks is a logical processing pipeline when data transformation or analysis is needed. Il peut être alimenté par Data Factory directement pour les scénarios Machine Learning où un accès rapide aux insights est essentiel, ou pour de simples transformations de fichiers.It can be fed directly by Data Factory for machine learning scenarios where time-to-insight is critical, or for simple file transformations.

Databricks

Archivage des donnéesArchiving data

Quand les données ne sont plus nécessaires dans un magasin de données actif, elles peuvent être archivées à des fins de conformité ou de piste d’audit conformément aux réglementations bancaires locales et nationales.When data is no longer needed in an active data store, it can be archived due for compliance or audit trail purposes in accordance with state and local banking regulations. Azure propose des options pour le stockage des données peu consultées.Azure has options available for storage of infrequently accessed data. Des problèmes de confidentialité se présentent souvent avec des données devant être stockées pendant des années.There are often privacy issues with data that require keeping data in storage for years.

Les coûts de stockage des données peuvent être élevés, et plus particulièrement lorsque vous les stockez dans des bases de données locales.The costs of storing data can be high, particularly when storing in on-premises databases. Ces bases de données sont souvent peu consultées, et quand elles le sont, c’est uniquement pour écrire de nouvelles données archivées ou débarrasser la base de données des données qui ne sont plus nécessaires dans l’archive.These databases are sometimes accessed infrequently and only to write new archived data or rid the database of data no longer wanted in the archive. L’accès peu fréquent aux machines locales signifie un coût total de possession du matériel plus élevé.The infrequent access to on-premises machines means higher total cost of ownership of the hardware.

Stockage archive AzureAzure Archive storage

Pour les données non structurées comme les fichiers ou les images, Azure propose plusieurs niveaux de stockage pour le stockage blob, y compris chaud, froid et archive.For unstructured data such as files or images, Azure offers several tiers of storage for Blob storage including hot, cool, and archive. Le niveau de stockage chaud est destiné aux données actives et supposées être plus performantes et utilisées dans des applications.The hot access tier is for data that is active and expected to be most performant and in use in applications. Le niveau de stockage froid est dédié aux jeux de données de récupération d’urgence et de sauvegarde à court terme, ainsi qu’aux données disponibles sur une application mais rarement consultées.The cool access tier is for short-term backup and disaster recovery datasets, as well as for data available to an application but is rarely accessed. Le niveau de stockage archive est celui dont le coût est le plus faible et est conçu pour les données hors connexion.The archive tier has the lowest cost and is intended for data that is offline.

Les données du niveau de stockage archive peuvent être réactivées dans les niveaux de stockage froid et chaud, mais l’exécution de cette action prend plusieurs heures.Archive tier data can be rehydrated into the cool or hot tiers, but this action may take several hours to complete. Le niveau de stockage archive peut être approprié si vos données ne sont pas consultées pendant 180 jours minimum.Archive storage may be appropriate if your data isn’t going to be accessed for at least 180 days. Lorsqu’un objet blob se trouve dans le niveau de stockage archive, il ne peut pas être lu, mais les autres opérations existantes peuvent être exécutées telles que le listage, la suppression et la récupération des métadonnées.When a blob is in archive storage, it cannot be read, but other existing operations may be performed such as list, delete, and retrieving metadata. Le niveau de stockage de données archive est le niveau de stockage de données le moins onéreux pour le stockage d’objets blob.The archive data tier is the least expensive data tier for blob storage.

Conservation à long terme Azure SQL DatabaseAzure SQL Database long-term retention

Lorsque vous utilisez Azure SQL, il existe un service de rétention des sauvegardes à long terme pour stocker les sauvegardes pendant dix ans maximum.When using Azure SQL, there is a long-term backup retention service for storing backups up to ten years. Les utilisateurs peuvent prévoir de conserver des sauvegardes sur le long terme, c’est-à-dire pendant plusieurs semaines, mois, voire années.Users can schedule backups to be retained for long-term storage such that the backup will be retained for weeks, months, or even years.

Pour restaurer une base de données à partir du stockage à long terme, sélectionnez une sauvegarde spécifique en fonction de son horodatage.To restore a database from long-term storage, select a specific backup based on its timestamp. Vous pouvez restaurer la base de données sur n’importe quel serveur existant, en utilisant le même abonnement que celui de la base de données d’origine.The database can be restored to an existing server under the same subscription as the original database.

Suppression des données indésirablesDeleting unwanted data

Pour rester en conformité avec les réglementations ou stratégies bancaires en lien avec la conservation des données, celles-ci doivent souvent être supprimées quand elles ne sont plus nécessaires.To remain compliant with banking regulations or policies regarding data retention, data must often be deleted when it is no longer wanted. Avant d’implémenter une solution technique pour ces données indésirables, il est important d’avoir un plan de purge défini, afin de ne pas enfreindre les stratégies.Before implementing a technical solution for this unwanted data, it is important to have a purge plan in place so agreed upon policies are not violated. Les données peuvent à tout moment être supprimées du niveau de stockage archive ou des magasins de données dans Azure.Data may be deleted from archive or any other data stores in Azure at any time.

Une stratégie efficace pour la suppression des données indésirables consiste à effectuer cette opération de façon périodique, toutes les nuits ou toutes les semaines par exemple.An effective strategy for deleting unwanted data is to do so on an interval, nightly or weekly being the most common. Une fonction Azure déclenchée en fonction du temps peut être également être écrite pour effectuer ce travail.A time triggered Azure Function can be written to perform this job well. Si vous supprimez des données, Microsoft Azure supprime les données, y compris les copies mises en cache ou de sauvegarde.If you delete any data, Microsoft Azure deletes the data, including any cached or backup copies.

Mise en routeGetting Started

Plusieurs méthodes sont possibles pour vous lancer, en fonction de votre utilisation et de la maturité des modèles de données que vous utilisez à ce jour.There are many ways to get started based on the current usage and maturity of the data models used today. Dans tous les cas, c’est toujours le moment idéal pour examiner le stockage des données, leur traitement et leur modèle de conservation nécessaires par magasin de données.In all cases, it is a perfect time to review the data storage, processing, and the retention model needed per data store. Cela est essentiel pour créer des systèmes de gestion des données dans des scénarios de conformité réglementaire.This is critical in building data management systems in regulatory compliance scenarios. Le cloud offre ici de nouvelles opportunités, qui ne sont pas disponibles en local actuellement.The cloud provides new opportunities here, that are not currently available on-premises. Cela peut impliquer d’apporter des mises à jour à vos modèles de données existants.This may mean updates to existing data models you may have.

Une fois que vous êtes familiarisé avec le nouveau modèle de données, déterminez votre stratégie d’ingestion de données.Once you are comfortable with new data model, determine your data ingestion strategy. Quelles sont les sources de données présentes ?What data sources are there? Où seront hébergées les données dans Azure ?Where will the data live in Azure? Comment seront-elles déplacées vers Azure et à quel moment ?How and when will it be moved into Azure? De nombreuses ressources sont proposées ici pour vous aider à effectuer une migration selon le type de contenu, la taille et bien d’autres critères.There are many resources available here to help migrate based on the content type, size and more. Azure Database Migration Service en est un exemple.The Azure Data Migration Service is one such example.

Une fois que vos données sont hébergées dans Azure, créez un plan de purge des données pour les données qui ne sont plus utiles ou obsolètes.Once your data is hosted in Azure, create a data purge plan for data that has outlived its usefulness or lifespan. Tandis que le stockage à long terme (froid) est toujours une option intéressante pour l’archivage, le nettoyage des données ayant expiré réduit l’encombrement et les coûts de stockage globaux.While long-term (cold) storage is always a great option for archiving, clean-up of expired data reduces footprint and overall storage costs. La page sur les architectures de la solution Azure de sauvegarde et d’archivage est une ressource utile pour vous aider à définir votre stratégie générale.Backup and archive Azure solution architectures is a good resource to help plan your overall strategy.

Technologies pertinentesRelevant Technologies

  • Azure Functions correspond à des scripts sans serveur et à de petits programmes qui peuvent s’exécuter en réponse à un événement système ou en fonction d’un minuteur.Azure Functions are serverless scripts and small programs that can run in response to a system event or on a timer.

  • Les outils clients Stockage Azure sont les outils nécessaires pour accéder à des magasins de données et comprennent bien plus que le portail Azure.Azure Storage Client Tools are tools to access data stores and include far more than the Azure portal.

  • Stockage d’objets blob convient au stockage de fichiers tels que du texte ou des images et d’autres types de données non structurées.Blob storage is suitable to store files like text or images and other types of unstructured data.

  • Databricks est un service entièrement géré qui offre une implémentation simple d’un cluster Spark.Databricks is a fully managed service offering easy implementation of a Spark cluster.

  • Data Factory est un service d’intégration des données cloud utilisé pour composer des services de stockage, de transit et de traitement des données au sein de pipelines de données automatisés.Data Factory is a cloud data integration service used to compose data storage, transit, and processing services into automated data pipelines

ConclusionConclusion

En raison des changements rapides au sein de l’environnement numérique de l’industrie financière et bancaire, les clients recherchent de plus en plus des solutions et partenaires qu’ils peuvent utiliser immédiatement.With the rapid change of the digital landscape for the banking and financial industry, customers are increasingly looking to solutions and partners they can immediately utilize with no slow ramp up time. À mesure de l’augmentation exponentielle de l’ingestion des données, les banques ont besoin de méthodes rapides, innovantes et sûres pour stocker, analyser et utiliser leurs données importantes.As data ingestion increases exponentially, banks are needing fast, innovative and secure ways to store, analyze and use their important data.

Azure peut faciliter l’ingestion des données, leur traitement, archivage et suppression via diverses stratégies et technologies.Azure can help data ingestion, processing, archiving and deletion requirements using several technologies and strategies. L’ingestion de données dans Azure est simple et plusieurs magasins de données sont disponibles pour stocker des données en fonction de leur type, de leur structure, etc. Les solutions de données sont disponibles au-delà des SQL Server et des SQL Azure pour inclure les bases de données tierces.Ingesting data into Azure is simple and various data stores are available to store data depending on its type, structure, etc. Data solutions are available beyond SQL Server and SQL Azure to include 3rd party databases.

L’exploitation de ces données peut être simple en utilisant des services Azure comme Databricks et Data Factory.Operating and acting on that data can be simple using Azure services like Databricks and Data Factory. Le stockage d’archives est disponible pour le stockage à long terme des données peu consultées et peut être supprimé à intervalles réguliers si nécessaire.Archival storage is available for long-term storage of rarely-accessed data and it can be deleted on a rolling cycle as needed.

Consultez la bibliothèque des solutions Azure dédiées au stockage de sauvegardes et d’archives pour vous lancer dans l’élaboration de votre plan de gestion des données.Visit the Azure solutions library for backup and archival storage to get started designing your data management plan.

Article écrit par : Howard Bush et David StarrArticle by: Howard Bush and David Starr