Azure Data Lake Store 개요Overview of Azure Data Lake Store

Azure Data Lake Store는 빅 데이터 분석 작업을 위한 엔터프라이즈 수준 하이퍼 스케일 리포지토리입니다.Azure Data Lake Store is an enterprise-wide hyper-scale repository for big data analytic workloads. Azure Data Lake를 사용하면 작동 및 예비 분석에 대해 한 곳에서 모든 크기, 형식 및 수집 속도의 데이터를 캡처할 수 있습니다.Azure Data Lake enables you to capture data of any size, type, and ingestion speed in one single place for operational and exploratory analytics.

Data Lake Store 학습 경로를 사용하여 Azure Data Lake Store 서비스 탐색을 시작합니다.Use the Data Lake Store learning path to start exploring the Azure Data Lake Store service.

Azure Data Lake Store는 WebHDFS 호환 REST API를 사용하여 Hadoop(HDInsight 클러스터에서 사용 가능)에서 액세스할 수 있습니다.Azure Data Lake Store can be accessed from Hadoop (available with HDInsight cluster) using the WebHDFS-compatible REST APIs. 저장된 데이터에 대한 분석을 사용하도록 특별히 설계되었으며 데이터 분석 시나리오에 대한 성능을 위해 조정됩니다.It is specifically designed to enable analytics on the stored data and is tuned for performance for data analytics scenarios. 기본적으로 실제 엔터프라이즈 사용 사례에 필수적인 모든 엔터프라이즈급 기능-보안, 관리 효율성, 확장성, 안정성 및 가용성-을 포함합니다.Out of the box, it includes all the enterprise-grade capabilities—security, manageability, scalability, reliability, and availability—essential for real-world enterprise use cases.

Azure Data Lake

Azure Data Lake의 주요 기능 중 일부는 다음과 같습니다.Some of the key capabilities of the Azure Data Lake include the following.

Hadoop용으로 작성Built for Hadoop

Azure Data Lake Store는 HDFS(Hadoop Distributed File System)와 호환되고 Hadoop 에코시스템과 함께 작동되는 Apache Hadoop 파일 시스템입니다.The Azure Data Lake store is an Apache Hadoop file system compatible with Hadoop Distributed File System (HDFS) and works with the Hadoop ecosystem. WebHDFS API를 사용하는 기존 HDInsight 응용 프로그램 또는 서비스는 Data Lake Store와 쉽게 통합할 수 있습니다.Your existing HDInsight applications or services that use the WebHDFS API can easily integrate with Data Lake Store. Data Lake Store는 또한 응용 프로그램에 대한 WebHDFS 호환 REST 인터페이스를 노출합니다.Data Lake Store also exposes a WebHDFS-compatible REST interface for applications

Data Lake Store에 저장된 데이터는 MapReduce 또는 Hive와 같은 Hadoop 분석 프레임워크를 사용하여 쉽게 분석될 수 있습니다.Data stored in Data Lake Store can be easily analyzed using Hadoop analytic frameworks such as MapReduce or Hive. Microsoft Azure HDInsight 클러스터는 Data Lake Store에 저장된 데이터에 직접 액세스하도록 프로비전되고 구성될 수 있습니다.Microsoft Azure HDInsight clusters can be provisioned and configured to directly access data stored in Data Lake Store.

무제한 저장소, 페타바이트 파일Unlimited storage, petabyte files

Azure Data Lake Store는 무제한 저장소를 제공하며 분석에 대한 다양한 데이터를 저장하는데 적합합니다.Azure Data Lake Store provides unlimited storage and is suitable for storing a variety of data for analytics. 데이터 레이크에 저장될 수 있는 계정 크기, 파일 크기 또는 데이터 양에 어떠한 제한도 적용하지 않습니다.It does not impose any limits on account sizes, file sizes, or the amount of data that can be stored in a data lake. 개별 파일의 범위는 모든 종류의 데이터를 저장하는데 적합하도록 킬로바이트에서 페타바이트까지입니다.Individual files can range from kilobyte to petabytes in size making it a great choice to store any type of data. 데이터는 여러 복사본을 만들어 영구적으로 저장되며 데이터가 데이터 레이크에 저장될 수 있는 기간에 제한이 없습니다.Data is stored durably by making multiple copies and there is no limit on the duration of time for which the data can be stored in the data lake.

빅 데이터 분석에 대한 성능 조정Performance-tuned for big data analytics

Azure Data Lake Store는 많은 양의 데이터에 대한 쿼리 및 분석을 위해 대규모 처리 능력이 필요한 대규모 분석 시스템을 실행할 수 있도록 제작되었습니다.Azure Data Lake Store is built for running large scale analytic systems that require massive throughput to query and analyze large amounts of data. 데이터 레이크는 개별 저장소 서버의 수 이상으로 파일의 일부분을 배포합니다.The data lake spreads parts of a file over a number of individual storage servers. 데이터 분석을 수행하기 위해 병렬로 파일을 읽을 때 읽기 처리량이 향상됩니다.This improves the read throughput when reading the file in parallel for performing data analytics.

엔터프라이즈 지원: 고가용성 및 보안Enterprise-ready: Highly-available and secure

Azure Data Lake Store는 업계 표준 가용성과 안정성을 제공합니다.Azure Data Lake Store provides industry-standard availability and reliability. 데이터 자산은 모든 예기치 않은 오류로부터 보호하도록 중복 복사본을 만들어 영구적으로 저장됩니다.Your data assets are stored durably by making redundant copies to guard against any unexpected failures. 기업에서는 기존 데이터 플랫폼의 중요한 부분으로 솔루션에서 Azure 데이터 레이크를 사용할 수 있습니다.Enterprises can use Azure Data Lake in their solutions as an important part of their existing data platform.

또한 Data Lake Store는 저장된 데이터에 대한 엔터프라이즈급 보안을 제공합니다.Data Lake Store also provides enterprise-grade security for the stored data. 자세한 내용은 Azure Data Lake Store의 데이터 보안을 참조하세요.For more information, see Securing data in Azure Data Lake Store.

모든 데이터All Data

Azure Data Lake Store는 사전 변환 없이 모든 데이터를 고유 형식으로 그대로 저장할 수 있습니다.Azure Data Lake Store can store any data in their native format, as is, without requiring any prior transformations. Data Lake Store는 데이터가 로드되기 전에 정의되어야 하는 스키마를 필요로 하지 않으므로 개별 분석 프레임워크가 데이터를 해석하고 분석 시 스키마를 정의할 때까지 그대로 둡니다.Data Lake Store does not require a schema to be defined before the data is loaded, leaving it up to the individual analytic framework to interpret the data and define a schema at the time of the analysis. 임의 크기 및 형식의 파일을 저장 가능한 것은 Data Lake Store가 구조화, 반구조화 및 비구조화된 데이터를 처리할 수 있도록 합니다.Being able to store files of arbitrary sizes and formats makes it possible for Data Lake Store to handle structured, semi-structured, and unstructured data.

데이터에 대한 Azure 데이터 레이크 저장소 컨테이너는 기본적으로 폴더 및 파일입니다.Azure Data Lake Store containers for data are essentially folders and files. SDK, Azure 포털 및 Azure Powershell을 사용하여 저장된 데이터에서 작동합니다.You operate on the stored data using SDKs, Azure Portal, and Azure Powershell. 이러한 인터페이스 및 적절한 컨테이너를 사용하여 저장소에 데이터를 저장하는 한 모든 종류의 데이터를 저장할 수 있습니다.As long as you put your data into the store using these interfaces and using the appropriate containers, you can store any type of data. 데이터 레이크 저장소는 저장하는 데이터의 형식에 따라 데이터의 특수한 처리를 수행하지 않습니다.Data Lake Store does not perform any special handling of data based on the type of data it stores.

Azure 데이터 레이크 저장소의 데이터 보호Securing data in Azure Data Lake Store

Azure 데이터 레이크 저장소는 인증 및 액세스 제어 목록(ACL)을 위해 Azure Active Directory를 사용하여 데이터에 대한 액세스를 관리합니다.Azure Data Lake Store uses Azure Active Directory for authentication and access control lists (ACLs) to manage access to your data.

기능Feature 설명Description
인증Authentication Azure 데이터 레이크 저장소는 Azure 데이터 레이크 저장소에 저장된 모든 데이터에 대한 ID 및 액세스 관리를 위해 Azure Active Directory(AAD)와 통합합니다.Azure Data Lake Store integrates with Azure Active Directory (AAD) for identity and access management for all the data stored in Azure Data Lake Store. 통합의 결과로 Azure 데이터 레이크는 다단계 인증, 조건부 액세스, 역할 기반 액세스 제어, 응용 프로그램 사용 모니터링, 보안 모니터링 및 경고 등을 포함한 모든 AAD 기능의 이점을 얻습니다. Azure 데이터 레이크 저장소는 REST 인터페이스에서 인증을 위한 OAuth 2.0 프로토콜을 지원합니다.As a result of the integration, Azure Data Lake benefits from all AAD features including multi-factor authentication, conditional access, role-based access control, application usage monitoring, security monitoring and alerting, etc. Azure Data Lake Store supports the OAuth 2.0 protocol for authentication with in the REST interface. Data Lake Store 인증 참조See Data Lake Store authentication
Access ControlAccess control Azure 데이터 레이크 저장소는 WebHDFS 프로토콜에 의해 노출되는 POSIX 스타일 권한을 지원하여 액세스 제어를 제공합니다.Azure Data Lake Store provides access control by supporting POSIX-style permissions exposed by the WebHDFS protocol. Data Lake Store 공개 미리 보기(현재 릴리스)에서 ACL은 루트 폴더, 하위 폴더 및 개별 파일에서도 사용할 수 있습니다.In the Data Lake Store Public Preview (the current release), ACLs can be enabled on the root folder, on subfolders, and on individual files. Data Lake Store의 컨텍스트에서 ACL 작동 방법에 대한 자세한 내용은 Data Lake Store의 액세스 제어를 참조하세요.For more information on how ACLs work in context of Data Lake Store, see Access control in Data Lake Store.
암호화Encryption 또한 Data Lake Store는 계정에 저장된 데이터에 대한 암호화를 제공합니다.Data Lake Store also provides encryption for data that is stored in the account. Data Lake Store 계정을 만드는 동안 암호화 설정을 지정합니다.You specify the encryption settings while creating a Data Lake Store account. 암호화된 데이터 또는 암호화 없음을 선택할 수 있습니다.You can chose to have your data encrypted or opt for no encryption. 자세한 내용은 Data Lake Store의 암호화를 참조하세요.For more information, see Encryption in Data Lake Store. 암호화 관련 구성을 제공하는 방법에 대한 자세한 내용은 Azure Portal을 사용하여 Azure Data Lake Store 시작을 참조하세요.For instructions on how to provide encryption-related configuration, see Get started with Azure Data Lake Store using the Azure Portal.

Data Lake Store 데이터를 보호하는 방법에 대한 자세히 알아보려 합니다.Want to learn more about securing data in Data Lake Store. 아래 링크를 따라갑니다.Follow the links below.

Azure 데이터 레이크 저장소와 호환되는 응용 프로그램Applications compatible with Azure Data Lake Store

Azure Data Lake Store는 Hadoop 에코시스템의 오픈 소스 구성 요소 대부분과 호환됩니다.Azure Data Lake Store is compatible with most open source components in the Hadoop ecosystem. 또한 다른 Azure 서비스와 원활하게 통합됩니다.It also integrates nicely with other Azure services. 따라서 Data Lake Store는 데이터 저장소 요구 사항에 맞는 완벽한 옵션입니다.This makes Data Lake Store a perfect option for your data storage needs. 다른 Azure 서비스 뿐만 아니라 오픈 소스 구성 요소와 함께 Data Lake Store를 사용할 수 있는 방법을 자세히 알아보려면 아래 링크를 따라갑니다.Follow the links below to learn more about how Data Lake Store can be used both with open source components as well as other Azure services.

Azure Data Lake Store 파일 시스템(adl://)이란 무엇입니까?What is Azure Data Lake Store file system (adl://)?

Hadoop 환경에서 새로운 파일 시스템인 AzureDataLakeFilesystem(adl://)을 통해 Data Lake Store에 액세스할 수 있습니다(HDInsight 클러스터에서 사용 가능).Data Lake Store can be accessed via the new filesystem, the AzureDataLakeFilesystem (adl://), in Hadoop environments (available with HDInsight cluster). adl://를 사용하는 응용 프로그램 및 서비스는 현재 WebHDFS에서 사용할 수 없는 추가 성능 최적화의 장점을 활용할 수 있습니다.Applications and services that use adl:// are able to take advantage of further performance optimization that are not currently available in WebHDFS. 그 결과 데이터 레이크 저장소는 권장되는 옵션의 adl://를 사용하여 최상의 성능을 이용하거나 WebHDFS API를 계속해서 직접 사용하여 기존 코드를 유지하도록 유연성을 제공합니다.As a result, Data Lake Store gives you the flexibility to either avail the best performance with the recommended option of using adl:// or maintain existing code by continuing to use the WebHDFS API directly. Azure HDInsight는 데이터 레이크 저장소에서 최상의 성능을 제공하도록 AzureDataLakeFilesystem을 완벽하게 활용합니다.Azure HDInsight fully leverages the AzureDataLakeFilesystem to provide the best performance on Data Lake Store.

adl://<data_lake_store_name>.azuredatalakestore.net을(를) 사용하여 데이터 레이크 저장소의 데이터에 액세스할 수 있습니다.You can access your data in the Data Lake Store using adl://<data_lake_store_name>.azuredatalakestore.net. 데이터 레이크 저장소의 데이터에 액세스하는 방법에 대한 자세한 내용은 저장된 데이터의 속성 보기For more information on how to access the data in the Data Lake Store, see View properties of the stored data

Azure 데이터 레이크 저장소를 사용하여 어떻게 시작합니까?How do I start using Azure Data Lake Store?

Azure 포털을 사용하여 데이터 레이크 저장소를 프로비전하는 방법은 Azure 포털을 사용하여 데이터 레이크 저장소 시작을 참조하세요.See Get Started with Data Lake Store using the Azure Portal, on how to provision a Data Lake Store using the Azure Portal. Azure 데이터 레이크를 프로비전하면 데이터 레이크 저장소를 통해 Azure 데이터 레이크 분석 또는 Azure HDInsight와 같은 빅 데이터 제공을 사용하는 방법을 배울 수 있습니다.Once you have provisioned Azure Data Lake, you can learn how to use big data offerings such as Azure Data Lake Analytics or Azure HDInsight with Data Lake Store. 또한 .NET 응용 프로그램을 만들어 Azure 데이터 레이크 저장소 계정을 만들고 데이터 업로드, 데이터 다운로드 등과 같은 작업을 수행할 수 있습니다.You can also create a .NET application to create an Azure Data Lake Store account and perform operations such as upload data, download data, etc.

Data Lake Store 비디오Data Lake Store videos

학습을 위해 비디오를 선호하는 경우 Data Lake Store는 다양한 기능에 대한 비디오를 제공합니다.If you prefer watching videos to learn, Data Lake Store provides videos on a range of features.