PolyBase 가이드PolyBase Guide

이 항목은 다음에 적용됩니다.예SQL Server(2016부터)아니요Azure SQL Database예Azure SQL Data Warehouse 예병렬 데이터 웨어하우스 THIS TOPIC APPLIES TO:yesSQL Server (starting with 2016)noAzure SQL DatabaseyesAzure SQL Data Warehouse yesParallel Data Warehouse

PolyBase는 t-sql 언어를 통해 데이터베이스 외부의 데이터에 액세스하는 기술입니다.PolyBase is a technology that accesses data outside of the database via the t-sql language. SQL Server 2016에서 이 기술을 사용하여 Hadoop에서 외부 데이터에 대한 쿼리를 실행하거나 Azure Blob Storage의 데이터를 내보내거나 가져올 수 있습니다.In SQL Server 2016, it allows you to run queries on external data in Hadoop or to import/export data from Azure Blob Storage. 쿼리는 Hadoop에 계산을 푸시하도록 최적화됩니다.Queries are optimized to push computation to Hadoop. Azure SQL Data Warehouse에서는 Azure Blob Storage 및 Azure Data Lake Store의 데이터를 가져오거나 내보낼 수 있습니다.In Azure SQL Data Warehouse, you can import/export data from Azure Blob Storage and Azure Data Lake Store.

PolyBase를 사용하려면 PolyBase 시작을 참조하세요.To use PolyBase, see Get started with PolyBase.

PolyBase 논리PolyBase logical

PolyBase를 사용하는 이유는?Why use PolyBase?

올바른 결정을 위해 관계형 데이터 및 테이블에 구조화되어 있지 않은 기타 데이터(특히 Hadoop)를 분석하려고 합니다.To make good decisions, you want to analyze both relational data and other data that is not structured into tables —notably Hadoop. 다양한 유형의 데이터 저장소 간에 데이터를 전송할 수 있는 방법이 없다면 작업을 수행하는 것이 어렵습니다.This is difficult to do unless you have a way to transfer data among the different types of data stores. PolyBase는 SQL Server의 외부 데이터에 대해 작동하여 이를 수행합니다.PolyBase bridges this gap by operating on data that is external to SQL Server.

PolyBase는 Hadoop 환경에 추가 소프트웨어를 설치할 필요 없이 간단히 사용할 수 있습니다.To keep it simple, PolyBase does not require you to install additional software to your Hadoop environment. 외부 데이터 쿼리 작업에는 데이터베이스 테이블 쿼리와 동일한 구문을 사용합니다.Querying external data uses the same syntax as querying a database table. 이 작업은 모두 투명하게 수행됩니다.This all happens transparently. PolyBase는 모든 세부 정보를 백그라운드에서 처리하며 최종 사용자가 Hadoop에 대해 몰라도 외부 테이블을 쿼리할 수 있습니다.PolyBase handles all the details behind-the-scenes, and no knowledge about Hadoop is required by the end user to query external tables.

PolyBase는 다음 작업을 수행할 수 있습니다.PolyBase can:

  • SQL Server 또는 PDW에서 Hadoop에 저장된 데이터 쿼리.Query data stored in Hadoop from SQL Server or PDW. 사용자는 Hadoop과 같이 비용 효율적으로 분산되고 확장 가능한 시스템에 데이터 집합을 저장하고 있습니다.Users are storing data in cost-effective distributed and scalable systems, such as Hadoop. PolyBase를 사용하면 쉽게 T-SQL을 사용하여 데이터를 쿼리할 수 있습니다.PolyBase makes it easy to query the data by using T-SQL.

  • Azure Blob Storage에 저장된 데이터 쿼리.Query data stored in Azure Blob Storage. Azure blob 저장소는 Azure 서비스에서 사용 하기 위해 데이터를 저장하는 편리한 장소입니다.Azure blob storage is a convenient place to store data for use by Azure services. PolyBase는 T-SQL을 사용하여 쉽게 데이터에 액세스할 수 있습니다.PolyBase makes it easy to access the data by using T-SQL.

  • Hadoop, Azure Blob Storage 또는 Azure Data Lake Store에서 데이터 가져오기. Microsoft SQL columnstore 기술 및 분석 기능을 활용하여 Hadoop, Azure Blob Storage 또는 Azure Data Lake Store에서 관계형 테이블로 데이터를 가져옵니다.Import data from Hadoop, Azure Blob Storage, or Azure Data Lake Store Leverage the speed of Microsoft SQL's columnstore technology and analysis capabilities by importing data from Hadoop, Azure Blob Storage, or Azure Data Lake Store into relational tables. 별도 ETL 또는 가져오기 도구에 대한 요구 사항이 없습니다.There is no need for a separate ETL or import tool.

  • Hadoop, Azure Blob Storage 또는 Azure Data Lake Store로 데이터 내보내기Export data to Hadoop, Azure Blob Storage, or Azure Data Lake Store. Hadoop, Azure Blob Storage 또는 Azure Data Lake Store에 데이터를 보관하여 비용 효율적인 저장소를 구현하고 손쉽게 액세스할 수 있도록 온라인 상태로 유지합니다.Archive data to Hadoop, Azure Blob Storage, or Azure Data Lake Store to achieve cost-effective storage and keep it online for easy access.

  • BI 도구와 통합.Integrate with BI tools. PolyBase는 Microsoft의 비즈니스 인텔리전스 및 분석 스택에서 사용하거나 SQL Server와 호환되는 타사 도구를 사용합니다.Use PolyBase with Microsoft’s business intelligence and analysis stack, or use any third party tools that is compatible with SQL Server.

성능Performance

  • Hadoop에 계산 푸시.쿼리 최적화 프로그램은 비용 기반 결정을 내려 Hadoop에 계산을 푸시하며 이를 통해 쿼리 성능이 향상됩니다.Push computation to Hadoop.The query optimizer makes a cost-based decision to push computation to Hadoop when doing so will improve query performance. 외부 테이블의 통계를 사용하여 비용 기반 결정을 내립니다.It uses statistics on external tables to make the cost-based decision. 계산을 푸시하는 데는 MapReduce 작업을 만들고 Hadoop의 분산된 계산 리소스를 활용합니다.Pushing computation creates MapReduce jobs and leverages Hadoop's distributed computational resources.

  • 계산 리소스 크기 조정.Scale compute resources. 쿼리 성능을 향상시키기 위해 SQL Server PolyBase 확장 그룹을 사용할 수 있습니다.To improve query performance, you can use SQL Server PolyBase scale-out groups. 이를 통해 Hadoop 노드와 SQL Server 인스턴스 간에 병렬 데이터 전송이 가능하며 외부 데이터에서 작동하기 위한 계산 리소스를 추가합니다.This enables parallel data transfer between SQL Server instances and Hadoop nodes, and it adds compute resources for operating on the external data.

PolyBase 가이드 항목PolyBase Guide Topics

이 가이드에는 효율적이고 효과적으로 PolyBase를 사용하는 항목이 포함되어 있습니다.This guide includes topics to help you use PolyBase efficiently and effectively.

항목Topic 설명Description
PolyBase 시작Get started with PolyBase PolyBase를 설치하고 구성하는 기본 단계입니다.Basic steps to install and configure PolyBase. Hadoop 또는 Azure blob 저장소의 데이터를 가리키는 외부 개체를 만드는 방법을 보여 주며 쿼리 예제를 제공합니다.This shows how to create external objects that point to data in Hadoop or Azure blob storage, and gives query examples.
PolyBase 버전 기능 요약PolyBase Versioned Feature Summary SQL Server, SQL 데이터베이스 및 SQL 데이터 웨어하우스에서 지원되는 PolyBase 기능을 설명합니다.Describes which PolyBase features are supported on SQL Server, SQL Database, and SQL Data Warehouse.
PolyBase 확장 그룹PolyBase scale-out groups SQL Server 확장 그룹을 사용하여 SQL Server 및 Hadoop 간에 병렬 처리를 확장합니다.Scale out parallelism between SQL Server and Hadoop by using SQL Server scale-out groups.
PolyBase 설치PolyBase installation 설치 마법사 또는 명령줄 도구를 사용하여 PolyBase를 설치하기 위한 단계 및 참조 사항입니다.Reference and steps for installing PolyBase with the installation wizard or with a command-line tool.
PolyBase 구성PolyBase configuration PolyBase용 SQL Server 설정을 구성합니다.Configure SQL Server settings for PolyBase. 예를 들어 계산 푸시다운 및 kerberos 보안을 구성합니다.For example, configure computation pushdown and kerberos security.
PolyBase T-SQL 개체PolyBase T-SQL objects PolyBase가 외부 데이터를 정의하고 액세스하는 데 사용하는 T-SQL 개체를 만듭니다.Create the T-SQL objects that PolyBase uses to define and access external data.
PolyBase QueriesPolyBase Queries T-SQL 문을 사용하여 외부 데이터를 쿼리, 가져오기 또는 내보냅니다.Use T-SQL statements to query, import, or export external data.
PolyBase 문제 해결PolyBase troubleshooting PolyBase 쿼리를 관리하는 기술입니다.Techniques to manage PolyBase queries. DMV(동적 관리 뷰)를 사용하여 PolyBase 쿼리를 모니터링하고 PolyBase 쿼리 계획을 확인하여 성능 병목 현상을 찾아내는 방법을 알아봅니다.Use dynamic management views (DMVs) to monitor PolyBase queries, and learn to read a PolyBase query plan to find performance bottlenecks.