Was ist PolyBase?What is PolyBase?

Gilt für: JaSQL ServerNeinAzure SQL-DatenbankJaAzure Synapse Analytics (SQL DW) JaParallel Data Warehouse APPLIES TO: yesSQL Server noAzure SQL Database yesAzure Synapse Analytics (SQL DW) yesParallel Data Warehouse

PolyBase ermöglicht Ihrer SQL Server 2016-Instanz das Verarbeiten von Transact-SQL-Abfragen, die Daten aus Hadoop lesen.PolyBase enables your SQL Server 2016 instance to process Transact-SQL queries that read data from Hadoop. Die gleiche Abfrage kann auch auf relationale Tabellen in SQL Server zugreifen.The same query can also access relational tables in your SQL Server. Mit PolyBase kann dieselbe Abfrage auch die Daten aus Hadoop und SQL Server verknüpfen.PolyBase enables the same query to also join the data from Hadoop and SQL Server. In SQL Server stellt eine externe Tabelle oder externe Datenquelle die Verbindung mit Hadoop bereit.In SQL Server, an external table or external data source provides the connection to Hadoop.

PolyBase logicalPolyBase logical

PolyBase überträgt einige Berechnungen per Push an den Hadoop-Knoten, um die Abfrage insgesamt zu optimieren.PolyBase pushes some computations to the Hadoop node to optimize the overall query. Der externe PolyBase-Zugriff ist jedoch nicht auf Hadoop beschränkt.However, PolyBase external access is not limited to Hadoop. Andere unstrukturierte nicht relationale Tabellen werden ebenfalls unterstützt, z.B. durch Trennzeichen getrennte Textdateien.Other unstructured non-relational tables are also supported, such as delimited text files.

Tipp

Mit SQL Server 2019 werden neue Connectors für PolyBase, einschließlich SQL Server, Oracle, Teradata und MongoDB eingeführt.SQL Server 2019 introduces new connectors for PolyBase, including SQL Server, Oracle, Teradata, and MongoDB. Weitere Informationen finden Sie in der PolyBase-Dokumentation für SQL Server 2019.For more information, see the PolyBase documentation for SQL Server 2019

PolyBase ermöglicht Ihrer SQL Server-Instanz das Verarbeiten von Transact-SQL-Abfragen, die Daten aus externen Datenquellen lesen.PolyBase enables your SQL Server instance to process Transact-SQL queries that read data from external data sources. SQL Server 2016 und höhere Versionen können auf externe Daten in Hadoop und Azure Blob Storage zugreifen.SQL Server 2016 and higher can access external data in Hadoop and Azure Blob Storage. Ab SQL Server 2019 können Sie PolyBase verwenden, um auf externe Daten in SQL Server, Oracle, Teradata und MongoDB zuzugreifen.Starting in SQL Server 2019, you can now use PolyBase to access external data in SQL Server, Oracle, Teradata, and MongoDB.

Die gleichen Abfragen, die auf externe Daten zugreifen, können für relationale Tabellen in Ihrer SQL Server-Instanz verwendet werden.The same queries that access external data can also target relational tables in your SQL Server instance. Dadurch können Sie Daten aus externen Quellen mit wertvollen relationalen Daten in Ihrer Datenbank kombinieren.This allows you to combine data from external sources with high-value relational data in your database. In SQL Server stellt eine externe Tabelle oder externe Datenquelle die Verbindung mit Hadoop bereit.In SQL Server, an external table or external data source provides the connection to Hadoop.

PolyBase überträgt einige Berechnungen per Push an den Hadoop-Knoten, um die Abfrage insgesamt zu optimieren.PolyBase pushes some computations to the Hadoop node to optimize the overall query. Der externe PolyBase-Zugriff ist jedoch nicht auf Hadoop beschränkt.However, PolyBase external access is not limited to Hadoop. Andere unstrukturierte nicht relationale Tabellen werden ebenfalls unterstützt, z.B. durch Trennzeichen getrennte Textdateien.Other unstructured non-relational tables are also supported, such as delimited text files.

Unterstützte SQL-Produkte und -DiensteSupported SQL products and services

PolyBase bietet dieselben Funktionen für die folgenden SQL-Produkte von Microsoft:PolyBase provides these same functionalities for the following SQL products from Microsoft:

  • SQL Server 2016 und höhere Versionen (nur unter Windows)SQL Server 2016 and later versions (Windows only)
  • Analytics Platform System (ehemals Parallel Data Warehouse)Analytics Platform System (formerly Parallel Data Warehouse)
  • Azure SQL Data WarehouseAzure SQL Data Warehouse

Azure-IntegrationAzure integration

Durch die zugrunde liegende Unterstützung von PolyBase können T-SQL-Abfragen außerdem Daten aus Azure Blob Storage importieren und exportieren.With the underlying help of PolyBase, T-SQL queries can also import and export data from Azure Blob Storage. PolyBase ermöglicht Azure SQL Data Warehouse zudem das Importieren und Exportieren von Daten aus Azure Data Lake Store und aus Azure Blob Storage.Further, PolyBase enables Azure SQL Data Warehouse to import and export data from Azure Data Lake Store, and from Azure Blob Storage.

Gründe für die Verwendung von PolyBaseWhy use PolyBase?

In der Vergangenheit war es schwieriger, Ihre SQL Server-Daten mit externen Daten zu verknüpfen.In the past it was more difficult to join your SQL Server data with external data. Ihnen standen die beiden folgenden unpraktischen Optionen zur Auswahl:You had the two following unpleasant options:

  • Übertragen der Hälfte Ihrer Daten, damit all Ihre Daten in dem einen oder in dem anderen Format vorliegen.Transfer half your data so that all your data was in one format or the other.
  • Abfragen beider Datenquellen und Schreiben benutzerdefinierter Abfragelogik zum Verknüpfen und Integrieren der Daten auf Clientebene.Query both sources of data, then write custom query logic to join and integrate the data at the client level.

Mit PolyBase vermeiden Sie diese beiden Optionen, indem Sie die Daten mithilfe von T-SQL verknüpfen.PolyBase avoids those unpleasant options by using T-SQL to join the data.

Einfach ausgedrückt: Mit PolyBase müssen Sie keine zusätzliche Software in Ihrer Hadoop-Umgebung installieren.To keep things simple, PolyBase does not require you to install additional software to your Hadoop environment. Sie fragen externe Daten anhand der gleichen T-SQL-Syntax ab, die auch zum Abfragen einer Datenbanktabelle verwendet wird.You query external data by using the same T-SQL syntax used to query a database table. Alle von PolyBase implementierten Unterstützungsaktionen werden transparent durchgeführt.The support actions implemented by PolyBase all happen transparently. Der Abfrageautor benötigt keine Hadoop-Kenntnisse.The query author does not need any knowledge about Hadoop.

Verwendungszwecke von PolyBasePolyBase uses

PolyBase ermöglicht die folgenden Szenarios in SQL Server:PolyBase enables the following scenarios in SQL Server:

  • Abfragen von in Hadoop gespeicherten Daten von SQL Server oder PDW.Query data stored in Hadoop from SQL Server or PDW. Benutzer speichern Daten in kostengünstigen verteilten und skalierbaren Systemen, wie z.B. Hadoop.Users are storing data in cost-effective distributed and scalable systems, such as Hadoop. PolyBase vereinfacht die Abfrage der Daten mithilfe von T-SQL.PolyBase makes it easy to query the data by using T-SQL.

  • Abfragen von in Azure Blob Storage gespeicherten Daten.Query data stored in Azure Blob Storage. Ein Azure-Blobspeicher ist eine bequeme Möglichkeit, Daten zu speichern, die von Azure-Diensten verwendet werden.Azure blob storage is a convenient place to store data for use by Azure services. PolyBase vereinfacht den Zugriff auf die Daten mithilfe von T-SQL.PolyBase makes it easy to access the data by using T-SQL.

  • Importieren von Daten aus Hadoop, Azure Blob Storage oder Azure Data Lake Store.Import data from Hadoop, Azure Blob Storage, or Azure Data Lake Store. Profitieren Sie von der Geschwindigkeit der Columnstore-Technologie und den Analysefunktionen von Microsoft SQL, indem Sie Daten aus Hadoop, Azure Blob Storage oder Azure Data Lake Store in relationale Tabellen importieren.Leverage the speed of Microsoft SQL's columnstore technology and analysis capabilities by importing data from Hadoop, Azure Blob Storage, or Azure Data Lake Store into relational tables. Sie benötigen keine separaten ETL-Funktionen und kein Importtool.There is no need for a separate ETL or import tool.

  • Exportieren von Daten in Hadoop, Azure-Blobspeicher oder Azure Data Lake Store.Export data to Hadoop, Azure Blob Storage, or Azure Data Lake Store. Archivieren Sie Daten in Hadoop, Azure-Blobspeichern oder Azure Data Lake Store, um kostengünstigen Speicherplatz zu nutzen und Daten für einfachen Zugriff online zu halten.Archive data to Hadoop, Azure Blob Storage, or Azure Data Lake Store to achieve cost-effective storage and keep it online for easy access.

  • Integrieren in BI-Tools.Integrate with BI tools. Verwenden Sie PolyBase zusammen mit den Business Intelligence- und Analysfunktionen von Microsoft, oder verwenden Sie beliebige Drittanbietertools, die mit SQL Server kompatibel sind.Use PolyBase with Microsoft's business intelligence and analysis stack, or use any third party tools that are compatible with SQL Server.

LeistungPerformance

  • Übertragen von Berechnungen an Hadoop.Push computation to Hadoop. Der Abfrageoptimierer trifft eine kostenbasierte Entscheidung darüber, ob die Berechnung an Hadoop übertragen wird, um die Abfrageleistung zu verbessern.The query optimizer makes a cost-based decision to push computation to Hadoop when doing so will improve query performance. Für diese kostenbasierte Entscheidung verwendet der Optimierer Statistiken in externen Tabellen.It uses statistics on external tables to make the cost-based decision. Bei der Übertragung der Berechnung werden MapReduce-Aufträge erstellt und die verteilten Berechnungsressourcen von Hadoop genutzt.Pushing computation creates MapReduce jobs and leverages Hadoop's distributed computational resources.

  • Skalieren von Berechnungsressourcen.Scale compute resources. Um die Abfrageleistung zu verbessern, können Sie PolyBase-Erweiterungsgruppenvon SQL Server verwenden.To improve query performance, you can use SQL Server PolyBase scale-out groups. Die ermöglicht eine parallele Datenübertragung zwischen SQL Server-Instanzen und Hadoop-Knoten und fügt Berechnungsressourcen für die Verarbeitung der externen Daten hinzu.This enables parallel data transfer between SQL Server instances and Hadoop nodes, and it adds compute resources for operating on the external data.

Nächste SchritteNext steps

Bevor Sie PolyBase verwenden können, müssen Sie das PolyBase-Feature installieren.Before using PolyBase, you must install the PolyBase feature. Befolgen Sie dann je nach Datenquelle die Anweisungen in einem der folgenden Konfigurationshandbücher:Then see the following configuration guides depending on your data source:

Nächste SchritteNext steps

Bevor Sie PolyBase verwenden können, müssen Sie das PolyBase-Feature installieren.Before using PolyBase, you must install the PolyBase feature. Befolgen Sie dann je nach Datenquelle die Anweisungen in einem der folgenden Konfigurationshandbücher:Then see the following configuration guides depending on your data source: