Aplica-se a:
SQL Server 2016 (13.x) e versões posteriores
PolyBase vs. servidores vinculados
A tabela a seguir destaca as diferenças entre o PolyBase e os recursos de servidor vinculado:
| PolyBase | Servidores vinculados |
|---|---|
| Objeto no escopo do banco de dados | Objeto no escopo da instância |
| Usa drivers ODBC | Usa provedores OLE DB |
| É compatível com operações somente leitura para todas as fontes de dados e gravação em algumas fontes de dados externas | Oferece suporte a operações de leitura e gravação |
| Consultas à fonte de dados remota de uma única conexão podem ser expandidas | Consultas à fonte de dados remota de uma única conexão não podem ser expandidas |
| Há suporte para a propagação de predicados | Há suporte para a propagação de predicados |
| Nenhuma configuração separada é necessária para o grupo de disponibilidade | Configuração separada necessária para cada instância no grupo de disponibilidade |
| Somente autenticação básica | Autenticação básica e integrada |
| Adequado para consultas analíticas que processam um grande número de linhas | Adequado para consultas OLTP que retornam uma ou algumas linhas |
| Consultas que usam tabela externa não podem participar de transações distribuídas | Consultas distribuídas podem participar de transações distribuídas |
Novidades no PolyBase no SQL Server 2022?
O SQL Server 2022 (16.x) agora é compatível com arquivos CSV, parquet e delta armazenados no Azure Storage Account v2, no Azure Data Lake Storage Gen2 ou em qualquer armazenamento de objetos compatível com S3 usando a API REST do S3, no local ou na nuvem.
O SQL Server 2022 (16.x) agora pode usar CREATE EXTERNAL TABLE como SELECT (CETAS), em conjunto com comandos como OPENROWSET, CREATE EXTERNAL TABLE (CET) e todos os novos aprimoramentos do T-SQL.
Atualmente, a compatibilidade com as fontes de dados externas do Hadoop foi removida no SQL Server 2022 (16.x).
A atualização cumulativa 2 do SQL Server 2022 (16.x) agora dá suporte a arquivos TNS do Oracle. Confira CRIAR FONTE DE DADOS EXTERNA para saber mais e obter exemplos.
Leia mais sobre Virtualização de Dados com o PolyBase para SQL Server 2022 e veja Aprimoramentos do SQL Server 2022 PolyBase.
Novidades no PolyBase no SQL Server 2019?
O PolyBase no SQL Server 2019 (15.x) agora pode ler dados de uma variedade maior de fontes de dados. Os dados dessas fontes de dados externas podem ser armazenados como tabelas externas no SQL Server. O PolyBase também dá suporte à computação de aplicação para essas fontes de dados externas, exceto tipos genéricos de ODBC.
Fontes de Dados Compatíveis
- SQL Server
- Oracle
- Teradata
- MongoDB
- Tipos genéricos de ODBC compatíveis
A atualização cumulativa 19 do SQL Server 2019 (15.x) agora dá suporte a arquivos TNS do Oracle. Confira CRIAR FONTE DE DADOS EXTERNA para saber mais e obter exemplos.
Observação
O PolyBase pode permitir a conexão com fontes de dados externas usando drivers ODBC de terceiros. Esses drivers não são fornecidos com o PolyBase e podem não funcionar conforme o esperado. Para obter mais informações, consulte Configurar o PolyBase para acessar dados externos com tipos genéricos ODBC.
Quais CONNECTION_OPTIONS posso especificar para conexão com fontes de dados de terceiros?
Veja CREATE EXTERNAL DATA SOURCE (Transact-SQL) CONNECTION_OPTIONS para obter opções de conexão de provedor de dados compatíveis com o SQL Server, Oracle, Teradata, a API MongoDB para Cosmos DB e provedores de dados ODBC genéricos.
Como posso exibir o plano de execução de consulta remota da computação de pushdown do PolyBase?
Isso é possível por meio de alguns métodos, dependendo da versão do SQL Server. Confira Solução de problemas do PolyBase – para exibir o plano de consulta do PolyBase.
Como posso saber se a computação de pushdown do PolyBase está acontecendo?
O Polybase é compatível com o Banco de Dados SQL do Azure?
Não, mas você pode consultar dados nos arquivos colocados no Armazenamento de Blobs do Azure usando a função OPENROWSET ou usar CREATE EXTERNAL TABLE para ler de um pool de SQL sem servidor no Synapse Analytics. Para obter mais informações, consulte O SQL do Azure pode ler arquivos do Azure Data Lake Storage usando tabelas externas do SQL do Synapse.
O PolyBase é compatível com a Instância Gerenciada de SQL do Azure?
A Instância Gerenciada de SQL do Azure tem seus próprios recursos de virtualização de dados para o Azure Data Lake Storage (ADLS) e o Armazenamento de Blobs do Azure como fontes de dados. Para mais informações, consulte Virtualização de dados com a Instância Gerenciada de SQL do Azure.
Quais portas devo permitir no firewall para o PolyBase?
Não é necessário abrir outras portas para o PolyBase em si, exceto no caso de um grupo de escala horizontal do PolyBase. Sem um grupo de escala horizontal, o serviço PolyBase sozinho não deve exigir regras de firewall.
Em servidores Windows, o PolyBase aproveita as portas usadas pelo SQL Server na seção IPAll das configurações de TCP/IP, no SQL Server Configuration Manager. Para obter mais informações, confira Propriedades TCP/IP. Em servidores Linux, o PolyBase usa a configuração network.tcpport. Para obter mais informações, confira o Porta TCP.
Para grupos de escala horizontal do PolyBase em mais de um servidor Windows, confira as informações de porta na próxima pergunta.
No entanto, você deve permitir outras portas para comunicação com as várias fontes de dados externas usadas pelo PolyBase. Confira a configuração do ODBC, a configuração de recursos do Azure ou a documentação da fonte de dados específica. Por exemplo:
| Plataforma de origem | Referência |
|---|---|
| Microsoft SQL Server | Portas Usadas pelo SQL Server |
| Hortonworks HDP | Administrar o HDFS |
| Cloudera CDH | Portas usadas pelos componentes CDH |
Quais portas são usadas para o grupo de escala horizontal do PolyBase?
Por padrão, o serviço de movimentação de dados do PolyBase se conecta ao nó principal de um grupo de escala horizontal em um intervalo de portas de TCP 16450-16460, normalmente usando 16450-16453, mais a porta 17001. Essas portas só são usadas quando um grupo de escala horizontal do PolyBase está configurado e devem ser autorizadas nos firewalls de servidor. A instalação do SQL Server deve criar automaticamente uma regra de firewall local permitindo essas portas na instalação do recurso. Para obter mais informações, confira Configurar grupos de escala horizontal do PolyBase no Windows.
Observação
O grupo de escala horizontal do PolyBase do Microsoft SQL Server será desativado. A funcionalidade de grupo de escala horizontal será removida do produto no SQL Server 2022 (16.x).
PolyBase em clusters de Big Data vs. PolyBase em instâncias independentes
Para mais informações sobre conexões usando o conector genérico ODBC, acesse nosso Guia de instruções para configurar os tipos genéricos ODBC.
A seguinte tabela destaca os recursos do PolyBase disponíveis na instalação autônoma do SQL Server 2019 (15.x) e no cluster de big data do SQL Server 2019 (15.x):
| Recurso | Cluster de Big Data | Instância autônoma |
|---|---|---|
| Criar fonte de dados externa para SQL Server, Oracle, Teradata e Mongo DB | X | X |
| Criar fonte de dados externa usando um Driver ODBC de terceiros compatível | X | |
| Criar fonte de dados externa para a fonte de dados do HADOOP | X | X |
| Criar fonte de dados externa para o Armazenamento de Blobs do Azure | X | X |
| Criar tabela externa em um pool de dados do SQL Server | X | |
| Criar tabela externa em um pool de armazenamento do SQL Server | X | |
| Expandir execução de consulta | X | X (somente Windows) |
Importante
O complemento Clusters de Big Data do Microsoft SQL Server 2019 será desativado. O suporte para Clusters de Big Data do SQL Server 2019 será encerrado em 28 de fevereiro de 2025. Todos os usuários existentes do SQL Server 2019 com Software Assurance terão suporte total na plataforma e o software continuará a ser mantido por meio de atualizações cumulativas do SQL Server até esse momento. Para obter mais informações, confira a postagem no blog de anúncio e as opções de Big Data na plataforma do Microsoft SQL Server.