Cálculos de la aplicación en PolyBase

Se aplica a: SQL Server 2016 (13.x) y versiones posteriores

El cálculo de aplicación mejora el rendimiento de las consultas en los orígenes de datos externos. A partir de SQL Server 2016 (13.x), los cálculos de delegación han estado disponibles para los orígenes de datos externos de Hadoop. SQL Server 2019 (15.x) presentó los cálculos de delegación para otros tipos de orígenes de datos externos.

Habilitar el cálculo de la aplicación

En los artículos siguientes se incluye información sobre la configuración del cálculo de aplicación para tipos específicos de orígenes de datos externos:

• Habilitar el cálculo de la aplicación en Hadoop
• Configurar PolyBase para acceder a datos externos en Oracle
• Configurar PolyBase para obtener acceso a datos externos en Teradata
• Configurar PolyBase para acceder a datos externos en MongoDB
• Configuración de PolyBase para acceder a datos externos con tipos genéricos de ODBC
• Configurar PolyBase para acceder a datos externos en SQL Server

En esta tabla se resume la compatibilidad del cálculo de delegación en diferentes orígenes de datos externos:

* La compatibilidad con la delegación de Azure Cosmos DB se habilita mediante la API de Azure Cosmos DB para MongoDB.

** Consulte Cálculo de delegación y proveedores de Hadoop.

Cálculo de delegación y proveedores de Hadoop

 PolyBase es compatible con dos proveedores de Hadoop: Hortonworks Data Platform (HDP) y Cloudera Distributed Hadoop (CDH). No hay ninguna diferencia entre las dos características en cuanto al cálculo de delegación.

Para usar la funcionalidad de delegación de cálculos con Hadoop, el clúster de Hadoop de destino debe tener los componentes principales de HDFS, YARN y MapReduce con el servidor de historial de trabajos habilitado. PolyBase envía la consulta de aplicación a través de MapReduce y extrae el estado del servidor de historial de trabajos. Si falta algún componente, se produce un error en la consulta.

Una parte de la agregación debe producirse después de que los datos alcancen SQL Server. Pero una parte de la agregación se produce en Hadoop. Este método es habitual a la hora de calcular agregaciones en sistemas de procesamiento paralelo masivo.

Los proveedores de Hadoop admiten las siguientes agregaciones y filtros.

Principales escenarios beneficiosos del cálculo de delegación

Con el cálculo de delegación de PolyBase, puede delegar tareas de cálculo en orígenes de datos externos. Esto reduce la carga de trabajo en la instancia de SQL Server y puede mejorar significativamente el rendimiento.

SQL Server puede enviar combinaciones, proyecciones, agregaciones y filtros a orígenes de datos externos para aprovechar el cálculo remoto y restringir los datos enviados por medio de la red.

Delegación de combinaciones

En muchos casos, PolyBase puede facilitar la delegación del operador de combinación, lo cual mejora mucho el rendimiento.

Si la combinación se puede realizar en el origen de datos externo, la cantidad de movimientos de datos se reduce y el rendimiento de la consulta mejora. Sin la delegación de la combinación, los datos de las tablas que se vayan a combinar deben colocarse localmente en una base de datos temporal y, luego, combinarse.

Seleccionar un subconjunto de filas

Use la aplicación del predicado para mejorar el rendimiento de una consulta que selecciona un subconjunto de filas de una tabla externa.

En este ejemplo, SQL Server inicia un trabajo de asignación y reducción para recuperar las filas que coinciden con el predicado customer.account_balance < 200000 en Hadoop. Como la consulta se puede completar correctamente sin examinar todas las filas de la tabla, solo las filas que cumplen los criterios del predicado se copian en SQL Server. Esto ahorra mucho tiempo y exige menos espacio de almacenamiento temporal cuando el número de saldos de cliente < 200000 es pequeño en comparación con el número de clientes con saldos de cuenta > = 200000.

SELECT * FROM customer WHERE customer.account_balance < 200000;
SELECT * FROM SensorData WHERE Speed > 65;  

Seleccionar un subconjunto de columnas

Use la aplicación del predicado para mejorar el rendimiento de una consulta que selecciona un subconjunto de columnas de una tabla externa.

En esta consulta, SQL Server inicia un trabajo de asignación y reducción para preprocesar el archivo de texto delimitado de Hadoop, de tal modo que únicamente los datos de las dos columnas, customer.name y customer.zip_code, se copien en SQL Server.

SELECT customer.name, customer.zip_code
FROM customer
WHERE customer.account_balance < 200000;

Aplicación para operadores y expresiones básicas

SQL Server permite las siguientes expresiones básicas y operadores para la aplicación del predicado.

• Operadores de comparación binarios (<, >, =, !=, <>, >= y <=) para valores de hora, fecha y numéricos.
• Operadores aritméticos (+, -, *, / y %).
• Operadores lógicos (AND y OR).
• Operadores unarios (NOT, IS NULL y IS NOT NULL).

Los operadores BETWEEN, NOT, IN y LIKE se pueden insertar. El comportamiento real depende de cómo el optimizador de consultas vuelva a escribir las expresiones de operador como una serie de instrucciones que usan operadores relacionales básicos.

La consulta de este ejemplo tiene varios predicados que se pueden insertar en Hadoop. SQL Server puede insertar trabajos de asignación y reducción en Hadoop para ejecutar el predicado customer.account_balance <= 200000. La expresión BETWEEN 92656 AND 92677 se compone también de operaciones binarias y lógicas que se pueden insertar en Hadoop. La operación lógica AND en customer.account_balance AND customer.zipcode es una expresión final.

Dada esta combinación de predicados, los trabajos de Map Reduce pueden ejecutar todos la cláusula WHERE. Solo los datos que cumplen los criterios SELECT se vuelven a copiar en SQL Server.

SELECT * FROM customer 
WHERE customer.account_balance <= 200000 
AND customer.zipcode BETWEEN 92656 AND 92677;

Funciones admitidas para delegación

SQL Server admite las funciones que se indican a continuación para la delegación del predicado.

Funciones de cadena

• CONCAT
• DATALENGTH
• LEN
• LIKE
• LOWER
• LTRIM
• RTRIM
• SUBSTRING
• UPPER

Funciones matemáticas

• ABS
• ACOS
• ASIN
• ATAN
• CEILING
• COS
• EXP
• FLOOR
• POWER
• SIGN
• SIN
• SQRT
• TAN

Funciones generales

• COALESCE
• NULLIF

Funciones de fecha y hora

• DATEADD
• DATEDIFF
• DATEPART

Sintaxis que impide la delegación

Las siguientes funciones o sintaxis de T-SQL impiden el cálculo de delegación:

• AT TIME ZONE
• CONCAT_WS
• TRANSLATE
• RAND
• CHECKSUM
• BINARY_CHECKSUM
• ISJSON
• JSON_VALUE
• JSON_QUERY
• JSON_MODIFY
• NEWID
• STRING_ESCAPE
• COMPRESS
• DECOMPRESS
• GREATEST
• LEAST
• PARSE

La compatibilidad de la delegación con la sintaxis de FORMAT y TRIM se presentó en SQL Server 2019 (15.x) CU10.

Cláusula de filtro con variable

Si va a especificar una variable en una cláusula de filtro, de forma predeterminada esto impedirá la inserción de la cláusula de filtro. Por ejemplo, si ejecuta la consulta siguiente, la cláusula de filtro no se insertará:

DECLARE @BusinessEntityID INT

SELECT * FROM [Person].[BusinessEntity]  
WHERE BusinessEntityID = @BusinessEntityID;

Para lograr la inserción de la variable, debe habilitar la funcionalidad de revisiones del optimizador de consultas. Esto puede hacerse de una de las formas siguientes:

• Nivel de instancia: habilite la marca de seguimiento 4199 como parámetro de inicio para la instancia
• Nivel de base de datos: en el contexto de la base de datos que tiene los objetos externos de PolyBase, ejecute ALTER DATABASE SCOPED CONFIGURATION SET QUERY_OPTIMIZER_HOTFIXES = ON
• Nivel de consulta: use la sugerencia de consulta OPTION (QUERYTRACEON 4199) u OPTION (USE HINT ('ENABLE_QUERY_OPTIMIZER_HOTFIXES'))

Esta limitación se aplica a la ejecución de sp_executesql.

Nota: La capacidad de insertar la variable se incluyó por primera vez en SQL Server 2019 CU5.

Ejemplos

Forzar aplicación

SELECT * FROM [dbo].[SensorData]
WHERE Speed > 65
OPTION (FORCE EXTERNALPUSHDOWN);

Deshabilitar aplicación

SELECT * FROM [dbo].[SensorData]
WHERE Speed > 65
OPTION (DISABLE EXTERNALPUSHDOWN);

Pasos siguientes

• Para obtener más información sobre PolyBase, vea Introducción a la virtualización de datos con PolyBase.

Vea también

• Cómo saber si se ha producido una delegación externa