Tipos de datos (Análisis de transmisiones de Azure)

Artículo
03/09/2023

En Azure Stream Analytics, cada registro tiene un tipo de datos relacionado. Un tipo de datos describe (y restringe) el conjunto de valores que un registro de ese tipo puede contener o una expresión de ese tipo puede producir.

Tenga en cuenta que son registros que tienen un tipo y no columnas. Cada registro de una columna puede tener un tipo diferente. Si esto es transparente para la mayoría de las aplicaciones, permite un control sencillo de escenarios de desfase de esquema y otros patrones de escritura inusuales.

Tipos de datos admitidos

A continuación se muestra la lista de los tipos de datos admitidos.

Tipo de datos	Descripción
bigint	Enteros en el intervalo -2^63 (-9,223,372,036,854,775,808) a 2^63-1 (9,223,372,036,854,775,807).
FLOAT	Números de puntos flotantes en el intervalo - 1.79E+308 to -2.23E-308, 0, and 2.23E-308 to 1.79E+308. En general, los valores decimales de punto flotante no tienen una representación binaria exacta. La pérdida de precisión se puede experimentar. Esto no es específico de Azure Stream Analytics, pero se produce en todas las implementaciones de números de punto flotante.
nvarchar(max)	Valores de texto, compuestos de caracteres Unicode. Nota: No se admite un valor distinto de max.
datetime	Define una fecha que se combina con una hora del día con fracciones de segundos (7 dígitos, precisión de 100 nanosegundos) que se basa en un reloj de 24 horas y en relación con utc (desplazamiento de zona horaria 0).
bit	Entero que puede tomar un valor de 1, 0 o NULL. Esto se admite en el nivel de compatibilidad 1.2 y versiones posteriores.
registro	Conjunto de pares nombre-valor. Los valores deben ser del tipo de datos admitido.
array	Colección ordenada de valores. Los valores deben ser del tipo de datos admitido.

Puede combinar en (o comparar) un bigint y un tipo de datos float. Funcionará correctamente en todos los casos, excepto en el caso de los valores bigint muy grandes que no se pueden representar.

Nota

Al leer tipos de datos bigint fuera del intervalo, Azure Stream Analytics admite, el trabajo de Stream Analytics no podría deserializar los eventos con el mensaje de error InputDeserializationError. Puede procesar previamente los datos y convertirlos en cadena. Una opción consiste en usar Azure Functions para procesar previamente los datos y convertir estos enteros grandes en cadena.

Conversiones de tipos

Estas son las reglas que rigen las conversiones de tipos de datos:

La conversión sin pérdida de precisión durante las operaciones de lectura y escritura de salida de entrada es implícita y siempre se realiza correctamente.
La pérdida de precisión y el desbordamiento dentro de las operaciones de escritura de salida se controlan mediante la directiva de error configurada (establecida en Drop o Retry)
La directiva de error controla los errores de conversión de tipos que se producen durante las operaciones de escritura de salida.
Los errores de conversión de tipos que se producen durante las operaciones de lectura de entrada hacen que el trabajo quite el evento.

Una pérdida de precisión puede producirse al convertir valores en float. No es específico de Azure Stream Analytics, sino del tipo de datos float en general. Por lo tanto, no se considera un error. En el caso de que sea necesario conservar cada dígito, los datos se deben leer como cadena.

Conversión de datos

Hay cuatro funciones en el lenguaje SQL de streaming que son útiles para observar y ajustar el tipo de datos de los datos.

CAST : convertir una sola columna en un tipo determinado: producirá un error en el trabajo en caso de error de conversión.
TRY_CAST : convierte una sola columna en un tipo determinado: los errores se permiten como NULL. Consulte la validación de entrada para obtener el mejor uso TRY_CAST
CREATE TABLE : defina un único esquema explícito en una entrada. Las filas con errores de conversión se quitan de la secuencia
GetType : devuelve el tipo de una columna.

Para la mayoría de los casos de uso, la opción recomendada es usar TRY_CAST. Esta función protege el procesamiento de bajada al garantizar el tipo de salida, a la vez que evita la pérdida de datos reemplazando el valor en error por NULL. La fila no se quita y ese valor original todavía se puede proyectar en otra columna.

Para obtener garantías seguras, la opción recomendada es usar CREATE TABLE. Este enfoque permite informar al trabajo del esquema de una entrada determinada, sin riesgo de desviación. El equilibrio es que solo se puede definir un único esquema en una entrada determinada y se quitarán las filas no compatibles.

Si es posible, todas las operaciones de conversión se deben realizar explícitamente a través de estas funciones, en lugar de implícitamente (silenciosamente) en otras funciones. Esto evita errores de coincidencia de tipos, comportamientos inesperados y errores de inserción para salidas fuertemente tipadas como bases de datos SQL. Consulte validación de entrada para obtener información sobre cómo proteger la lógica de consulta principal frente a estos errores.

Conversión a bit

Los valores se convertirán entre float y bit con las reglas siguientes:

De	En
(BIT) 1	(FLOAT) 1.0
(BIT) 0	(FLOAT) 0.0
(BIT) NULL	(FLOAT) NULL
(FLOAT) 0.0	(BIT) 0
(FLOAT) cualquier otro valor	(BIT) 1
(FLOAT) NULL	(BIT) NULL

Asignaciones de tipos y formatos de serialización

Tipo de datos	CSV en	SALIDA DE CSV	JSON en	JSON out	Avro in	Avro out
bigint	cadena convertida en un entero firmado de 64 bits	Entero de 64 bits con signo convertido en cadena mediante la referencia cultural del trabajo	number: entero convertido a entero de 64 bits con signo; Boolean: en el nivel de compatibilidad 1.1 y por debajo de "false" se convierte en 0, "true" se convierte en 1.	number: integer	long e int convertido en entero de 64 bits con signo; Boolean: en el nivel de compatibilidad 1.1 y por debajo de false se convierte en 0, true se convierte en 1	long
float	cadena que se convierte a un número de punto flotante firmado de 64 bits	Número de punto flotante con signo de 64 bits convertido en cadena mediante la referencia cultural del trabajo	number: fraction converted to 64 bit signed float point number (número de punto flotante con signo de 64 bits)	number: fraction	double y float convertidos en número de punto flotante firmado de 64 bits	double
nvarchar(max)	string	string	string	string	string	string
datetime	cadena convertida en datetime según norma ISO 8601	cadena que usa el estándar ISO 8601	cadena convertida en datetime según norma ISO 8601	datetime convertida en cadena con norma ISO 8601	cadena convertida en datetime según norma ISO 8601	datetime convertida en cadena con norma ISO 8601
bit (nivel de compatibilidad 1.2 y superior)	string "true", "false" o "null" se convierte en el valor entero 1, 0 o null correspondientemente.	convertido en la cadena "true" o "false"	Boolean: "false" se convierte en 0, "true" se convierte en 1	Boolean: valor booleano	Boolean: false se convierte en 0, true se convierte en 1	boolean
record	N/D	No se admite, se genera la cadena "Record"	Objeto JSON	Objeto JSON	Avro record type	Avro record type
array	N/D	No se admite, se genera la cadena "Array"	Objeto JSON	Objeto JSON	Avro record type	Avro record type

Nota:

No se necesita ninguna conversión de tipos de datos para Parquet.

Asignación de tipos al escribir en almacenes de datos estructurados

Tipo de datos	SQL	Power BI	Azure Cosmos DB	PostgreSQL	Explorador de datos de Azure
bigint	bigint, int, smallint, tinyint, todos los tipos de cadena (ntext, nvarchar, char, ...)	sí	numeric: entero	bigint	dynamic, int, long
float	float, real, decimal, numeric, all string types ( ntext, nvarchar, char, ...)	sí	number: fraction	precisión doble, numérica. Limitado a 1.78E+308	dinámico, real, double
nvarchar(max)	Todos los tipos de cadena (ntext, nvarchar, char, uniqueidentifier...)	yes	string	carácter variable, texto	dynamic, string
datetime	datetime, datetime2, datetimeoffset, todos los tipos de cadena ( ntext, nvarchar, char, ...)	sí	datetime convertida en cadena con norma ISO 8601	timestamp, time. Opción de zona horaria admitida, pero no se proporcionará ninguna zona horaria.	dynamic, string, datetime
bit (nivel de compatibilidad 1.2 y superior)	bigint, int, smallint, tinyint, bit, todos los tipos de cadena (ntext, nvarchar, char, ...)	sí	booleano: 1 se convierte en true, 0 convertido en false	bit	dynamic, bool
record	No se admite, se genera la cadena "Record"	No se admite, se genera la cadena "Record"	Objeto JSON	No compatible	dynamic, bool, long, datetime, byte array, real, double, string
array	No se admite, se genera la cadena "Array"	No se admite, se genera la cadena "Array"	Objeto JSON	No compatible	dynamic, string