Gegevenstypen (Azure Stream Analytics)

  • Artikel

In Azure Stream Analytics heeft elke record een gerelateerd gegevenstype. Een gegevenstype beschrijft (en beperkt) de set waarden die een record van dat type kan bevatten of een expressie van dat type kan produceren.

Houd er rekening mee dat het records zijn die een type hebben en geen kolommen. Elke record van een kolom kan een ander type hebben. Als dit transparant is voor de meeste toepassingen, is het mogelijk om schemadriftscenario's en andere ongebruikelijke typepatronen eenvoudig te verwerken.

Ondersteunde gegevenstypen

Hieronder vindt u een lijst met ondersteunde gegevenstypen.

Gegevenstype Beschrijving
bigint Gehele getallen in het bereik -2^63 (-9.223.372.036.854.775.808) tot 2^63-1 (9.223.372.036.854.775.807).
float Getallen met drijvende komma in het bereik 1,79E+308 tot -2,23E-308, 0 en 2,23E-308 tot 1,79E+308. Decimale waarden met drijvende komma hebben over het algemeen geen exacte binaire weergave. Verlies van precisie kan worden ervaren. Dit is niet specifiek voor Azure Stream Analytics, maar treedt op in alle implementaties van drijvendekommanummers.
nvarchar(max) Tekstwaarden, bestaande uit Unicode-tekens. Opmerking: een andere waarde dan max wordt niet ondersteund.
datum/tijd Definieert een datum die wordt gecombineerd met een tijd van de dag met fractionele seconden (7 cijfers, 100 nanoseconden precisie) die is gebaseerd op een 24-uurs klok en ten opzichte van UTC (tijdzone offset 0).
bit Een geheel getal dat een waarde van 1, 0 of NULL kan hebben. Dit wordt ondersteund in compatibiliteitsniveau 1.2 en hoger.
opnemen Set van naam/waarde-paren. Waarden moeten van het ondersteunde gegevenstype zijn.
matrix Geordende verzameling waarden. Waarden moeten van het ondersteunde gegevenstype zijn.

U kunt deelnemen aan (of vergelijken) een bigint en een float-gegevenstype. Het werkt in alle gevallen correct, met uitzondering van de zeer grote bigint-waarden die niet kunnen worden weergegeven.

Notitie

Bij het lezen van bigint-gegevenstypen buiten het bereik dat door Azure Stream Analytics wordt ondersteund, kan uw Stream Analytics-taak de gebeurtenissen niet deserialiseren met het foutbericht InputDeserializationError. U kunt de gegevens vooraf verwerken en converteren naar tekenreeks. Een optie is het gebruik van Azure-functies om de gegevens vooraf te verwerken en dergelijke grote gehele getallen te converteren naar een tekenreeks.

Typeconversies

Dit zijn de regels voor het converteren van gegevenstypen:

  • Conversie zonder precisieverlies tijdens invoerlees- en uitvoerschrijfbewerkingen is impliciet en is altijd succesvol
  • Precisieverlies en overloop in schrijfbewerkingen voor uitvoer worden verwerkt door geconfigureerd foutbeleid (ingesteld op Neerzetten of Opnieuw proberen)
  • Typeconversiefouten die optreden tijdens uitvoerschrijfbewerkingen, worden verwerkt door het foutbeleid
  • Typeconversiefouten die optreden tijdens invoerleesbewerkingen zorgen ervoor dat de taak de gebeurtenis laat vallen

Er kan een verlies van precisie optreden bij het converteren van waarden naar float. Het is niet specifiek voor Azure Stream Analytics, maar voor het gegevenstype float in het algemeen. Als zodanig wordt het niet beschouwd als een fout. In het geval dat elk cijfer moet worden bewaard, moeten de gegevens worden gelezen als tekenreeks.

Gegevens casten

Er zijn vier functies in de streaming SQL-taal die handig zijn voor het observeren en aanpassen van het gegevenstype van uw gegevens.

  • CAST : cast een enkele kolom naar een bepaald type - mislukt de taak in het geval van een conversiefout
  • TRY_CAST : één kolom naar een bepaald type casten- fouten worden doorgelaten als NULL. Zie invoervalidatie voor het beste gebruik TRY_CAST
  • CREATE TABLE : definieer één expliciet schema voor een invoer. Rijen met conversiefouten worden verwijderd uit de stream
  • GetType : retourneert het type kolom

Voor de meeste gebruiksvoorbeelden is de aanbevolen optie om TRY_CAST te gebruiken. Deze functie beveiligt downstreamverwerking door het uitvoertype te garanderen, terwijl het verlies van gegevens wordt voorkomen door de waarde fout te vervangen door NULL. De rij wordt niet verwijderd en die oorspronkelijke waarde kan nog steeds worden geprojecteerd in een andere kolom.

Voor sterke garanties is de aanbevolen optie CREATE TABLE te gebruiken. Deze benadering maakt het mogelijk om de taak te informeren over het schema van een bepaalde invoer, zonder risico op afwijking. Het nadeel is dat er slechts één schema kan worden gedefinieerd voor een bepaalde invoer en dat niet-compatibele rijen worden verwijderd.

Indien mogelijk moeten alle castingbewerkingen expliciet via deze functies worden uitgevoerd, in plaats van impliciet (op de achtergrond) in andere functies. Dit voorkomt niet-overeenkomende typen, onverwacht gedrag en invoegfouten voor sterk getypte uitvoer, zoals SQL-databases. Zie invoervalidatie voor informatie over het beveiligen van de hoofdquerylogica tegen dergelijke fouten.

Conversie naar bit

Waarden worden geconverteerd tussen float en bit met de volgende regels:

Van Tot
(BIT) 1 (FLOAT) 1.0
(BIT) 0 (FLOAT) 0,0
(BIT) NULL (FLOAT) NULL
(FLOAT) 0,0 (BIT) 0
(FLOAT) elke andere waarde (BIT) 1
(FLOAT) NULL (BIT) NULL

Typetoewijzingen en serialisatie-indelingen

Gegevenstype CSV in CSV-out JSON in JSON-out Avro in Avro uit
bigint tekenreeks geconverteerd naar een 64-bits geheel getal met tekenteken 64-bits geheel getal met tekenreeks geconverteerd naar een tekenreeks met behulp van taakcultuur getal: geheel getal geconverteerd naar 64-bits ondertekend geheel getal;

Booleaanse waarde: in compatibiliteitsniveau 1.1 en lager wordt 'false' geconverteerd naar 0, 'true' wordt geconverteerd naar 1		 getal: geheel getal long en int geconverteerd naar 64-bits geheel getal met teken;

Booleaanse waarde: in compatibiliteitsniveau 1.1 en lager wordt false geconverteerd naar 0, waar wordt geconverteerd naar 1		 long
float tekenreeks geconverteerd naar 64-bits ondertekend float point number 64-bits ondertekend floatpuntnummer geconverteerd naar tekenreeks met behulp van taakcultuur getal: breuk geconverteerd naar 64-bits ondertekend floatpuntnummer getal: breuk double and float converted to 64 bit signed float point number double
nvarchar(max) tekenreeks tekenreeks tekenreeks tekenreeks tekenreeks tekenreeks
Datetime tekenreeks geconverteerd naar datum/tijd volgens ISO 8601-standaard tekenreeks met ISO 8601-standaard tekenreeks geconverteerd naar datum/tijd volgens ISO 8601-standaard datum/tijd geconverteerd naar tekenreeks met iso 8601-standaard tekenreeks geconverteerd naar datum/tijd volgens ISO 8601-standaard datum/tijd geconverteerd naar tekenreeks met iso 8601-standaard
bit (compatibiliteitsniveau 1.2 en hoger) tekenreeks 'true', 'false' of 'null' wordt geconverteerd naar een geheel getal 1, 0 of null. geconverteerd naar tekenreeks 'true' of 'false' Booleaanse waarde: 'false' wordt geconverteerd naar 0, 'true' wordt geconverteerd naar 1 Booleaanse waarde: booleaanse waarde Booleaanse waarde: onwaar wordt geconverteerd naar 0, waar wordt geconverteerd naar 1 booleaans
Record N.v.t. Niet ondersteund, 'Record'-tekenreeks wordt uitgevoerd JSON-object JSON-object Avro-recordtype Avro-recordtype
Array N.v.t. Niet ondersteund, 'Matrix'-tekenreeks wordt uitgevoerd JSON-object JSON-object Avro-recordtype Avro-recordtype

Notitie

Er is geen gegevenstypeconversie nodig voor Parquet.

Typetoewijzing bij het schrijven naar gestructureerde gegevensarchieven

Gegevenstype SQL Power BI Azure Cosmos DB PostgreSQL Azure Data Explorer
bigint bigint, int, smallint, tinyint, alle tekenreekstypen (ntext, nvarchar, teken, ...) ja numeriek: geheel getal bigint dynamisch, int, lang
float float, real, decimal, numeriek, all string types ( ntext, nvarchar, char, ...) ja getal: breuk dubbele precisie, numeriek. Beperkt tot 1.78E+308 dynamisch, echt, dubbel
nvarchar(max) Alle tekenreekstypen (ntext, nvarchar, char, uniqueidentifier...) ja tekenreeks teken variërend, tekst dynamisch, tekenreeks
Datetime datetime, datetime2, datetimeoffset, alle tekenreekstypen ( ntext, nvarchar, char, ...) ja datum/tijd geconverteerd naar tekenreeks met iso 8601-standaard tijdstempel, tijd. De tijdzoneoptie wordt ondersteund, maar er wordt geen tijdzone opgegeven dynamisch, tekenreeks, datum/tijd
bit (compatibiliteitsniveau 1.2 en hoger) bigint, int, smallint, tinyint, bit, alle tekenreekstypen (ntext, nvarchar, char, ...) ja Booleaanse waarde: 1 wordt geconverteerd naar waar, 0 geconverteerd naar onwaar bit dynamisch, bool
Record Niet ondersteund, 'Record'-tekenreeks wordt uitgevoerd Niet ondersteund, 'Record'-tekenreeks wordt uitgevoerd JSON-object Niet ondersteund dynamic, bool, long, datetime, byte array, real, double, string
Array Niet ondersteund, 'Matrix'-tekenreeks wordt uitgevoerd Niet ondersteund, 'Matrix'-tekenreeks wordt uitgevoerd JSON-object Niet ondersteund dynamisch, tekenreeks