Datatyper (Azure Stream Analytics)

  • Artikel

I Azure Stream Analytics har varje post en relaterad datatyp. En datatyp beskriver (och begränsar) den uppsättning värden som en post av den typen kan innehålla eller ett uttryck av den typen kan producera.

Observera att det är poster som har en typ och inte kolumner. Varje post i en kolumn kan ha olika typer. Om detta är transparent för de flesta program möjliggör det enkel hantering av scenarier med schemaavvikelser och andra ovanliga skrivmönster.

Datatyper som stöds

Nedan visas listan över datatyper som stöds.

Datatyp Beskrivning
bigint Heltal i intervallet -2^63 (-9 223 372 036 854 775 808) till 2^63-1 (9 223 372 036 854 775 807).
flyt Flyttalsnummer i intervallet – 1,79E+308 till -2,23E-308, 0 och 2,23E-308 till 1,79E+308. Flyttals decimalvärden har vanligtvis inte någon exakt binär representation. Förlust av precision kan upplevas. Detta är inte specifikt för Azure Stream Analytics men sker i alla implementeringar av flyttalsnummer.
nvarchar(max) Textvärden, som består av Unicode-tecken. Obs! Ett annat värde än max stöds inte.
datetime Definierar ett datum som kombineras med en tid på dagen med bråksekunder (7 siffror, 100 nanosekunders precision) som baseras på en 24-timmarsklocka och i förhållande till UTC (tidszonsförskjutning 0).
bit Ett heltal som kan ha värdet 1, 0 eller NULL. Detta stöds i kompatibilitetsnivå 1.2 och senare.
spela in Uppsättning med namn/värde-par. Värden måste vara av datatyp som stöds.
matris Ordnad samling värden. Värden måste vara av datatyp som stöds.

Du kan ansluta till (eller jämföra) en bigint och en flyttalsdatatyp. Det fungerar korrekt i alla fall förutom för de mycket stora bigint-värden som inte kan representeras.

Anteckning

När du läser bigint-datatyper utanför intervallet, stöder Azure Stream Analytics, kan stream analytics-jobbet inte deserialisera händelserna med felmeddelandet InputDeserializationError. Du kan förbearbeta data och konvertera dem till en sträng. Ett alternativ är att använda Azure Functions för att förbearbeta data och konvertera så stora heltal till strängar.

Typkonverteringar

Det här är reglerna som styr datatypskonverteringar:

  • Konvertering utan precisionsförlust vid läs- och utdataskrivningsåtgärder är implicit och lyckas alltid
  • Precisionsförlust och spill inuti skrivåtgärder för utdata hanteras av konfigurerad felprincip (inställd på Antingen Släpp eller Försök igen)
  • Typkonverteringsfel som inträffar under skrivåtgärder för utdata hanteras av felprincipen
  • Typkonverteringsfel som inträffar under läsåtgärder för indata gör att jobbet släpper händelsen

En förlust av precision kan inträffa vid konvertering av värden till flyttal. Det är inte specifikt för Azure Stream Analytics utan för flyttalsdatatypen i allmänhet. Därför betraktas det inte som ett fel. Om varje siffra behöver sparas ska data läsas som sträng.

Omvandlingsdata

Det finns fyra funktioner i det strömmande SQL-språket som är användbara för att observera och justera datatypen för dina data.

  • CAST : omvandla en enskild kolumn till en viss typ – jobbet misslyckas vid konverteringsfel
  • TRY_CAST : omvandla en enskild kolumn till en viss typ – fel släpps igenom som NULL. Mer information om hur du använder indatavalidering finns i TRY_CAST
  • CREATE TABLE : definiera ett enskilt explicit schema för indata. Rader med konverteringsfel tas bort från strömmen
  • GetType : returnerar typen av en kolumn

För de flesta användningsfall är det rekommenderade alternativet att använda TRY_CAST. Den här funktionen skyddar nedströmsbearbetning genom att säkerställa utdatatypen, samtidigt som dataförlusten förhindras genom att värdet i fel ersätts med NULL. Raden tas inte bort och det ursprungliga värdet kan fortfarande projiceras i en annan kolumn.

För starka garantier är det rekommenderade alternativet att använda CREATE TABLE. Med den här metoden kan du informera jobbet om schemat för en viss indata, utan risk för avvikelse. Kompromissen är att endast ett enda schema kan definieras för en viss indata och att icke-kompatibla rader tas bort.

Om möjligt bör alla omvandlingsåtgärder utföras explicit via dessa funktioner i stället för implicit (tyst) i andra funktioner. På så sätt undviker du typmatchningsfel, oväntade beteenden och infogningsfel för starkt typifierade utdata som SQL-databaser. Information om hur du skyddar huvudfrågelogik från sådana fel finns i Indatavalidering .

Konvertering till bit

Värden konverteras mellan flyttal och bit med följande regler:

Från Om du vill
(BIT) 1 (FLOAT) 1.0
(BIT) 0 (FLOAT) 0.0
(BIT) NULL (FLYTTAL) NULL
(FLOAT) 0.0 (BIT) 0
(FLYTTAL) andra värden (BIT) 1
(FLYTTAL) NULL (BIT) NULL

Typmappningar och serialiseringsformat

Datatyp CSV i CSV ut JSON i JSON ut Avro in Avro ut
bigint sträng konverterad till ett 64-bitars signerat heltal 64-bitars signerat heltal konverterat till sträng med jobbkultur tal: heltal konverterat till 64-bitars heltal;

Booleskt värde: i kompatibilitetsnivå 1.1 och under "false" konverteras till 0 konverteras "true" till 1		 number: heltal långt och int konverterat till 64-bitars heltal.

Booleskt värde: i kompatibilitetsnivå 1.1 och under falskt konverteras till 0 konverteras sant till 1		 long
float sträng konverterad till 64-bitars signerat flyttalsnummer 64-bitars signerat flyttalsnummer konverterat till sträng med jobbkultur tal: bråktal konverterat till 64-bitars signerat flyttalsnummer tal: bråktal dubbel och flyttal konverterad till 64-bitars signerat flyttalpunktsnummer double
nvarchar(max) sträng sträng sträng sträng sträng sträng
Datetime sträng konverterad till datetime efter ISO 8601 standard sträng med iso 8601 standard sträng konverterad till datetime efter ISO 8601 standard datetime konverteras till sträng med ISO 8601 standard sträng konverterad till datetime efter ISO 8601 standard datetime konverteras till sträng med ISO 8601 standard
bit (kompatibilitetsnivå 1.2 och senare) strängen "true", "false" eller "null" konverteras till heltalsvärdet 1, 0 eller null på motsvarande sätt konverteras till strängen "true" eller "false" Booleskt värde: "false" konverteras till 0, "true" konverteras till 1 Booleskt värde: booleskt värde Booleskt värde: false konverteras till 0, sant konverteras till 1 boolean
Post Ej tillämpligt Det går inte att mata ut strängen "Post" JSON-objekt JSON-objekt Avro-posttyp Avro-posttyp
matris Ej tillämpligt Det går inte att mata ut strängen "Matris" JSON-objekt JSON-objekt Avro-posttyp Avro-posttyp

Anteckning

Ingen datatypskonvertering krävs för Parquet.

Typmappning vid skrivning till strukturerade datalager

Datatyp SQL Power BI Azure Cosmos DB PostgreSQL Azure-datautforskaren
bigint bigint, int, smallint, tinyint, alla strängtyper (ntext, nvarchar, char, ...) ja numeriskt: heltal bigint dynamisk, int, lång
float float, real, decimal, numeriskt, alla strängtyper ( ntext, nvarchar, char, ...) ja tal: bråktal dubbel precision, numeriskt. Begränsat till 1,78E+308 dynamisk, verklig, dubbel
nvarchar(max) Alla strängtyper (ntext, nvarchar, char, uniqueidentifier...) ja sträng tecken varierande, text dynamisk, sträng
Datetime datetime, datetime2, datetimeoffset, alla strängtyper ( ntext, nvarchar, char, ...) ja datetime konverteras till sträng med ISO 8601 standard tidsstämpel, tid. Tidszonsalternativet stöds men ingen tidszon tillhandahålls dynamic, string, datetime
bit (kompatibilitetsnivå 1.2 och senare) bigint, int, smallint, tinyint, bit, alla strängtyper (ntext, nvarchar, char, ...) ja booleskt värde: 1 konverteras till sant, 0 konverteras till falskt bit dynamisk, bool
Post Det går inte att mata ut strängen "Post" Det går inte att mata ut strängen "Post" JSON-objekt Stöds inte dynamic, bool, long, datetime, byte array, real, double, string
matris Det går inte att mata ut strängen "Matris" Det går inte att mata ut strängen "Matris" JSON-objekt Stöds inte dynamisk, sträng