Azure Stream Analytics data fel

  • Artikel
  • 7 minuter för att läsa

Datafel är fel som uppstår vid bearbetning av data. Dessa fel inträffar oftast under data avserialisering, serialisering och skriv åtgärder. När data fel inträffar skriver Stream Analytics detaljerad information och exempel händelser till resurs loggarna. Använd diagnostikloggar i jobbet för att få ytterligare information. I vissa fall tillhandahålls en sammanfattning av den här informationen även via portal meddelanden.

Den här artikeln beskriver de olika fel typerna, orsakerna och resurs loggs informationen för fel i indata och utdata.

Schema för resurs loggar

Se felsöka Azure Stream Analytics med hjälp av diagnostikloggar för att se schemat för resurs loggar. Följande JSON är ett exempel värde för egenskaps fältet i en resurs logg för ett data fel.

{
    "Source": "InputTelemetryData",
    "Type": "DataError",
    "DataErrorType": "InputDeserializerError.InvalidData",
    "BriefMessage": "Json input stream should either be an array of objects or line separated objects. Found token type: Integer",
    "Message": "Input Message Id: https:\\/\\/exampleBlob.blob.core.windows.net\\/inputfolder\\/csv.txt Error: Json input stream should either be an array of objects or line separated objects. Found token type: Integer",
    "ExampleEvents": "[\"1,2\\\\u000d\\\\u000a3,4\\\\u000d\\\\u000a5,6\"]",
    "FromTimestamp": "2019-03-22T22:34:18.5664937Z",
    "ToTimestamp": "2019-03-22T22:34:18.5965248Z",
    "EventCount": 1
}

Indata-fel

InputDeserializerError.InvalidCompressionType

  • Orsak: den angivna typen av typ komprimering matchar inte data.
  • Portal meddelande har angetts: Ja
  • Resurs logg nivå: varning
  • Effekt: meddelanden med eventuella deserialiserings fel inklusive ogiltig komprimerings typ tas bort från indatamängden.
  • Logg information
    • Meddelande-ID för indatamängd. För Event Hub är identifieraren PartitionId, offset och Sequence Number.

Felmeddelande

"BriefMessage": "Unable to decompress events from resource 'https:\\/\\/exampleBlob.blob.core.windows.net\\/inputfolder\\/csv.txt'. Please ensure compression setting fits the data being processed."

InputDeserializerError.InvalidHeader

  • Orsak: rubriken på indata är ogiltig. En CSV-fil har till exempel kolumner med dubbla namn.
  • Portal meddelande har angetts: Ja
  • Resurs logg nivå: varning
  • Effekt: meddelanden med eventuella deserialiserings fel, inklusive ogiltigt sidhuvud, tas bort från indatamängden.
  • Logg information
    • Meddelande-ID för indatamängd.
    • Faktisk nytto Last upp till några kilobyte.

Felmeddelande

"BriefMessage": "Invalid CSV Header for resource 'https:\\/\\/exampleBlob.blob.core.windows.net\\/inputfolder\\/csv.txt'. Please make sure there are no duplicate field names."

InputDeserializerError.MissingColumns

  • Orsak: de angivna kolumnerna som definierats med CREATE TABLE eller genom tidsstämpeln finns inte.
  • Portal meddelande har angetts: Ja
  • Resurs logg nivå: varning
  • Effekt: händelser med saknade kolumner tas bort från indatamängden.
  • Logg information
    • Meddelande-ID för indatamängd.
    • Namnen på kolumnerna som saknas.
    • Faktisk nytto Last upp till några kilobyte.

Felmeddelanden

"BriefMessage": "Could not deserialize the input event(s) from resource 'https:\\/\\/exampleBlob.blob.core.windows.net\\/inputfolder\\/csv.txt' as Csv. Some possible reasons: 1) Malformed events 2) Input source configured with incorrect serialization format" 

"Message": "Missing fields specified in query or in create table. Fields expected:ColumnA Fields found:ColumnB"

InputDeserializerError.TypeConversionError

  • Orsak: det gick inte att konvertera indatamängden till den typ som anges i instruktionen CREATE TABLE.
  • Portal meddelande har angetts: Ja
  • Resurs logg nivå: varning
  • Påverkan: händelser med typ konverterings fel tas bort från indatamängden.
  • Logg information
    • Meddelande-ID för indatamängd.
    • Namnet på kolumnen och den förväntade typen.

Felmeddelanden

"BriefMessage": "Could not deserialize the input event(s) from resource '''https:\\/\\/exampleBlob.blob.core.windows.net\\/inputfolder\\/csv.txt ' as Csv. Some possible reasons: 1) Malformed events 2) Input source configured with incorrect serialization format" 

"Message": "Unable to convert column: dateColumn to expected type."

InputDeserializerError.InvalidData

  • Orsak: indata är inte i rätt format. Indatatypen är till exempel inte giltig JSON.
  • Portal meddelande har angetts: Ja
  • Resurs logg nivå: varning
  • Effekt: alla händelser i meddelandet efter att ett ogiltigt data fel har påträffats ignoreras från indata.
  • Logg information
    • Meddelande-ID för indatamängd.
    • Faktisk nytto Last upp till några kilobyte.

Felmeddelanden

"BriefMessage": "Json input stream should either be an array of objects or line separated objects. Found token type: String"

"Message": "Json input stream should either be an array of objects or line separated objects. Found token type: String"

InvalidInputTimeStamp

  • Orsak: det går inte att konvertera värdet för TIMESTAMP BY-uttrycket till DateTime.
  • Portal meddelande har angetts: Ja
  • Resurs logg nivå: varning
  • Påverkan: händelser med ogiltig tidsstämpel tas bort från inmatade värden.
  • Logg information
    • Meddelande-ID för indatamängd.
    • Fel meddelande.
    • Faktisk nytto Last upp till några kilobyte.

Felmeddelande

"BriefMessage": "Unable to get timestamp for resource 'https:\\/\\/exampleBlob.blob.core.windows.net\\/inputfolder\\/csv.txt ' due to error 'Cannot convert string to datetime'"

InvalidInputTimeStampKey

  • Orsak: värdet för TIMESTAMP BY timestampColumn är NULL.
  • Portal meddelande har angetts: Ja
  • Resurs logg nivå: varning
  • Effekt: händelser med ogiltig tids stämpling för inmatade tidsstämplar tas bort från indatamängden.
  • Logg information
    • Den faktiska nytto lasten upp till några kilobyte.

Felmeddelande

"BriefMessage": "Unable to get value of TIMESTAMP BY OVER COLUMN"

LateInputEvent

  • Orsak: skillnaden mellan kopplings tid och införsel tid är större än fönstret för sent införsel tolerans.
  • Portal meddelande har angetts: Nej
  • Resurs logg nivå: information
  • Påverkan: sena ingångs händelser hanteras enligt inställningen hantera andra händelser i avsnittet händelse ordning i jobb konfigurationen. Mer information finns i tids hanterings principer.
  • Logg information
    • Tid för program och tid för införsel.
    • Faktisk nytto Last upp till några kilobyte.

Felmeddelande

"BriefMessage": "Input event with application timestamp '2019-01-01' and arrival time '2019-01-02' was sent later than configured tolerance."

EarlyInputEvent

  • Orsak: skillnaden mellan program tid och införsel tid är större än 5 minuter.
  • Portal meddelande har angetts: Nej
  • Resurs logg nivå: information
  • Påverkan: tidiga ingångs händelser hanteras enligt inställningen hantera andra händelser i avsnittet händelse ordning i jobb konfigurationen. Mer information finns i tids hanterings principer.
  • Logg information
    • Tid för program och tid för införsel.
    • Faktisk nytto Last upp till några kilobyte.

Felmeddelande

"BriefMessage": "Input event arrival time '2019-01-01' is earlier than input event application timestamp '2019-01-02' by more than 5 minutes."

OutOfOrderEvent

  • Orsak: händelsen anses vara i ordning enligt den definierade tolerans perioden.
  • Portal meddelande har angetts: Nej
  • Resurs logg nivå: information
  • Påverkan: händelser som inte är i ordning hanteras enligt inställningen hantera andra händelser i avsnittet händelse ordning i jobb konfigurationen. Mer information finns i tids hanterings principer.
  • Logg information
    • Faktisk nytto Last upp till några kilobyte.

Felmeddelande

"Message": "Out of order event(s) received."

Fel vid utdata

Azure Stream Analytics kan identifiera fel i utgående data med eller utan en I/O-begäran till den utgående sinken beroende på konfigurationen. Till exempel saknas en obligatorisk kolumn, t. ex PartitionKey . När du använder Azure Table-utdata som kan identifieras utan I/O-begäran. Begränsnings överträdelser i SQL-utdata kräver dock en I/O-begäran.

Det finns flera datafel som bara kan identifieras efter ett anrop till utgående mottagare, vilket kan sakta ned bearbetningen. Lös detta genom att ändra jobbets konfiguration eller den fråga som orsakar data felet.

OutputDataConversionError.RequiredColumnMissing

  • Orsak: kolumnen som krävs för utdata finns inte. Till exempel finns en kolumn som definierats som Azure Table PartitionKey does't.
  • Portal meddelande har angetts: Ja
  • Resurs logg nivå: varning
  • Påverkan: alla fel konverterings fel, inklusive saknade obligatoriska kolumner, hanteras enligt princip inställningen för utdata .
  • Logg information
    • Kolumnens namn och antingen post-ID eller del av posten.

Felmeddelande

"Message": "The output record does not contain primary key property: [deviceId] Ensure the query output contains the column [deviceId] with a unique non-empty string less than '255' characters."

OutputDataConversionError.ColumnNameInvalid

  • Orsak: kolumnens värde stämmer inte med utdata. Kolumn namnet är till exempel inte en giltig Azure Table-kolumn.
  • Portal meddelande har angetts: Ja
  • Resurs logg nivå: varning
  • Påverkan: alla fel vid konvertering av utdata, inklusive Ogiltigt kolumn namn hanteras enligt princip inställningen för utdata .
  • Logg information
    • Kolumnens namn och antingen post-ID eller del av posten.

Felmeddelande

"Message": "Invalid property name #deviceIdValue. Please refer MSDN for Azure table property naming convention."

OutputDataConversionError.TypeConversionError

  • Orsak: det går inte att konvertera en kolumn till en giltig typ i utdata. Värdet för kolumnen är till exempel inte kompatibelt med begränsningar eller typ som definierats i SQL-tabellen.
  • Portal meddelande har angetts: Ja
  • Resurs logg nivå: varning
  • Påverkan: alla fel vid konvertering av utdata, inklusive typ konverterings fel, hanteras enligt princip inställningen för utdata.
  • Logg information
    • Kolumnens namn.
    • Antingen post-ID eller del av posten.

Felmeddelande

"Message": "The column [id] value null or its type is invalid. Ensure to provide a unique non-empty string less than '255' characters."

OutputDataConversionError.RecordExceededSizeLimit

  • Orsak: meddelandets värde är större än den tillåtna storleken för utdata. En post är till exempel större än 1 MB för en Event Hub-utdata.
  • Portal meddelande har angetts: Ja
  • Resurs logg nivå: varning
  • Effekt: alla fel vid utgående data konvertering, inklusive poster som överskrider storleks gränsen, hanteras enligt princip inställningen för utdata .
  • Logg information
    • Antingen post-ID eller del av posten.

Felmeddelande

"BriefMessage": "Single output event exceeds the maximum message size limit allowed (262144 bytes) by Event Hub."

OutputDataConversionError.DuplicateKey

  • Orsak: en post innehåller redan en kolumn med samma namn som en system kolumn. Till exempel är CosmosDB-utdata med en kolumn med namnet ID när ID kolumnen är till en annan kolumn.
  • Portal meddelande har angetts: Ja
  • Resurs logg nivå: varning
  • Påverkan: alla fel vid konvertering av utdata, inklusive dubblettnyckel, hanteras enligt princip inställningen för utdata .
  • Logg information
    • Kolumnens namn.
    • Antingen post-ID eller del av posten.
"BriefMessage": "Column 'devicePartitionKey' is being mapped to multiple columns."

Nästa steg