Asignación de AVRO
Use la asignación de AVRO para asignar datos entrantes a columnas dentro de tablas cuando el archivo de origen de ingesta esté en formato AVRO.
Cada elemento de la lista de asignaciones define la asignación de una columna específica. Estos elementos se construyen a partir de tres propiedades: column
, datatype
y properties
. Obtenga más información en la introducción a las asignaciones de datos.
Cada elemento de asignación de AVRO debe contener cualquiera de las siguientes propiedades opcionales:
Propiedad | Tipo | Descripción |
---|---|---|
Campo | string |
Nombre del campo en el registro AVRO. |
Ruta de acceso | string |
Si el valor comienza por $ se interpreta como la ruta de acceso al campo del documento AVRO que se convertirá en el contenido de la columna de la tabla. La ruta de acceso que indica que todo el registro AVRO es $ . Si el valor no comienza con $ se interpreta como un valor constante. Las rutas de acceso que incluyen caracteres especiales deben escape como ['Nombre de propiedad']. Para más información, consulte la sintaxis JSONPath. |
ConstValue | string |
Valor constante que se va a usar para una columna en lugar de algún valor dentro del archivo AVRO. |
Transformación | string |
Transformación que se debe aplicar en el contenido con transformaciones de asignación. |
Nota
El campo y la ruta de acceso son mutuamente excluyentes.
Las siguientes alternativas son equivalentes:
[
{"Column": "event_name", "Properties": {"Path": "$.EventName"}}
]
[
{"Column": "event_name", "Properties": {"Field": "EventName"}}
]
Importante
Para la ingesta en cola:
- Si la tabla a la que se hace referencia en la asignación no existe en la base de datos, se crea automáticamente, dado que se especifican tipos de datos válidos para todas las columnas.
- Si una columna a la que se hace referencia en la asignación no existe en la tabla, se agrega automáticamente a la tabla como la última columna en la primera vez que se ingieren datos para esa columna, dado que se especifica un tipo de datos válido para la columna. Para agregar nuevas columnas a una asignación, use el comando .alter ingestion mapping.
- Los datos se procesan por lotes mediante propiedades de ingesta. Las propiedades de asignación de ingesta más distintas usadas, como los distintos valores de ConstValue, más fragmentados se convierten en la ingesta, lo que puede provocar una degradación del rendimiento.
Ejemplos
[
{"Column": "event_timestamp", "Properties": {"Field": "Timestamp"}},
{"Column": "event_name", "Properties": {"Field": "Name"}},
{"Column": "event_type", "Properties": {"Field": "Type"}},
{"Column": "event_time", "Properties": {"Field": "Timestamp", "Transform": "DateTimeFromUnixMilliseconds"}},
{"Column": "ingestion_time", "Properties": {"ConstValue": "2021-01-01T10:32:00"}},
{"Column": "full_record", "Properties": {"Path": "$"}}
]
La asignación anterior se serializa como una cadena JSON cuando se proporciona como parte del .ingest
comando de administración.
.ingest into Table123 (@"source1", @"source2")
with
(
format = "AVRO",
ingestionMapping =
```
[
{"Column": "column_a", "Properties": {"Field": "Field1"}},
{"Column": "column_b", "Properties": {"Field": "$.[\'Field name with space\']"}}
]
```
)
Asignación creada previamente
Cuando se cree previamente la asignación, haga referencia a la asignación por nombre en el .ingest
comando de administración.
.ingest into Table123 (@"source1", @"source2")
with
(
format="AVRO",
ingestionMappingReference = "Mapping_Name"
)
Asignación de identidades
Use la asignación de AVRO durante la ingesta sin definir un esquema de asignación (consulte asignación de identidades).
.ingest into Table123 (@"source1", @"source2")
with
(
format="AVRO"
)
Comentarios
https://aka.ms/ContentUserFeedback.
Próximamente: A lo largo de 2024 iremos eliminando gradualmente las Cuestiones de GitHub como mecanismo de retroalimentación para el contenido y lo sustituiremos por un nuevo sistema de retroalimentación. Para más información, consulta:Enviar y ver comentarios de