Propriedades de ingestão de dados do Azure Data Explorer

  • Artigo

A ingestão de dados é o processo pelo qual os dados são adicionados a uma tabela e são disponibilizados para consulta no Azure Data Explorer. Pode adicionar propriedades ao comando de ingestão após a with palavra-chave.

Propriedades de ingestão

Importante

A tabela seguinte lista as propriedades suportadas pelo Azure Data Explorer, descreve-as e fornece exemplos:

Propriedade Descrição Exemplo
ingestionMapping Um valor de cadeia que indica como mapear dados do ficheiro de origem para as colunas reais na tabela. Defina o format valor com o tipo de mapeamento relevante. Veja mapeamentos de dados. with (format="json", ingestionMapping = "[{\"column\":\"rownumber\", \"Properties\":{\"Path\":\"$.RowNumber\"}}, {\"column\":\"rowguid\", \"Properties\":{\"Path\":\"$.RowGuid\"}}]")
(preterido: avroMapping, csvMapping, jsonMapping)
ingestionMappingReference Um valor de cadeia que indica como mapear dados do ficheiro de origem para as colunas reais na tabela com um objeto de política de mapeamento nomeado. Defina o format valor com o tipo de mapeamento relevante. Veja mapeamentos de dados. with (format="csv", ingestionMappingReference = "Mapping1")
(preterido: avroMappingReference, csvMappingReference, jsonMappingReference)
creationTime O valor datetime (formatado como uma cadeia de ISO8601) a utilizar no momento de criação das extensões de dados ingeridas. Se não for especificado, será utilizado o valor atual (now()). Substituir a predefinição é útil ao ingerir dados mais antigos, para que a política de retenção seja aplicada corretamente. Quando especificado, certifique-se de que a Lookback propriedade na política de intercalação Extensões efetiva da tabela de destino está alinhada com o valor especificado. with (creationTime="2017-02-13")
extend_schema Um valor booleano que, se especificado, instrui o comando a expandir o esquema da tabela (predefinição para false). Esta opção aplica-se apenas a .append comandos e .set-or-append . As únicas extensões de esquema permitidas têm colunas adicionais adicionadas à tabela no final. Se o esquema de tabela original for (a:string, b:int), uma extensão de esquema válida seria (a:string, b:int, c:datetime, d:string), mas (a:string, c:datetime) não seria válida
folder Para comandos ingest-from-query , a pasta a atribuir à tabela. Se a tabela já existir, esta propriedade substituirá a pasta da tabela. with (folder="Tables/Temporary")
format O formato de dados (veja formatos de dados suportados). with (format="csv")
ingestIfNotExists Um valor de cadeia que, se especificado, impede que a ingestão seja bem-sucedida se a tabela já tiver dados marcados com uma ingest-by: etiqueta com o mesmo valor. Isto garante a ingestão de dados idempotentes. Para obter mais informações, veja ingestão por: etiquetas. As propriedades with (ingestIfNotExists='["Part0001"]', tags='["ingest-by:Part0001"]') indicam que, se já existirem dados com a etiqueta ingest-by:Part0001 , não conclua a ingestão atual. Se ainda não existir, esta nova ingestão deverá ter esta etiqueta definida (caso uma ingestão futura tente ingerir os mesmos dados novamente.)
ignoreFirstRecord Um valor booleano que, se definido como true, indica que a ingestão deve ignorar o primeiro registo de cada ficheiro. Esta propriedade é útil para ficheiros em CSVformatos semelhantes, se o primeiro registo no ficheiro for os nomes das colunas. Por predefinição, false é assumido. with (ignoreFirstRecord=false)
policy_ingestiontime Um valor booleano que, se especificado, descreve se pretende ativar a Política de Tempo de Ingestão numa tabela criada por este comando. A predefinição é true. with (policy_ingestiontime=false)
recreate_schema Um valor booleano que, se especificado, descreve se o comando pode recriar o esquema da tabela. Esta propriedade aplica-se apenas ao .set-or-replace comando . Esta propriedade tem precedência sobre a extend_schema propriedade se ambas estiverem definidas. with (recreate_schema=true)
tags Uma lista de etiquetas a associar aos dados ingeridos, formatados como uma cadeia JSON with (tags="['Tag1', 'Tag2']")
validationPolicy Uma cadeia JSON que indica as validações a executar durante a ingestão de dados representados com o formato CSV. Veja Ingestão de dados para obter uma explicação das diferentes opções. with (validationPolicy='{"ValidationOptions":1, "ValidationImplications":1}') (esta é, na verdade, a política predefinida)
zipPattern Utilize esta propriedade ao ingerir dados do armazenamento que têm um arquivo ZIP. Trata-se de um valor de cadeia que indica a expressão normal a utilizar ao selecionar os ficheiros no arquivo ZIP a ingerir. Todos os outros ficheiros no arquivo serão ignorados. with (zipPattern="*.csv")

Conteúdo relacionado