Właściwości pozyskiwania danych usługi Azure Data Explorer
Pozyskiwanie danych to proces dodawania danych do tabeli i udostępniania zapytań w usłudze Azure Data Explorer. Właściwości są dodawane do polecenia pozyskiwania po słowie with
kluczowym.
Właściwości pozyskiwania
Ważne
- W przypadku danych pozyskiwania w kolejce dane są wsadowe przy użyciu właściwości pozyskiwania. Bardziej odrębne właściwości mapowania pozyskiwania, takie jak różne wartości ConstValue, tym bardziej rozdrobnione pozyskiwanie staje się, co może prowadzić do obniżenia wydajności.
W poniższej tabeli wymieniono właściwości obsługiwane przez usługę Azure Data Explorer, opisano je i przedstawiono przykłady:
Właściwość | Opis | Przykład |
---|---|---|
ingestionMapping |
Wartość ciągu wskazująca sposób mapowania danych z pliku źródłowego na rzeczywiste kolumny w tabeli. Zdefiniuj format wartość z odpowiednim typem mapowania. Zobacz mapowania danych. |
with (format="json", ingestionMapping = "[{\"column\":\"rownumber\", \"Properties\":{\"Path\":\"$.RowNumber\"}}, {\"column\":\"rowguid\", \"Properties\":{\"Path\":\"$.RowGuid\"}}]") (przestarzałe: avroMapping , , jsonMapping csvMapping ) |
ingestionMappingReference |
Wartość ciągu wskazująca sposób mapowania danych z pliku źródłowego na rzeczywiste kolumny w tabeli przy użyciu nazwanego obiektu zasad mapowania. Zdefiniuj format wartość z odpowiednim typem mapowania. Zobacz mapowania danych. |
with (format="csv", ingestionMappingReference = "Mapping1") (przestarzałe: avroMappingReference , , jsonMappingReference csvMappingReference ) |
creationTime |
Wartość daty/godziny (sformatowana jako ciąg ISO8601), która ma być używana w czasie tworzenia pozyskanych zakresów danych. Jeśli nie zostanie określona, zostanie użyta bieżąca wartość (now() ). Zastępowanie wartości domyślnej jest przydatne podczas pozyskiwania starszych danych, dzięki czemu zasady przechowywania będą stosowane poprawnie. Po określeniu Lookback upewnij się, że właściwość w obowiązujących zasadach scalania Zakresy tabeli docelowej jest wyrównana do określonej wartości. |
with (creationTime="2017-02-13") |
extend_schema |
Wartość logiczna, która, jeśli została określona, powoduje, że polecenie rozszerza schemat tabeli (domyślnie na false ). Ta opcja dotyczy tylko .append poleceń i ..set-or-append Jedyne dozwolone rozszerzenia schematu mają dodatkowe kolumny dodane do tabeli na końcu. |
Jeśli oryginalny schemat tabeli to (a:string, b:int) , prawidłowe byłoby rozszerzenie (a:string, b:int, c:datetime, d:string) schematu , ale (a:string, c:datetime) nie byłoby prawidłowe |
folder |
W przypadku poleceń pozyskiwania z zapytania folder do przypisania do tabeli. Jeśli tabela już istnieje, ta właściwość zastąpi folder tabeli. | with (folder="Tables/Temporary") |
format |
Format danych (zobacz obsługiwane formaty danych). | with (format="csv") |
ingestIfNotExists |
Wartość ciągu, która, jeśli zostanie określona, uniemożliwia pomyślne pozyskiwanie, jeśli tabela zawiera już dane oznaczone tagiem ingest-by: o tej samej wartości. Zapewnia to pozyskiwanie danych idempotentnych. Aby uzyskać więcej informacji, zobacz ingest-by: tags (Pozyskiwanie według tagów). |
Właściwości with (ingestIfNotExists='["Part0001"]', tags='["ingest-by:Part0001"]') wskazują, że jeśli dane z tagiem ingest-by:Part0001 już istnieją, nie ukończ bieżącego pozyskiwania. Jeśli jeszcze nie istnieje, to nowe pozyskiwanie powinno mieć ten zestaw tagów (na wypadek, gdyby przyszłe pozyskiwanie próbowało ponownie pozyskać te same dane). |
ignoreFirstRecord |
Wartość logiczna, która, jeśli jest ustawiona na true wartość , wskazuje, że pozyskiwanie powinno ignorować pierwszy rekord każdego pliku. Ta właściwość jest przydatna w przypadku plików w CSV podobnych formatach, jeśli pierwszy rekord w pliku to nazwy kolumn. Domyślnie przyjmuje się założenie false . |
with (ignoreFirstRecord=false) |
policy_ingestiontime |
Wartość logiczna, która, jeśli została określona, opisuje, czy włączyć zasady czasu pozyskiwania w tabeli utworzonej przez to polecenie. Wartość domyślna to true . |
with (policy_ingestiontime=false) |
recreate_schema |
Wartość logiczna, która, jeśli zostanie określona, opisuje, czy polecenie może ponownie utworzyć schemat tabeli. Ta właściwość ma zastosowanie tylko do .set-or-replace polecenia . Ta właściwość ma pierwszeństwo przed właściwością extend_schema , jeśli obie są ustawione. |
with (recreate_schema=true) |
tags |
Lista tagów do skojarzenia z pozyskanymi danymi sformatowana jako ciąg JSON | with (tags="['Tag1', 'Tag2']") |
validationPolicy |
Ciąg JSON wskazujący, które walidacje mają być uruchamiane podczas pozyskiwania danych reprezentowanych przy użyciu formatu CSV. Zobacz Pozyskiwanie danych, aby uzyskać wyjaśnienie różnych opcji. | with (validationPolicy='{"ValidationOptions":1, "ValidationImplications":1}') (jest to w rzeczywistości zasada domyślna) |
zipPattern |
Użyj tej właściwości podczas pozyskiwania danych z magazynu, który ma archiwum ZIP. Jest to wartość ciągu wskazująca wyrażenie regularne do użycia podczas wybierania plików w archiwum ZIP do pozyskiwania. Wszystkie inne pliki w archiwum zostaną zignorowane. | with (zipPattern="*.csv") |
Zawartość pokrewna
- Dowiedz się więcej o pozyskiwaniu danych.
- Dowiedz się więcej o obsługiwanych formatach danych.
Opinia
https://aka.ms/ContentUserFeedback.
Dostępne już wkrótce: W 2024 r. będziemy stopniowo wycofywać zgłoszenia z serwisu GitHub jako mechanizm przesyłania opinii na temat zawartości i zastępować go nowym systemem opinii. Aby uzyskać więcej informacji, sprawdź:Prześlij i wyświetl opinię dla