Použití osvětlení k ingestování dat do Azure Průzkumník dat

Osvětlení je nástroj příkazového řádku pro přijímání dat ad hoc do Azure Průzkumník dat. Nástroj může vyžádat zdrojová data z místní složky nebo z kontejneru úložiště objektů BLOB v Azure. Osvětlení je nejužitečnější, když chcete ingestovat velké objemy dat, protože doba trvání příjmu není nijak omezený. Je to také užitečné v případě, že chcete později zadávat dotazy na záznamy podle času vytvoření, a ne podle času jejich ingestování.

Chcete-li automaticky vygenerovat příkaz světla, přečtěte si téma Průvodce příjemem příjmu pro jednorázové přijímání historických dat s osvětlením.

Požadavky

• osvětlení – stáhněte si ho jako součást balíčku Microsoft. Azure. Kusto. Tools NuGet.

  

• WinRAR – Stáhněte si ho z www.win-rar.com/download.html

Instalovat osvětlení

1. Přejděte do umístění v počítači, kam jste si stáhli osvětlení.
2. Pomocí WinRAR rozbalte do svého počítače adresář Tools .

Spustit osvětlení

1. Přejděte do složky extrahované nástroje ve vašem počítači.

2. Odstraní existující informace o poloze z pruhu umístění.

   

3. Zadejte cmd a stiskněte klávesu cmd.

4. Na příkazovém řádku zadejte LightIngest.exe následovaný odpovídajícím argumentem příkazového řádku.

   Tip

   Seznam podporovaných argumentů příkazového řádku získáte zadáním příkazu LightIngest.exe /help .

   

5. Zadejte ingest- následovaný připojovacím řetězcem ke clusteru Azure Průzkumník dat, který bude spravovat přijímání. Vložte připojovací řetězec do dvojitých uvozovek a postupujte podle specifikace připojovacích řetězců Kusto.

   Například:

   ingest-{Cluster name and region}.kusto.windows.net;AAD Federated Security=True -db:{Database} -table:Trips -source:"https://{Account}.blob.core.windows.net/{ROOT_CONTAINER};{StorageAccountKey}" -pattern:"*.csv.gz" -format:csv -limit:2 -ignoreFirst:true -cr:10.0 -dontWait:true
   

Doporučení

• Doporučenou metodou je osvětlení pro práci s koncovým bodem příjmu v https://ingest-{yourClusterNameAndRegion}.kusto.windows.net . Díky tomu může služba Azure Průzkumník dat spravovat zatížení ingestování a můžete je snadno obnovit z přechodných chyb. Můžete ale také nakonfigurovat osvětlení, aby fungovalo přímo s koncovým bodem modulu ( https://{yourClusterNameAndRegion}.kusto.windows.net ).

  Poznámka

  Pokud budete ingestovat přímo s koncovým bodem modulu, nemusíte vkládat ingest- . Nebude ale k dispozici funkce DM pro ochranu stroje a zvýšení úspěšnosti příjmu.

• Pro zajištění optimálního výkonu ingestování je potřeba velikost nezpracovaných dat, aby osvětlení mohla odhadnout nekomprimovanou velikost místních souborů. Osvětlení ale nemusí být schopné správně odhadnout velikost komprimovaných objektů BLOB bez jejich předchozího stažení. Proto při ingestování komprimovaných objektů BLOB nastavte rawSizeBytes vlastnost u metadat objektu BLOB na nekomprimovaná velikost dat v bajtech.

Argumenty příkazového řádku

Možnosti specifické pro objekty blob Azure

Při použití s objekty blob Azure lightIngest použije určité vlastnosti metadat objektů blob k vylepšení procesu příjmu dat.

Příklady použití

Jak ingestovat data pomocí CreationTime

Když načtete historická data z existujícího systému do Azure Data Explorer, všechny záznamy obdrží stejné datum příjmu dat. Pokud chcete povolit dělení dat podle času vytvoření, a ne času ingestování, můžete použít -creationTimePattern argument . Argument -creationTimePattern extrahuje CreationTime vlastnost ze souboru nebo cesty k objektu blob. Vzor nemusí odrážet celou cestu k položce, pouze část ohraničující časové razítko, které chcete použít.

Hodnoty argumentů musí obsahovat:

• Konstantní text bezprostředně před formátem časového razítka uzavřený v jednoduchých uvozovkách (předpona)
• Formát časového razítka ve standardním notaci .NET DateTime
• Konstantní text bezprostředně po časovém razítku (příponě).

Příklady

• Název objektu blob, který obsahuje následující datum a čas: (časové razítko je čtyři číslice pro rok, dvě číslice pro měsíc a dvě číslice pro historicalvalues19840101.parquet den v měsíci),

  Hodnota argumentu je součástí názvu -creationTimePattern souboru: -creationTimePattern

  ingest-{Cluster name and region}.kusto.windows.net;AAD Federated Security=True -db:{Database} -table:Trips -source:"https://{Account}.blob.core.windows.net/{ROOT_CONTAINER};{StorageAccountKey}" -creationTimePattern:"'historicalvalues'yyyyMMdd'.parquet'"
   -pattern:"*.parquet" -format:parquet -limit:2 -cr:10.0 -dontWait:true
  

• Identifikátor URI objektu blob, který odkazuje na hierarchickou strukturu složek, jako https://storageaccount/container/folder/2002/12/01/blobname.extension je ,

  Hodnota argumentu je součástí struktury -creationTimePattern složky: -creationTimePattern

    ingest-{Cluster name and region}.kusto.windows.net;AAD Federated Security=True -db:{Database} -table:Trips -source:"https://{Account}.blob.core.windows.net/{ROOT_CONTAINER};{StorageAccountKey}" -creationTimePattern:"'folder/'yyyy/MM/dd'/blob'"
     -pattern:"*.csv.gz" -format:csv -limit:2 -ignoreFirst:true -cr:10.0 -dontWait:true
  

Ingestování objektů blob pomocí klíče účtu úložiště nebo tokenu SAS

• Ingestování 10 objektů blob v rámci zadaného účtu úložiště ACCOUNT ve složce v kontejneru a DIR odpovídající CONT vzor *.csv.gz
• Cílem je databáze, tabulka a v cíli se předem vytvoří mapování DBTABLE příjmu MAPPING dat.
• Nástroj počká na dokončení operací ingestování.
• Všimněte si různých možností pro určení cílové databáze a klíče účtu úložiště vs. tokenu SAS.

LightIngest.exe "https://ingest-{ClusterAndRegion}.kusto.windows.net;Fed=True"
  -database:DB
  -table:TABLE
  -source:"https://ACCOUNT.blob.core.windows.net/{ROOT_CONTAINER};{StorageAccountKey}"
  -prefix:"DIR"
  -pattern:*.csv.gz
  -format:csv
  -mappingRef:MAPPING
  -limit:10

LightIngest.exe "https://ingest-{ClusterAndRegion}.kusto.windows.net;Fed=True;Initial Catalog=DB"
  -table:TABLE
  -source:"https://ACCOUNT.blob.core.windows.net/{ROOT_CONTAINER}?{SAS token}"
  -prefix:"DIR"
  -pattern:*.csv.gz
  -format:csv
  -mappingRef:MAPPING
  -limit:10

Ingestování všech objektů blob v kontejneru bez zahrnutí řádků záhlaví

• Ingestování všech objektů blob v zadaném účtu úložiště ACCOUNT ve složce v kontejneru a DIR1/DIR2 odpovídající CONT vzor *.csv.gz
• Cílem je databáze, tabulka a v cíli se předem vytvoří mapování DBTABLE příjmu MAPPING dat.
• Zdrojové objekty blob obsahují řádek záhlaví, takže nástroj má vypustit první záznam každého objektu blob.
• Nástroj bude data pro příjem dat odeslat a nebude čekat na dokončení operací ingestování.

LightIngest.exe "https://ingest-{ClusterAndRegion}.kusto.windows.net;Fed=True"
  -database:DB
  -table:TABLE
  -source:"https://ACCOUNT.blob.core.windows.net/{ROOT_CONTAINER}?{SAS token}"
  -prefix:"DIR1/DIR2"
  -pattern:*.csv.gz
  -format:csv
  -mappingRef:MAPPING
  -ignoreFirstRow:true

Ingestování všech souborů JSON z cesty

• Ingestování všech souborů v cestě PATH odpovídající vzoru *.json
• Cílem je databáze , tabulka a DB mapování příjmu dat je definované v místním TABLE souboru. MAPPING_FILE_PATH
• Nástroj bude data pro příjem dat odeslat a nebude čekat na dokončení operací ingestování.

LightIngest.exe "https://ingest-{ClusterAndRegion}.kusto.windows.net;Fed=True"
  -database:DB
  -table:TABLE
  -source:"PATH"
  -pattern:*.json
  -format:json
  -mappingPath:"MAPPING_FILE_PATH"

Ingestování souborů a zápis souborů trasování diagnostiky

• Ingestování všech souborů v cestě PATH odpovídající vzoru *.json
• Cílem je databáze , tabulka a DB mapování příjmu dat je definované v místním TABLE souboru. MAPPING_FILE_PATH
• Nástroj bude data pro příjem dat odeslat a nebude čekat na dokončení operací ingestování.
• Trasovací soubory diagnostiky se zapisou místně do složky . LOGS_PATH

LightIngest.exe "https://ingest-{ClusterAndRegion}.kusto.windows.net;Fed=True"
  -database:DB
  -table:TABLE
  -source:"PATH"
  -pattern:*.json
  -format:json
  -mappingPath:"MAPPING_FILE_PATH"
  -trace:"LOGS_PATH"