LightIngest gebruiken om gegevens op te nemen in Azure Data Explorer

LightIngest is een opdrachtregelprogramma voor ad-hoc gegevens opname in Azure Data Explorer. Het hulpprogramma kan brongegevens uit een lokale map of uit een Azure Blob Storage-container halen. LightIngest is het handigst wanneer u een grote hoeveelheid gegevens wilt opnemen, omdat er geen tijdsbeperking is voor de opnameduur. Dit is ook handig wanneer u later records wilt opvragen op basis van het tijdstip waarop ze zijn gemaakt en niet de tijd waarop ze zijn opgenomen.

Als u automatisch een LightIngest-opdracht wilt genereren, zie De opnamewizard gebruiken voor een een time-opname van historische gegevens met LightIngest.

Vereisten

• LightIngest: download deze als onderdeel van het NuGet-pakket Microsoft.Azure.Kusto.Tools

  

• WinRAR: download het van www.win-rar.com/download.html

LightIngest installeren

1. Navigeer naar de locatie op uw computer waar u LightIngest hebt gedownload.
2. Gebruik WinRAR om de map hulpprogramma's uit te extraheren naar uw computer.

LightIngest uitvoeren

1. Navigeer naar de map met geëxtraheerde hulpprogramma's op uw computer.

2. Verwijder de bestaande locatiegegevens uit de locatiebalk.

   

3. Voer cmd in en druk op cmd

4. Voer bij de opdrachtprompt LightIngest.exe in, gevolgd door het relevante opdrachtregelargument.

   Tip

   Voer in voor een lijst met ondersteunde opdrachtregelargumenten. LightIngest.exe /help

   

5. Voer ingest- in, gevolgd door de connection string naar Azure Data Explorer cluster dat de opname beheert. Sluit de connection string tussen dubbele aanhalingstekens en volg de specificatie kusto-verbindingsreeksen.

   Bijvoorbeeld:

   ingest-{Cluster name and region}.kusto.windows.net;AAD Federated Security=True -db:{Database} -table:Trips -source:"https://{Account}.blob.core.windows.net/{ROOT_CONTAINER};{StorageAccountKey}" -pattern:"*.csv.gz" -format:csv -limit:2 -ignoreFirst:true -cr:10.0 -dontWait:true
   

Aanbevelingen

• De aanbevolen methode is dat LightIngest werkt met het opname-eindpunt op https://ingest-{yourClusterNameAndRegion}.kusto.windows.net . Op deze manier kan de Azure Data Explorer de opnamebelasting beheren en kunt u eenvoudig tijdelijke fouten herstellen. U kunt LightIngest echter ook configureren om rechtstreeks met het engine-eindpunt ( ) te https://{yourClusterNameAndRegion}.kusto.windows.net werken.

  Notitie

  Als u rechtstreeks op te nemen met het engine-eindpunt, hoeft u niet op te ingest- nemen. Er is echter geen DM-functie om de engine te beveiligen en het opnamepercentage te verbeteren.

• Voor optimale opnameprestaties is de onbewerkte gegevensgrootte nodig, zodat LightIngest de niet-gecomprimeerde grootte van lokale bestanden kan schatten. LightIngest kan de onbewerkte grootte van gecomprimeerde blobs echter mogelijk niet correct schatten zonder ze eerst te downloaden. Stel daarom bij het opnemen van gecomprimeerde blobs de eigenschap voor de blobmetagegevens in op niet-gecomprimeerde rawSizeBytes gegevensgrootte in bytes.

Opdrachtregelargumenten

Azure Blob-specifieke mogelijkheden

Wanneer LightIngest wordt gebruikt met Azure-blobs, worden bepaalde eigenschappen van blobmetagegevens gebruikt om het opnameproces te verbeteren.

Gebruiksvoorbeelden

Gegevens opnemen met CreationTime

Wanneer u historische gegevens van een bestaand systeem laadt Azure Data Explorer, ontvangen alle records dezelfde opnamedatum. Als u het partitioneren van uw gegevens wilt inschakelen door de aanmaaktijd te maken en niet de opnametijd, kunt u het -creationTimePattern argument gebruiken. Het -creationTimePattern argument extraheert de CreationTime eigenschap uit het bestands- of blobpad. Het patroon hoeft niet het hele itempad weer te geven, alleen de sectie die de tijdstempel omsluit die u wilt gebruiken.

De argumentwaarden moeten het volgende bevatten:

• Constante tekst direct vóór de tijdstempelnotatie, tussen enkele aanhalingstekens (voorvoegsel)
• De tijdstempelnotatie, in de standaard .NET DateTime-notatie
• Constante tekst direct na het tijdstempel (achtervoegsel).

Voorbeelden

• Een blobnaam die de datum/tijd als volgt bevat: (het tijdstempel is vier cijfers voor het jaar, twee cijfers voor de maand en twee cijfers voor de dag historicalvalues19840101.parquet van de maand),

  De waarde voor argument maakt deel uit van de -creationTimePattern-creationTimePattern

  ingest-{Cluster name and region}.kusto.windows.net;AAD Federated Security=True -db:{Database} -table:Trips -source:"https://{Account}.blob.core.windows.net/{ROOT_CONTAINER};{StorageAccountKey}" -creationTimePattern:"'historicalvalues'yyyyMMdd'.parquet'"
   -pattern:"*.parquet" -format:parquet -limit:2 -cr:10.0 -dontWait:true
  

• Voor een blob-URI die verwijst naar hiërarchische mapstructuur, zoals https://storageaccount/container/folder/2002/12/01/blobname.extension ,

  De waarde voor -creationTimePattern argument maakt deel uit van de mapstructuur: -creationTimePattern

    ingest-{Cluster name and region}.kusto.windows.net;AAD Federated Security=True -db:{Database} -table:Trips -source:"https://{Account}.blob.core.windows.net/{ROOT_CONTAINER};{StorageAccountKey}" -creationTimePattern:"'folder/'yyyy/MM/dd'/blob'"
     -pattern:"*.csv.gz" -format:csv -limit:2 -ignoreFirst:true -cr:10.0 -dontWait:true
  

Blobs opnemen met behulp van een opslagaccountsleutel of een SAS-token

• Opname van 10 blobs onder het opgegeven opslagaccount , in de map ACCOUNT , onder container , en die overeenkomen met het DIRCONT patroon *.csv.gz
• Doel is database DB , tabel en de opnametoewijzing TABLE is vooraf gemaakt op de MAPPING bestemming
• Het hulpprogramma wacht totdat de opnamebewerkingen zijn voltooid
• Let op de verschillende opties voor het opgeven van de doeldatabase en de opslagaccountsleutel versus het SAS-token

LightIngest.exe "https://ingest-{ClusterAndRegion}.kusto.windows.net;Fed=True"
  -database:DB
  -table:TABLE
  -source:"https://ACCOUNT.blob.core.windows.net/{ROOT_CONTAINER};{StorageAccountKey}"
  -prefix:"DIR"
  -pattern:*.csv.gz
  -format:csv
  -mappingRef:MAPPING
  -limit:10

LightIngest.exe "https://ingest-{ClusterAndRegion}.kusto.windows.net;Fed=True;Initial Catalog=DB"
  -table:TABLE
  -source:"https://ACCOUNT.blob.core.windows.net/{ROOT_CONTAINER}?{SAS token}"
  -prefix:"DIR"
  -pattern:*.csv.gz
  -format:csv
  -mappingRef:MAPPING
  -limit:10

Alle blobs opnemen in een container, met inbegrip van koprijen

• Alle blobs opnemen onder het opgegeven opslagaccount ACCOUNT , in de map , onder container , en die overeenkomen met het DIR1/DIR2CONT patroon *.csv.gz
• Doel is database DB , tabel en de opnametoewijzing TABLE is vooraf gemaakt op de MAPPING bestemming
• Bron-blobs bevatten een headerregel, zodat het hulpprogramma wordt geïnstrueerd om de eerste record van elke blob te laten vallen
• Het hulpprogramma plaatst de gegevens voor opname en wacht niet tot de opnamebewerkingen zijn voltooid

LightIngest.exe "https://ingest-{ClusterAndRegion}.kusto.windows.net;Fed=True"
  -database:DB
  -table:TABLE
  -source:"https://ACCOUNT.blob.core.windows.net/{ROOT_CONTAINER}?{SAS token}"
  -prefix:"DIR1/DIR2"
  -pattern:*.csv.gz
  -format:csv
  -mappingRef:MAPPING
  -ignoreFirstRow:true

Alle JSON-bestanden van een pad opnemen

• Alle bestanden opnemen onder pad PATH , die overeenkomen met het patroon *.json
• Doel is database DB , tabel en de TABLE opnametoewijzing wordt gedefinieerd in het lokale bestand MAPPING_FILE_PATH
• Het hulpprogramma plaatst de gegevens voor opname en wacht niet tot de opnamebewerkingen zijn voltooid

LightIngest.exe "https://ingest-{ClusterAndRegion}.kusto.windows.net;Fed=True"
  -database:DB
  -table:TABLE
  -source:"PATH"
  -pattern:*.json
  -format:json
  -mappingPath:"MAPPING_FILE_PATH"

Bestanden opnemen en diagnostische traceerbestanden schrijven

• Alle bestanden opnemen onder pad PATH , die overeenkomen met het patroon *.json
• Doel is database DB , tabel en de TABLE opnametoewijzing wordt gedefinieerd in het lokale bestand MAPPING_FILE_PATH
• Het hulpprogramma plaatst de gegevens voor opname en wacht niet tot de opnamebewerkingen zijn voltooid
• Traceerbestanden voor diagnostische gegevens worden lokaal in de map geschreven LOGS_PATH

LightIngest.exe "https://ingest-{ClusterAndRegion}.kusto.windows.net;Fed=True"
  -database:DB
  -table:TABLE
  -source:"PATH"
  -pattern:*.json
  -format:json
  -mappingPath:"MAPPING_FILE_PATH"
  -trace:"LOGS_PATH"