Historische gegevens opnemen in Azure Data Explorer

Een veelvoorkomend scenario bij het onboarden naar Azure Data Explorer is het opnemen van historische gegevens, ook wel backfill genoemd. Het proces omvat het opnemen van gegevens uit een bestaand opslagsysteem in een tabel, wat een verzameling van gebieden is.

We raden u aan historische gegevens op te nemen met behulp van de eigenschap creationTime ingestion om de aanmaaktijd van gebieden in te stellen op het moment dat de gegevens zijn gemaakt. Het gebruik van de aanmaaktijd als criterium voor opnamepartitionering kan uw gegevens verouderen in overeenstemming met uw cache - en bewaarbeleid en tijdfilters efficiënter maken.

Standaard is de aanmaaktijd voor gebieden ingesteld op het tijdstip waarop de gegevens worden opgenomen, wat mogelijk niet het verwachte gedrag veroorzaakt. Stel dat u een tabel hebt met een cacheperiode van 30 dagen en een bewaarperiode van twee jaar. In de normale stroom worden gegevens die tijdens de productie worden opgenomen, gedurende 30 dagen in de cache opgeslagen en vervolgens verplaatst naar koude opslag. Na twee jaar, op basis van de aanmaaktijd, worden oudere gegevens één dag tegelijk verwijderd. Als u echter twee jaar aan historische gegevens opneemt, waarbij de gegevens standaard worden gemarkeerd met aanmaaktijd als het tijdstip waarop de gegevens worden opgenomen. Dit levert mogelijk niet het gewenste resultaat op omdat:

• Alle gegevens komen in de cache terecht en blijven daar 30 dagen, waarbij meer cache wordt gebruikt dan verwacht.
• Oudere gegevens worden niet één dag tegelijk verwijderd; daarom worden gegevens langer bewaard in het cluster dan nodig is en worden ze na twee jaar allemaal in één keer verwijderd.
• Gegevens, die eerder waren gegroepeerd op datum in het bronsysteem, kunnen nu in dezelfde mate in batches worden samengevoegd , wat leidt tot inefficiënte query's.

In dit artikel leert u hoe u historische gegevens partitioneren:

• creationTime De opnameeigenschap gebruiken tijdens opname (aanbevolen)

  Neem waar mogelijk historische gegevens op met behulp van de creationTime opnameeigenschap, waarmee u de aanmaaktijd van de gebieden kunt instellen door deze uit het bestand of blobpad te extraheren. Als uw mappenstructuur geen patroon voor het maken van een datum gebruikt, raden we u aan uw bestand of blobpad te herstructureren om de aanmaaktijd weer te geven. Met deze methode worden de gegevens opgenomen in de tabel met de juiste aanmaaktijd en worden de cache- en bewaarperioden correct toegepast.

  Notitie

  Standaard worden gebieden gepartitioneerd op het moment van maken (opname) en in de meeste gevallen is het niet nodig om een beleid voor gegevenspartitionering in te stellen.

• Een partitioneringsbeleid na opname gebruiken

  Als u de creationTime opname-eigenschap niet kunt gebruiken, bijvoorbeeld als u gegevens opneemt met behulp van de Azure Cosmos DB-connector waar u de aanmaaktijd niet kunt beheren of als u de mappenstructuur niet kunt herstructureren, kunt u de tabel na opname opnieuw partitioneren om hetzelfde effect te bereiken met behulp van het partitiebeleid. Deze methode kan echter enige proefversies vereisen om beleidseigenschappen te optimaliseren en is minder efficiënt dan het gebruik van de creationTime opname-eigenschap. We raden deze methode alleen aan wanneer het gebruik van de creationTime opname-eigenschap niet mogelijk is.

Vereisten

• Een Microsoft-account of een Microsoft Entra gebruikersidentiteit. Een Azure-abonnement is niet vereist.
• Een Azure Data Explorer-cluster en -database. Maak een cluster en database.
• Een opslagaccount.
• Installeer LightIngest voor de aanbevolen methode voor het gebruik van de creationTime eigenschap opname tijdens opname.

Historische gegevens opnemen

We raden u ten zeerste aan om historische gegevens te partitioneren met behulp van de creationTime opname-eigenschap tijdens opname. Als u deze methode echter niet kunt gebruiken, kunt u de tabel na opname opnieuw partitioneren met behulp van een partitioneringsbeleid.

Tijdens opname (aanbevolen)

LightIngest kan handig zijn voor het laden van historische gegevens van een bestaand opslagsysteem naar Azure Data Explorer. Hoewel u uw eigen opdracht kunt maken met behulp van de lijst met opdrachtregelargumenten, wordt in dit artikel beschreven hoe u deze opdracht automatisch kunt genereren via een opnamewizard. Naast het maken van de opdracht, kunt u dit proces gebruiken om een nieuwe tabel te maken en schematoewijzing te maken. Met dit hulpprogramma wordt schematoewijzing afgeleid van uw gegevensset.

Doel

1. Selecteer in de webinterface van Azure Data Explorer in het linkermenu de optie Query.

2. Klik met de rechtermuisknop op de database waarin u de gegevens wilt opnemen en selecteer vervolgens LightIngest.

   

   Het venster Gegevens opnemen wordt geopend met het tabblad Bestemming geselecteerd. De velden Cluster en Database worden automatisch ingevuld.

3. Selecteer een doeltabel. Als u gegevens wilt opnemen in een nieuwe tabel, selecteert u Nieuwe tabel en voert u een tabelnaam in.

   Notitie

   Tabelnamen mogen maximaal 1024 tekens bevatten, inclusief spaties, alfanumerieke tekens, afbreekstreepjes en onderstrepingstekens. Speciale tekens worden niet ondersteund.

   

4. Selecteer Volgende: Bron.

Bron

1. Selecteer onder Bron selecteren de optie URL toevoegen of Container selecteren.

   • Wanneer u een URL toevoegt, geeft u onder Koppelen aan bron de accountsleutel of SAS-URL voor een container op. U kunt de SAS-URL handmatig of automatisch maken.

   • Wanneer u een container selecteert in uw opslagaccount, selecteert u uw Opslagabonnement, Opslagaccount en Container in de vervolgkeuzelijsten.

     

   Notitie

   Opname ondersteunt een maximale bestandsgrootte van 6 GB. Het wordt aanbevolen om bestanden tussen 100 MB en 1 GB op te nemen.

2. Selecteer Geavanceerde instellingen om aanvullende instellingen te definiëren voor het opnameproces met behulp van LightIngest.

   

3. Definieer in het deelvenster Geavanceerde configuratie de LightIngest-instellingen volgens de volgende tabel.

   

   Eigenschap	Beschrijving
   Patroon voor aanmaaktijd	Geef op om de eigenschap opnametijd van het gemaakte bereik te overschrijven met een patroon, bijvoorbeeld om een datum toe te passen op basis van de mapstructuur van de container. Zie ook Patroon aanmaaktijd.
   Blobnaampatroon	Geef het patroon op dat wordt gebruikt om de bestanden te identificeren die moeten worden opgenomen. Alle bestanden opnemen die overeenkomen met het blobnaampatroon in de opgegeven container. Ondersteunt jokertekens. We raden u aan tussen dubbele aanhalingstekens te plaatsen.
   Tag	Een tag die is toegewezen aan de opgenomen gegevens. De tag kan elke tekenreeks zijn.
   Beperk het aantal bestanden	Geef het aantal bestanden op dat kan worden opgenomen. Hiermee worden de eerste n bestanden opgenomen die overeenkomen met het blobnaampatroon, tot het opgegeven getal.
   Niet wachten totdat de opname is voltooid	Indien ingesteld, worden de blobs in de wachtrij geplaatst voor opname zonder het opnameproces te controleren. Als deze optie niet is ingesteld, blijft LightIngest de opnamestatus peilen totdat de opname is voltooid.
   Alleen geselecteerde items weergeven	Vermeld de bestanden in de container, maar neemt ze niet op.

4. Selecteer Gereed om terug te keren naar het tabblad Bron .

   1. Selecteer desgewenst Bestandsfilters om de gegevens te filteren om alleen bestanden op te nemen in een specifiek mappad of met een bepaalde bestandsextensie.

      

      Standaard wordt een van de bestanden in de container willekeurig geselecteerd en gebruikt om het schema voor de tabel te genereren.

   2. U kunt desgewenst onder Bestand met schema definiëren het te gebruiken bestand opgeven.

5. Selecteer Volgende: Schema om de configuratie van de tabelkolom weer te geven en te bewerken.

Schema

Het tabblad Schema biedt een voorbeeld van de gegevens.

Als u de opdracht LightIngest wilt genereren, selecteert u Volgende: Opname starten.

Optioneel:

• Wijzig de automatisch afgeleide gegevensindeling door de gewenste indeling te selecteren in de vervolgkeuzelijst.
• Wijzig de automatisch afgeleide toewijzingsnaam. U kunt alfanumerieke tekens en onderstrepingstekens gebruiken. Spaties, speciale tekens en afbreekstreepjes worden niet ondersteund.
• Wanneer u een bestaande tabel gebruikt, kunt u het huidige tabelschema behouden als het tabelschema overeenkomt met de geselecteerde indeling.
• Selecteer Opdrachtviewer om de automatische opdrachten weer te geven en te kopiëren die zijn gegenereerd op basis van uw invoer.
• Kolommen bewerken. Selecteer onder Gedeeltelijk gegevensvoorbeeld de vervolgkeuzemenu's van de kolom om verschillende aspecten van de tabel te wijzigen.

De wijzigingen die u in een tabel kunt aanbrengen, zijn afhankelijk van de volgende parameters:

• Tabeltype is nieuw of bestaand
• Toewijzingstype is nieuw of bestaand

Tabletype	Toewijzingstype	Beschikbare aanpassingen
Nieuwe tabel	Nieuwe toewijzing	Gegevenstype wijzigen, Kolomnaam wijzigen, Nieuwe kolom, Kolom verwijderen, Kolom bijwerken, Oplopend sorteren, Aflopend sorteren
Bestaande tabel	Nieuwe toewijzing	Nieuwe kolom (waarop u vervolgens het gegevenstype kunt wijzigen, de naam kunt wijzigen en bijwerken), Kolom bijwerken, Oplopend sorteren, Aflopend sorteren
	Bestaande toewijzing	Oplopend sorteren, Aflopend sorteren

Notitie

Wanneer u een nieuwe kolom toevoegt of een kolom bijwerkt, kunt u toewijzingstransformaties wijzigen. Zie Toewijzingstransformaties voor meer informatie

Opnemen

1. Zodra de tabel, toewijzing en de opdracht LightIngest zijn gemarkeerd met groene vinkjes, selecteert u het kopieerpictogram rechtsboven in het opdrachtvak Gegenereerd om de gegenereerde LightIngest-opdracht te kopiëren.

   

   Notitie

   Indien nodig kunt u het hulpprogramma LightIngest downloaden door LightIngest downloaden te selecteren.

2. Als u het opnameproces wilt voltooien, moet u LightIngest uitvoeren met behulp van de gekopieerde opdracht.

Post-opname

Stap 1: voorbereiden voor opnieuw partitioneren

1. Pas het bewaarbeleid aan om oude gegevens toe te staan. In het volgende voorbeeld stelt u bewaarbeleid voor de tabel MyTable in op 10 jaar.

   .alter-merge table MyTable policy retention softdelete = 3650d recoverability = enabled
   

2. Pas het cachebeleid aan zodat alle gegevens zich in de hot-cache bevinden voor de herpartitionering, omdat alleen dynamische gegevens na opname opnieuw kunnen worden gepartitioneerd. In het volgende voorbeeld stelt u de cache voor de tabel MyTable in op 10 jaar.

   .alter table MyTable policy caching hot = 3650d
   

   Belangrijk

   Het verhogen van het cachebeleid kan aanzienlijk meer hot cache gebruiken dan bij normale bewerkingen en kan leiden tot hogere kosten.

Stap 2: opnieuw partitioneren initiëren

1. Maak een partitioneringsbeleid waarmee de gegevens worden gepartitioneerd op basis van de kolom met de naam Timestamp. In het volgende voorbeeld stelt u het partitiebeleid voor de tabel MyTable in op partitionering door de kolom met de naam Timestamp.

   .alter table MyTable policy partitioning
   ```
   {
     "EffectiveDateTime" : "1970-01-01T00:00:00",
     "PartitionKeys": [
       {
         "ColumnName": "Timestamp",
         "Kind": "UniformRange",
         "Properties": {
           "Reference": "1970-01-01T00:00:00",
           "RangeSize": "1.00:00:00",
           "OverrideCreationTime": true
         }
       }
     ]
   }
   ```
   

   Zie Partitie-eigenschappen voor meer informatie over de eigenschappen van partitioneringsbeleid. Voor historische opname is het belangrijk hoe u de volgende eigenschappen instelt:

   • De eigenschap EffectiveDateTime moet worden ingesteld op een datum die eerder is dan het begin van de opname om de herpartitioning te activeren.
   • De RangeSize wordt ingesteld op één dag, zodat de gegevens opnieuw worden gepartitioneerd in buckets van één dag. U moet deze waarde echter zo instellen dat deze overeenkomt met uw gegevens. Als u bijvoorbeeld minder dan meerdere GB's aan gegevens per dag hebt, kunt u overwegen om een hogere waarde in te stellen.
   • De OverrideCreationTime moet worden ingesteld op true, zodat na het opnieuw partitioneren van de gegevens in dagbuckets, de gebieden worden gemarkeerd met die dag als de aanmaaktijd.

2. Stel een samenvoegbeleid in om het samenvoegen van alle gebieden toe te staan, inclusief gebieden die ouder zijn dan 14 dagen. Het instellen van dit beleid is belangrijk omdat het herpartitioneringsproces gebieden maakt die ouder zijn dan 14 dagen, die standaard worden uitgesloten door het samenvoegproces.

   .alter table MyTable policy merge
   ```
   {
     "Lookback": {
       "Kind": "HotCache"
     }
   }
   ```
   

3. Bewaak de voortgang van de herpartitionering met behulp van de opdracht .show database extents partitioning statistics . Zoek in de geretourneerde resultaten naar de tabel die u opnieuw partitioneert en bewaak de kolom PartitionedRowPercentage . Wanneer de waarde van de kolom PartitionedRowPercentage is, is 100het opnieuw partitioneren voltooid.

Stap 3: Na opnieuw partitioneren opschonen

Zodra het opnieuw partitioneren is voltooid, kunt u de beleidsregels opschonen die u in de vorige stappen hebt ingesteld.

1. Verwijder het partitioneringsbeleid.

   .delete table MyTable policy partitioning
   

2. Verwijder het samenvoegbeleid.

   .delete table MyTable policy merge
   

3. Verwijder of stel het cachebeleid in.

   // Remove the caching policy
   .delete table MyTable policy caching
   // OR set the caching policy to your desired value
   .alter table MyTable policy caching hot = 90d
   

4. Verwijder of stel het bewaarbeleid in.

   // Remove the retention policy
   .delete table MyTable policy retention
   // OR set the retention policy to your desired value
   .alter-merge table MyTable policy retention softdelete = 30d recoverability = enabled
   

Gerelateerde inhoud

• Query's uitvoeren op gegevens in Azure Data Explorer