Gegevens ophalen uit Azure Storage

  • Artikel

Gegevensopname is het proces dat wordt gebruikt om gegevens uit een of meer bronnen in een tabel in Azure Data Explorer te laden. Zodra de gegevens zijn opgenomen, worden ze beschikbaar voor query's. In dit artikel leert u hoe u gegevens uit Azure Storage (ADLS Gen2-container, blobcontainer of afzonderlijke blobs) kunt ophalen in een nieuwe of bestaande tabel.

Opname kan worden uitgevoerd als een eenmalige bewerking of als een continue methode. Continue opname kan alleen worden geconfigureerd via de portal.

Zie Azure Data Explorer overzicht van gegevensopname voor algemene informatie over gegevensopname.

Vereisten

Gegevens ophalen

  1. Selecteer Query in het menu links.

  2. Klik met de rechtermuisknop op de database waarin u de gegevens wilt opnemen. Selecteer Gegevens ophalen.

    Schermopname van het querytabblad, klik met de rechtermuisknop op een database en het dialoogvenster Opties ophalen wordt geopend.

Bron

In het venster Gegevens ophalen is het tabblad Bron geselecteerd.

Selecteer de gegevensbron in de lijst met beschikbare gegevens. In dit voorbeeld neemt u gegevens op uit Azure Storage.

Schermopname van het venster Gegevens ophalen met het tabblad Bron geselecteerd.

Configureren

  1. Selecteer een doeldatabase en -tabel. Als u gegevens wilt opnemen in een nieuwe tabel, selecteert u + Nieuwe tabel en voert u een tabelnaam in.

    Notitie

    Tabelnamen mogen maximaal 1024 tekens bevatten, inclusief spaties, alfanumerieke tekens, afbreekstreepjes en onderstrepingstekens. Speciale tekens worden niet ondersteund.

  2. Als u de bron wilt toevoegen, selecteert u Container selecteren of URI toevoegen.

    1. Als u Container selecteren hebt geselecteerd, vult u de volgende velden in:

      Schermopname van het tabblad Configureren met de nieuwe tabel ingevoerd en één voorbeeldgegevensbestand geselecteerd.

      Instelling Beschrijving van veld
      Abonnement De abonnements-id waar het opslagaccount zich bevindt.
      Storage-account De naam die uw opslagaccount identificeert.
      Container De opslagcontainer die u wilt opnemen.
      Bestandsfilters (optioneel)
      Mappad Hiermee filtert u gegevens om bestanden met een specifiek mappad op te nemen.
      Bestandsextensie Hiermee filtert u alleen gegevens om bestanden met een specifieke bestandsextensie op te nemen.

    2. Als u URI toevoegen hebt geselecteerd, plakt u uw opslag-verbindingsreeks voor een blobcontainer of afzonderlijke bestanden in het URI-veld en selecteert u +.

      Notitie

      • U kunt maximaal 10 afzonderlijke blobs toevoegen. Elke blob kan maximaal 1 GB ongecomprimeerd zijn.
      • U kunt maximaal 5000 blobs uit één container opnemen.

      Schermopname van het tabblad Configureren met de verbindingsreeks geplakt in het veld URI.

  3. Selecteer Volgende

Inspecteren

Het tabblad Inspecteren wordt geopend met een voorbeeld van de gegevens.

Selecteer Voltooien om het opnameproces te voltooien.

Schermopname van het tabblad Inspecteren.

Optioneel:

Kolommen bewerken

Notitie

  • Voor tabellaire indelingen (CSV, TSV, PSV) kunt u een kolom niet tweemaal toewijzen. Als u wilt toewijzen aan een bestaande kolom, verwijdert u eerst de nieuwe kolom.
  • U kunt een bestaand kolomtype niet wijzigen. Als u probeert toe te wijzen aan een kolom met een andere indeling, krijgt u mogelijk lege kolommen.

De wijzigingen die u in een tabel kunt aanbrengen, zijn afhankelijk van de volgende parameters:

  • Tabeltype is nieuw of bestaand
  • Toewijzingstype is nieuw of bestaand
Tabletype Toewijzingstype Beschikbare aanpassingen
Nieuwe tabel Nieuwe toewijzing Kolomnaam wijzigen, gegevenstype wijzigen, gegevensbron wijzigen, toewijzingstransformatie, kolom toevoegen, kolom verwijderen
Bestaande tabel Nieuwe toewijzing Kolom toevoegen (waarop u vervolgens het gegevenstype kunt wijzigen, de naam kunt wijzigen en bijwerken)
Bestaande tabel Bestaande toewijzing geen

Schermopname van kolommen die zijn geopend om te bewerken.

Toewijzingstransformaties

Sommige toewijzingen van gegevensindelingen (Parquet, JSON en Avro) ondersteunen eenvoudige opnametijdtransformaties. Als u toewijzingstransformaties wilt toepassen, maakt of werkt u een kolom bij in het venster Kolommen bewerken .

Toewijzingstransformaties kunnen worden uitgevoerd op een kolom van het type tekenreeks of datum/tijd, waarbij de bron het gegevenstype int of long heeft. Ondersteunde toewijzingstransformaties zijn:

  • DateTimeFromUnixSeconds
  • DateTimeFromUnixMilliseconds
  • DateTimeFromUnixMicroseconds
  • DateTimeFromUnixNanoseconds

Geavanceerde opties op basis van gegevenstype

Tabellair (CSV, TSV, PSV):

  • Als u tabelindelingen in een bestaande tabel opneemt, kunt u Geavanceerd>Huidig tabelschema behouden selecteren. Tabelgegevens bevatten niet noodzakelijkerwijs de kolomnamen die worden gebruikt om brongegevens toe te wijzen aan de bestaande kolommen. Wanneer deze optie is ingeschakeld, wordt de toewijzing op volgorde uitgevoerd en blijft het tabelschema hetzelfde. Als deze optie is uitgeschakeld, worden er nieuwe kolommen gemaakt voor binnenkomende gegevens, ongeacht de gegevensstructuur.

  • Als u de eerste rij als kolomnamen wilt gebruiken, selecteert u Geavanceerd>Eerste rij is kolomkop.

    Schermopname van geavanceerde CSV-opties.

JSON:

  • Als u de kolomverdeling van JSON-gegevens wilt bepalen, selecteert u Geavanceerde>geneste niveaus, van 1 tot 100.

  • Als u Geavanceerd>Fouten in gegevensindeling negeren selecteert, worden de gegevens opgenomen in JSON-indeling. Als u dit selectievakje niet inschakelt, worden de gegevens opgenomen in multijson-indeling.

    Schermopname van geavanceerde JSON-opties.

Samenvatting

In het venster Gegevensvoorbereiding worden alle drie de stappen gemarkeerd met groene vinkjes wanneer de gegevensopname is voltooid. U kunt de opdrachten bekijken die voor elke stap zijn gebruikt of een kaart selecteren om de opgenomen gegevens op te vragen, te visualiseren of te verwijderen.

Schermopname van de overzichtspagina met geslaagde opname voltooid.

Gerelateerde inhoud