Gegevens ophalen uit Amazon S3

  • Artikel

Gegevensopname is het proces dat wordt gebruikt om gegevens uit een of meer bronnen in een tabel in Azure Data Explorer te laden. Zodra de gegevens zijn opgenomen, worden ze beschikbaar voor query's. In dit artikel leert u hoe u gegevens van Amazon S3 in een nieuwe of bestaande tabel kunt ophalen.

Zie Wat is Amazon S3? voor meer informatie over Amazon S3.

Zie Overzicht van gegevensopname in Azure Data Explorer voor algemene informatie over gegevensopname.

Vereisten

Gegevens ophalen

  1. Selecteer Query in het linkermenu.

  2. Klik met de rechtermuisknop op de database waarin u de gegevens wilt opnemen en selecteer vervolgens Gegevens ophalen.

    Schermopname van het querytabblad, waarbij u met de rechtermuisknop op een database klikt en het dialoogvenster Opties ophalen wordt geopend.

Bron

In het venster Gegevens ophalen is het tabblad Bron geselecteerd.

Selecteer de gegevensbron in de lijst met beschikbare gegevens. In dit voorbeeld neemt u gegevens op van Amazon S3.

Schermopname van het venster Gegevens ophalen met het tabblad Bron geselecteerd.

Configureren

  1. Selecteer een doeldatabase en -tabel. Als u gegevens wilt opnemen in een nieuwe tabel, selecteert u +Nieuwe tabel en voert u een tabelnaam in.

    Notitie

    Tabelnamen kunnen maximaal 1024 tekens bevatten, inclusief spaties, alfanumerieke tekens, afbreekstreepjes en onderstrepingstekens. Speciale tekens worden niet ondersteund.

  2. Plak in het veld URI de verbindingsreeks van één bucket of een afzonderlijk object in de volgende indeling.

    Bucket: https://BucketName.s3.RegionName.amazonaws.com

    Object: ObjectName;AwsCredentials=AwsAccessID,AwsSecretKey

    Desgewenst kunt u bucketfilters toepassen om gegevens te filteren op basis van een specifieke bestandsextensie.

    Schermopname van het tabblad Configureren met de nieuwe tabel ingevoerd en een Amazon S3-verbindingsreeks geplakt.

    Notitie

    Opname ondersteunt een maximale bestandsgrootte van 6 GB. Het wordt aanbevolen om bestanden tussen 100 MB en 1 GB op te nemen.

  3. Selecteer Next.

Inspecteren

Het tabblad Inspecteren wordt geopend met een voorbeeld van de gegevens.

Selecteer Voltooien om het opnameproces te voltooien.

Schermopname van het tabblad Inspecteren.

Optioneel:

Kolommen bewerken

Notitie

  • Voor tabellaire indelingen (CSV, TSV, PSV) kunt u een kolom niet tweemaal toewijzen. Als u wilt toewijzen aan een bestaande kolom, verwijdert u eerst de nieuwe kolom.
  • U kunt een bestaand kolomtype niet wijzigen. Als u probeert toe te wijzen aan een kolom met een andere indeling, kunt u lege kolommen krijgen.

De wijzigingen die u in een tabel kunt aanbrengen, zijn afhankelijk van de volgende parameters:

  • Tabeltype is nieuw of bestaand
  • Toewijzingstype is nieuw of bestaand
Tabletype Toewijzingstype Beschikbare aanpassingen
Nieuwe tabel Nieuwe toewijzing Kolomnaam wijzigen, gegevenstype wijzigen, gegevensbron wijzigen, toewijzingstransformatie, kolom toevoegen, kolom verwijderen
Bestaande tabel Nieuwe toewijzing Kolom toevoegen (waarop u vervolgens het gegevenstype kunt wijzigen, de naam kunt wijzigen en bijwerken)
Bestaande tabel Bestaande toewijzing geen

Schermopname van kolommen die zijn geopend om te worden bewerkt.

Toewijzingstransformaties

Sommige toewijzingen van gegevensindelingen (Parquet, JSON en Avro) ondersteunen eenvoudige opnametijdtransformaties. Als u toewijzingstransformaties wilt toepassen, maakt of werkt u een kolom bij in het venster Kolommen bewerken .

Toewijzingstransformaties kunnen worden uitgevoerd op een kolom van het type tekenreeks of datum/tijd, waarbij de bron het gegevenstype int of long heeft. Ondersteunde toewijzingstransformaties zijn:

  • DateTimeFromUnixSeconds
  • DateTimeFromUnixMilliseconds
  • DateTimeFromUnixMicroseconds
  • DateTimeFromUnixNanoseconds

Geavanceerde opties op basis van gegevenstype

Tabellair (CSV, TSV, PSV):

  • Als u tabelindelingen in een bestaande tabel opneemt, kunt u Geavanceerd>Huidig tabelschema behouden selecteren. Tabellaire gegevens bevatten niet noodzakelijkerwijs de kolomnamen die worden gebruikt om brongegevens toe te wijzen aan de bestaande kolommen. Wanneer deze optie is ingeschakeld, wordt de toewijzing op volgorde uitgevoerd en blijft het tabelschema hetzelfde. Als deze optie is uitgeschakeld, worden nieuwe kolommen gemaakt voor binnenkomende gegevens, ongeacht de gegevensstructuur.

  • Als u de eerste rij als kolomnamen wilt gebruiken, selecteert u Geavanceerd>Eerste rij is kolomkop.

    Schermopname van geavanceerde CSV-opties.

JSON:

  • Als u de kolomverdeling van JSON-gegevens wilt bepalen, selecteert u Geavanceerde>geneste niveaus, tussen 1 en 100.

  • Als u Geavanceerd>Fouten in gegevensindeling negeren selecteert, worden de gegevens opgenomen in JSON-indeling. Als u dit selectievakje uitgeschakeld laat, worden de gegevens opgenomen in multijson-indeling.

    Schermopname van geavanceerde JSON-opties.

Samenvatting

In het venster Gegevensvoorbereiding worden alle drie de stappen gemarkeerd met groene vinkjes wanneer de gegevensopname is voltooid. U kunt de opdrachten bekijken die voor elke stap zijn gebruikt of een kaart selecteren om de opgenomen gegevens op te vragen, te visualiseren of te verwijderen.

Schermopname van de overzichtspagina met geslaagde opname voltooid.

Gerelateerde inhoud