COPY INTO (Delta Lake i Azure Databricks)

  • 2 minuter för att läsa

Viktigt

Den här funktionen finns som allmänt tillgänglig förhandsversion.

Läser in data från en fil Sök väg till en delta tabell. Det här är en triable-och idempotenta-åtgärd – filer på käll platsen som redan har lästs in hoppas över.

Syntax

COPY INTO table_identifier
  FROM [ file_location | (SELECT identifier_list FROM file_location) ]
  FILEFORMAT = data_source
  [FILES = [file_name, ... | PATTERN = 'regex_pattern']
  [FORMAT_OPTIONS ('data_source_reader_option' = 'value', ...)]
  [COPY_OPTIONS 'force' = ('false'|'true')]

  • table_identifier

    • [database_name.] table_name: Ett tabell namn, eventuellt kvalificerat med ett databas namn.
    • delta.`<path-to-table>`: Platsen för en befintlig delta tabell.

  • FRÅN file_location

    Filens plats att läsa in data från. Filer på den här platsen måste ha det format som anges i FILEFORMAT .

  • Välj identifier_list

    Markerar de angivna kolumnerna eller uttrycken från käll data innan de kopieras till delta tabellen.

  • FILEFORMAT = data_source

    Formatet på de källfiler som ska läsas in. En av CSV ,,, JSON AVRO ORC , PARQUET .

  • PROJEKTFILER

    En lista med fil namn som ska läsas in, med en längd på upp till 1000. Kan inte anges med PATTERN .

  • OFTA

    Ett regex-mönster som identifierar de filer som ska läsas in från käll katalogen. Kan inte anges med FILES .

  • FORMAT_OPTIONS

    Alternativ som ska skickas till Apache Spark data käll läsare för det angivna formatet.

  • COPY_OPTIONS

    Alternativ för att kontrol lera COPY INTO kommandots funktion. Det enda alternativet är 'force' . om värdet är är 'true' idempotens inaktiverat och filer läses in oavsett om de har lästs in tidigare.

Exempel

COPY INTO delta.`target_path`
  FROM (SELECT key, index, textData, 'constant_value' FROM 'source_path')
  FILEFORMAT = CSV
  PATTERN = 'folder1/file_[a-g].csv'
  FORMAT_OPTIONS('header' = 'true')