Udostępnij przez

cloud_files_state funkcja wartości tabeli

  • Artykuł

Dotyczy:zaznacz pole wyboru oznaczone jako tak Databricks SQL zaznacz pole wyboru oznaczone jako tak Databricks Runtime 11.3 LTS i nowsze

Zwraca stan na poziomie pliku modułu ładującego read_files lub strumienia.

Składnia

cloud_files_state( { TABLE ( table_name ) | checkpoint } )

Argumenty

Zwraca

Zwraca tabelę z następującym schematem:

  • path STRING NOT NULL PRIMARY KEY

    Ścieżka pliku.

  • size BIGINT NOT NULL

    Rozmiar pliku w bajtach.

  • create_time TIMESTAMP NOT NULL

    Czas utworzenia pliku.

  • discovery_time TIMESTAMP NOT NULL

    Ważne

    Ta funkcja jest dostępna w prywatnej wersji zapoznawczej. Aby ją wypróbować, skontaktuj się z osobą kontaktową usługi Azure Databricks.

    Czas odnalezienia pliku.

  • commit_time TIMESTAMP

    Ważne

    Ta funkcja jest dostępna w prywatnej wersji zapoznawczej. Aby ją wypróbować, skontaktuj się z osobą kontaktową usługi Azure Databricks.

    Czas zatwierdzenia pliku do punktu kontrolnego po przetworzeniu. NULL jeśli plik nie został jeszcze przetworzony. Plik może zostać przetworzony, ale może zostać oznaczony jako zatwierdzony dowolnie później. Oznaczanie pliku jako zatwierdzone oznacza, że moduł automatycznego ładowania nie wymaga ponownego przetworzenia pliku.

  • archive_time TIMESTAMP

    Ważne

    Ta funkcja jest dostępna w prywatnej wersji zapoznawczej. Aby ją wypróbować, skontaktuj się z osobą kontaktową usługi Azure Databricks.

    Czas archiwizacji pliku. NULL jeśli plik nie został zarchiwizowany.

  • source_id STRING

    Identyfikator źródła automatycznego modułu ładującego w zapytaniu przesyłania strumieniowego. Ta wartość dotyczy '0' strumieni pozyskanych z jednej lokalizacji magazynu obiektów w chmurze.

Uprawnienia

Musisz mieć następujące elementy:

  • OWNER uprawnienia w tabeli przesyłania strumieniowego, jeśli używasz identyfikatora tabeli przesyłania strumieniowego.
  • READ FILESuprawnienia w lokalizacji punktu kontrolnego, jeśli podają punkt kontrolny w lokalizacji zewnętrznej.

Przykłady

-- Simple example from checkpoint
> SELECT path FROM CLOUD_FILES_STATE('/some/checkpoint');
  /some/input/path
  /other/input/path

-- Simple example from source subdir
> SELECT path FROM CLOUD_FILES_STATE('/some/checkpoint/sources/0');
  /some/input/path
  /other/input/path

-- Simple example from streaming table
> SELECT path FROM CLOUD_FILES_STATE(TABLE(my_streaming_table));
  /some/input/path
  /other/input/path