Interfejs wiersza polecenia systemu DBFS (starsza wersja)

  • Artykuł

Ważne

Ta dokumentacja została wycofana i może nie zostać zaktualizowana.

Te informacje dotyczą starszych wersji interfejsu wiersza polecenia usługi Databricks w wersji 0.18 i poniżej. Usługa Databricks zaleca użycie nowszego interfejsu wiersza polecenia usługi Databricks w wersji 0.205 lub nowszej. Zobacz Co to jest interfejs wiersza polecenia usługi Databricks?. Aby znaleźć swoją wersję interfejsu wiersza polecenia usługi Databricks, uruchom polecenie databricks -v.

Aby przeprowadzić migrację z interfejsu wiersza polecenia usługi Databricks w wersji 0.18 lub nowszej do interfejsu wiersza polecenia usługi Databricks w wersji 0.205 lub nowszej, zobacz Migracja interfejsu wiersza polecenia usługi Databricks.

Uruchamiasz podpolecenia interfejsu wiersza polecenia systemu plików DBFS usługi Databricks, dołączając je do databricks fs (lub aliasu dbfs), prefiksując wszystkie ścieżki systemu plików DBFS za pomocą dbfs:/polecenia . Te podpolecenia wywołają interfejs API systemu plików DBFS.

databricks fs -h

Usage: databricks fs [OPTIONS] COMMAND [ARGS]...

  Utility to interact with DBFS. DBFS paths are all prefixed
  with dbfs:/. Local paths can be absolute or local.

Options:
  -v, --version
  -h, --help     Show this message and exit.

Commands:
  cat        Shows the contents of a file. Does not work for directories.
  configure
  cp         Copies files to and from DBFS.
    Options:
      -r, --recursive
      --overwrite     Overwrites files that exist already.
  ls         Lists files in DBFS.
    Options:
      --absolute      Displays absolute paths.
      -l              Displays full information including size and file type.
  mkdirs     Makes directories in DBFS.
  mv         Moves a file between two DBFS paths.
  rm         Removes files from DBFS.
    Options:
      -r, --recursive

W przypadku operacji, które wyświetlają, przenoszą lub usuwają więcej niż 10 000 plików, zdecydowanie odradzamy korzystanie z interfejsu wiersza polecenia systemu plików DBFS.

  • Operacja (databricks fs ls) zostanie przekroczona list po około 60s.
  • Operacja move (databricks fs mv) zostanie przekroczona po około 60s, co może spowodować częściowe przeniesienie danych.
  • Operacja delete (databricks fs rm) spowoduje przyrostowe usunięcie partii plików.

Zalecamy wykonanie takich operacji w kontekście klastra przy użyciu narzędzia systemowego plików (dbutils.fs). dbutils.fs Obejmuje zakres funkcjonalny interfejsu API REST systemu plików DBFS, ale z notesów. Uruchamianie takich operacji przy użyciu notesów zapewnia lepszą kontrolę, taką jak selektywne usuwanie, możliwość zarządzania i możliwość automatyzowania okresowych zadań.

Ograniczenia

Korzystanie z interfejsu wiersza polecenia dbFS usługi Databricks z kontenerami magazynu z włączoną zaporą nie jest obsługiwane. Firma Databricks zaleca używanie usługi Databricks Connect lub narzędzia az storage.

Wyświetlanie listy zawartości pliku

Aby wyświetlić dokumentację użycia, uruchom polecenie databricks fs cat --help.

databricks fs cat dbfs:/tmp/my-file.txt

Apache Spark is awesome!

Kopiowanie pliku

Aby wyświetlić dokumentację użycia, uruchom polecenie databricks fs cp --help.

databricks fs cp dbfs:/tmp/your_file.txt dbfs:/parent/child/grandchild/my_file.txt --overwrite

W przypadku powodzenia to polecenie nie wyświetla niczego.

Wyświetlanie listy informacji o plikach i katalogach

Aby wyświetlić dokumentację użycia, uruchom polecenie databricks fs ls --help.

databricks fs ls dbfs:/tmp --absolute -l

file  42408084  dbfs:/tmp/LoanStats.csv    1590005159000
file        40  dbfs:/tmp/file_b.txt       1603991038000
dir          0  dbfs:/tmp/hive                         0
dir          0  dbfs:/tmp/mlflow                       0
file       385  dbfs:/tmp/multi-line.json  1597770632000
dir          0  dbfs:/tmp/new                          0
dir          0  dbfs:/tmp/parent                       0
file       243  dbfs:/tmp/test.json        1597770628000
file        40  dbfs:/tmp/test_dbfs.txt    1603989162000

Tworzenie katalogu

Aby wyświetlić dokumentację użycia, uruchom polecenie databricks fs mkdirs --help.

databricks fs mkdirs dbfs:/tmp/new-dir

W przypadku powodzenia to polecenie nie wyświetla niczego.

Przenoszenie pliku

Aby wyświetlić dokumentację użycia, uruchom polecenie databricks fs mv --help.

databricks fs mv dbfs:/tmp/my-file.txt dbfs:/parent/child/grandchild/my-file.txt

W przypadku powodzenia to polecenie nie wyświetla niczego.

Usuwanie pliku

Aby wyświetlić dokumentację użycia, uruchom polecenie databricks fs rm --help.

databricks fs rm dbfs:/tmp/parent/child/grandchild/my-file.txt

Delete finished successfully.