DBFS パスを指定する方法How to specify the DBFS path

Azure Databricks を使用する場合、場合によっては、Databricks File System (DBFS) にアクセスする必要があります。When working with Azure Databricks you will sometimes have to access the Databricks File System (DBFS).

DBFS 上のファイルへのアクセスは、標準のファイルシステムコマンドを使用して行われますが、構文は使用する言語またはツールによって異なります。Accessing files on DBFS is done with standard filesystem commands, however the syntax varies depending on the language or tool used.

たとえば、次の DBFS パスを使用します。For example, take the following DBFS path:

dbfs:/mnt/test_folder/test_folder1/

Apache SparkApache Spark

Spark では、Spark read コマンド内に完全なパスを指定する必要があります。Under Spark, you should specify the full path inside the Spark read command.

spark.read.parquet(“dbfs:/mnt/test_folder/test_folder1/file.parquet”)

DBUtilsDBUtils

DBUtilsを使用する場合は、Spark コマンドの場合と同様に、完全な DBFS パスを使用する必要があります。When you are using DBUtils, the full DBFS path should be used, just like it is in Spark commands. DBFS パスを囲む言語固有の書式設定は、使用する言語によって異なります。The language specific formatting around the DBFS path differs depending on the language used.

%fs
ls dbfs:/mnt/test_folder/test_folder1/
dbutils.fs.ls(‘dbfs:/mnt/test_folder/test_folder1/’)
dbutils.fs.ls(“dbfs:/mnt/test_folder/test_folder1/”)

注意

dbfs:DBUtils または Spark コマンドを使用する場合は、を指定する必要はありません。Specifying dbfs: is not required when using DBUtils or Spark commands. パス dbfs:/mnt/test_folder/test_folder1/ はと同じです /mnt/test_folder/test_folder1/The path dbfs:/mnt/test_folder/test_folder1/ is equivalent to /mnt/test_folder/test_folder1/.

シェルコマンドShell commands

Shell コマンドでは、DFBS パスは認識されません。Shell commands do not recognize the DFBS path. 代わりに、ファイルシステム上の他のフォルダーと同じ構文で、DBFS と内のファイルにアクセスします。Instead, DBFS and the files within, are accessed with the same syntax as any other folder on the file system.

BashBash

ls /dbfs/mnt/test_folder/test_folder1/
cat /dbfs/mnt/test_folder/test_folder1/file_name.txt

PythonPython

import os
os.listdir('/dbfs/mnt/test_folder/test_folder1/’)

ScalaScala

import java.io.File
val directory = new File("/dbfs/mnt/test_folder/test_folder1/")
directory.listFiles