Så här anger du sökvägen till DBFS

När du arbetar med Azure Databricks måste du ibland ha åtkomst till DBFS (Databricks File System).

Att komma åt filer på DBFS görs med vanliga fil Systems kommandon, men syntaxen varierar beroende på vilket språk eller verktyg som används.

Ta till exempel följande DBFS-sökväg:

dbfs:/mnt/test_folder/test_folder1/

Apache Spark

Under Spark bör du ange den fullständiga sökvägen i kommandot Spark Read.

spark.read.parquet(“dbfs:/mnt/test_folder/test_folder1/file.parquet”)

DBUtils

När du använder DBUtilsska den fullständiga DBFS-sökvägen användas, precis som i Spark-kommandon. Språkspecifik formatering kring DBFS-sökvägen varierar beroende på vilket språk som används.

%fs
ls dbfs:/mnt/test_folder/test_folder1/
dbutils.fs.ls(‘dbfs:/mnt/test_folder/test_folder1/’)
dbutils.fs.ls(“dbfs:/mnt/test_folder/test_folder1/”)

Anteckning

dbfs:Att ange krävs inte när du använder DBUtils-eller Spark-kommandon. Sökvägen dbfs:/mnt/test_folder/test_folder1/ motsvarar /mnt/test_folder/test_folder1/ .

Shell-kommandon

Shell-kommandon känner inte igen DFBS-sökvägen. I stället används DBFS och filerna i, samma syntax som andra mappar i fil systemet.

Bash

ls /dbfs/mnt/test_folder/test_folder1/
cat /dbfs/mnt/test_folder/test_folder1/file_name.txt

Python

import os
os.listdir('/dbfs/mnt/test_folder/test_folder1/’)

Scala

import java.io.File
val directory = new File("/dbfs/mnt/test_folder/test_folder1/")
directory.listFiles