DBFS yolunu belirtme

Azure Databricks ile çalışırken, bazen Databricks dosya sistemine (DBFS) erişmeniz gerekir.

DBFS 'deki dosyalara erişim standart dosya sistemi komutlarıyla yapılır, ancak sözdizimi kullanılan dile veya araca bağlı olarak değişir.

Örneğin, aşağıdaki DBFS yolunu alın:

dbfs:/mnt/test_folder/test_folder1/

Apache Spark

Spark ' ın altında Spark Read komutunun içinde tam yolu belirtmeniz gerekir.

spark.read.parquet(“dbfs:/mnt/test_folder/test_folder1/file.parquet”)

DBUtils

Dbutilskullanırken, tam dBFS yolu Spark komutlarında olduğu gibi kullanılmalıdır. DBFS yolu etrafında dile özgü biçimlendirme, kullanılan dile bağlı olarak farklılık gösterir.

%fs
ls dbfs:/mnt/test_folder/test_folder1/
dbutils.fs.ls(‘dbfs:/mnt/test_folder/test_folder1/’)
dbutils.fs.ls(“dbfs:/mnt/test_folder/test_folder1/”)

Not

dbfs:DBUtils veya Spark komutları kullanılırken belirtme gerekli değildir. Yolu dbfs:/mnt/test_folder/test_folder1/ değerine eşdeğerdir /mnt/test_folder/test_folder1/ .

Kabuk komutları

Kabuk komutları, DFBS yolunu tanımıyor. Bunun yerine, DBFS ve içindeki dosyalar, dosya sistemindeki diğer klasörle aynı söz dizimiyle erişilir.

Bash

ls /dbfs/mnt/test_folder/test_folder1/
cat /dbfs/mnt/test_folder/test_folder1/file_name.txt

Python

import os
os.listdir('/dbfs/mnt/test_folder/test_folder1/’)

Scala

import java.io.File
val directory = new File("/dbfs/mnt/test_folder/test_folder1/")
directory.listFiles