كيفية تحديد مسار DBFS

عند العمل مع Azure Databricks سيكون لديك أحيانا للوصول إلى نظام الملفات Databricks (DBFS).

يتم الوصول إلى الملفات على DBFS مع أوامر نظام الملفات القياسية، ولكن بناء الجملة يختلف تبعا للغة أو الأداة المستخدمة.

على سبيل المثال، خذ مسار DBFS التالية:

dbfs:/mnt/test_folder/test_folder1/

Apache Spark

ضمن Spark، يجب تحديد المسار الكامل داخل الأمر قراءة Spark.

spark.read.parquet(“dbfs:/mnt/test_folder/test_folder1/file.parquet”)

DBUtils

عند استخدام DBUtils، يجب استخدام مسار DBFS الكامل، تماما كما هو الحال في أوامر Spark. يختلف التنسيق الخاص باللغة حول مسار DBFS استنادا إلى اللغة المستخدمة.

%fs
ls dbfs:/mnt/test_folder/test_folder1/
dbutils.fs.ls(‘dbfs:/mnt/test_folder/test_folder1/’)
dbutils.fs.ls(“dbfs:/mnt/test_folder/test_folder1/”)

ملاحظة

dbfs:تحديد غير مطلوب عند استخدام DBUtils أو أوامر Spark. المسار dbfs:/mnt/test_folder/test_folder1/ يعادل /mnt/test_folder/test_folder1/ .

أوامر شل

لا تتعرف أوامر Shell على مسار DFBS. بدلا من ذلك، DBFS والملفات داخل يتم الوصول إليها مع نفس بناء الجملة مثل أي مجلد آخر على نظام الملفات.

Bash

ls /dbfs/mnt/test_folder/test_folder1/
cat /dbfs/mnt/test_folder/test_folder1/file_name.txt

Python

import os
os.listdir('/dbfs/mnt/test_folder/test_folder1/’)

Scala

import java.io.File
val directory = new File("/dbfs/mnt/test_folder/test_folder1/")
directory.listFiles