عمليات نظام الملفات على Azure Data Lake Storage Gen1 باستخدام Python

  • مقالة
  • قراءة خلال 2 دقائق

في هذه المقالة، يمكنك معرفة كيفية استخدام Python SDK لتنفيذ عمليات نظام الملفات على Azure Data Lake Storage Gen1. للحصول على إرشادات حول كيفية تنفيذ عمليات إدارة الحساب على Data Lake Storage Gen1 باستخدام Python، راجع عمليات إدارة الحساب على Data Lake Storage Gen1 باستخدام Python.

المتطلبات الأساسية

تثبيت الوحدات

للعمل مع Data Lake Storage Gen1 باستخدام Python ، تحتاج إلى تثبيت ثلاث وحدات.

  • الوحدة النمطية azure-mgmt-resource ، التي تتضمن وحدات Azure النمطية ل Active Directory، وما إلى ذلك.
  • الوحدة azure-mgmt-datalake-store النمطية ، والتي تتضمن عمليات إدارة حساب Gen1 Azure Data Lake Storage. لمزيد من المعلومات حول هذه الوحدة النمطية، راجع مرجع الوحدة النمطية azure-mgmt-datalake-store.
  • الوحدة azure-datalake-store النمطية ، التي تتضمن عمليات نظام الملفات Gen1 Azure Data Lake Storage. لمزيد من المعلومات حول هذه الوحدة النمطية، راجع مرجع الوحدة النمطية لنظام الملفات azure-datalake-store.

استخدم الأوامر التالية لتثبيت الوحدات النمطية.

pip install azure-mgmt-resource
pip install azure-mgmt-datalake-store
pip install azure-datalake-store

إنشاء تطبيق Python جديد

  1. في IDE من اختيارك ، قم بإنشاء تطبيق Python جديد ، على سبيل المثال ، mysample.py.

  2. إضافة الأسطر التالية لاستيراد الوحدات المطلوبة

    ## Use this only for Azure AD service-to-service authentication
from azure.common.credentials import ServicePrincipalCredentials

## Use this only for Azure AD end-user authentication
from azure.common.credentials import UserPassCredentials

## Use this only for Azure AD multi-factor authentication
from msrestazure.azure_active_directory import AADTokenCredentials

## Required for Azure Data Lake Storage Gen1 account management
from azure.mgmt.datalake.store import DataLakeStoreAccountManagementClient
from azure.mgmt.datalake.store.models import DataLakeStoreAccount

## Required for Azure Data Lake Storage Gen1 filesystem management
from azure.datalake.store import core, lib, multithread

## Common Azure imports
from azure.mgmt.resource.resources import ResourceManagementClient
from azure.mgmt.resource.resources.models import ResourceGroup

## Use these as needed for your application
import logging, getpass, pprint, uuid, time

  3. احفظ التغييرات في mysample.py.

المصادقة

في هذا القسم، نتحدث عن الطرق المختلفة للمصادقة باستخدام Azure AD. الخيارات المتاحة هي:

إنشاء عميل نظام الملفات

يقوم المقتطف التالي أولا بإنشاء عميل حساب Data Lake Storage Gen1. يستخدم كائن العميل لإنشاء حساب Data Lake Storage Gen1. وأخيرا، يقوم المقتطف بإنشاء كائن عميل نظام ملفات.

## Declare variables
subscriptionId = 'FILL-IN-HERE'
adlsAccountName = 'FILL-IN-HERE'

## Create a filesystem client object
adlsFileSystemClient = core.AzureDLFileSystem(adlCreds, store_name=adlsAccountName)

إنشاء دليل

## Create a directory
adlsFileSystemClient.mkdir('/mysampledirectory')

تحميل ملف

## Upload a file
multithread.ADLUploader(adlsFileSystemClient, lpath='C:\\data\\mysamplefile.txt', rpath='/mysampledirectory/mysamplefile.txt', nthreads=64, overwrite=True, buffersize=4194304, blocksize=4194304)

تنزيل ملف

## Download a file
multithread.ADLDownloader(adlsFileSystemClient, lpath='C:\\data\\mysamplefile.txt.out', rpath='/mysampledirectory/mysamplefile.txt', nthreads=64, overwrite=True, buffersize=4194304, blocksize=4194304)

حذف دليل

## Delete a directory
adlsFileSystemClient.rm('/mysampledirectory', recursive=True)

الخطوات التالية

راجع أيضًا