HDFS CLI'yi Data Lake Storage 2. Nesil ile kullanma
Hadoop Dağıtılmış Dosya Sistemi 'nde (HDFS) yaptığınız gibi bir komut satırı arabirimi kullanarak depolama hesabınızdaki verilere erişebilir ve verileri yönetebilirsiniz. Bu makalede, başlamanıza yardımcı olacak bazı örnekler verilmektedir.
HDInsight, işlem düğümlerine yerel olarak bağlı olan dağıtılmış kapsayıcıya erişim sağlar. HdFS ve Hadoop'un desteklediği diğer dosya sistemleriyle doğrudan etkileşim kuran kabuğu kullanarak bu kapsayıcıya erişebilirsiniz.
HDFS CLI hakkında daha fazla bilgi için resmi belgelere ve HDFS İzinleri Kılavuzu'na bakın
Not
HDInsight yerine Azure Databricks kullanıyorsanız ve verilerinizle komut satırı arabirimi kullanarak etkileşime geçmek istiyorsanız, Databricks dosya sistemiyle etkileşime geçmek için Databricks CLI'sini kullanabilirsiniz. Bkz. Databricks CLI.
Linux üzerinde HDInsight Hadoop kümesiyle HDFS CLI kullanma
İlk olarak , hizmetlere uzaktan erişim oluşturun. SSH seçerseniz örnek PowerShell kodu aşağıdaki gibi görünür:
#Connect to the cluster via SSH.
ssh sshuser@clustername-ssh.azurehdinsight.net
#Execute basic HDFS commands. Display the hierarchy.
hdfs dfs -ls /
#Create a sample directory.
hdfs dfs -mkdir /samplefolder
Bağlantı dizesi, Azure portal HDInsight kümesi dikey penceresinin "SSH + Küme oturumu açma" bölümünde bulunabilir. Küme oluşturma sırasında SSH kimlik bilgileri belirtildi.
Önemli
HDInsight küme faturalaması bir küme oluşturulduktan sonra başlar ve küme silindiğinde durur. Fatura dakikalara eşit olarak dağıtıldığından, kullanılmayan kümelerinizi mutlaka silmelisiniz. Küme silmeyi öğrenmek için konu başlığındaki makalemize bakın. Ancak, Data Lake Storage 2. Nesil etkin bir depolama hesabında depolanan veriler, HDInsight kümesi silindikten sonra bile devam eder.
Kapsayıcı oluşturma
hdfs dfs -D "fs.azure.createRemoteFileSystemDuringInitialization=true" -ls abfs://<container-name>@<storage-account-name>.dfs.core.windows.net/
Yer tutucuyu
<container-name>kapsayıcınıza vermek istediğiniz adla değiştirin.Yer tutucuyu
<storage-account-name>depolama hesabınızın adıyla değiştirin.
Dosya veya dizin listesini alma
hdfs dfs -ls <path>
Yer tutucuyu <path> kapsayıcının veya kapsayıcı klasörünün URI'siyle değiştirin.
Örnek: hdfs dfs -ls abfs://my-file-system@mystorageaccount.dfs.core.windows.net/my-directory-name
Dizin oluşturma
hdfs dfs -mkdir [-p] <path>
Yer tutucuyu <path> kök kapsayıcı adıyla veya kapsayıcınızın içindeki bir klasörle değiştirin.
Örnek: hdfs dfs -mkdir abfs://my-file-system@mystorageaccount.dfs.core.windows.net/
Dosya veya dizin silme
hdfs dfs -rm <path>
Yer tutucuyu <path> , silmek istediğiniz dosya veya klasörün URI'siyle değiştirin.
Örnek: hdfs dfs -rmdir abfs://my-file-system@mystorageaccount.dfs.core.windows.net/my-directory-name/my-file-name
Dosya ve dizinlerin Access Control Listelerini (ACL) görüntüleme
hdfs dfs -getfacl [-R] <path>
Örnek:
hdfs dfs -getfacl -R /dir
Bkz. getfacl
Dosya ve dizin ACL'lerini ayarlama
hdfs dfs -setfacl [-R] [-b|-k -m|-x <acl_spec> <path>]|[--set <acl_spec> <path>]
Örnek:
hdfs dfs -setfacl -m user:hadoop:rw- /file
Bkz . setfacl
Dosyaların sahibini değiştirme
hdfs dfs -chown [-R] <new_owner>:<users_group> <URI>
Bkz . chown
Dosyaların grup ilişkilendirmesini değiştirme
hdfs dfs -chgrp [-R] <group> <URI>
Bkz. chgrp
Dosyaların izinlerini değiştirme
hdfs dfs -chmod [-R] <mode> <URI>
Bkz. chmod
Apache Hadoop 2.4.1 Dosya Sistemi Kabuğu Kılavuzu Web Sitesinde komutların tam listesini görüntüleyebilirsiniz.