HDInsight 'ta Apache Hadoop kümelerini Azure portal kullanarak yönetin
Azure Portalkullanarak, Azure hdınsight 'ta Apache Hadoop kümelerini yönetebilirsiniz. Diğer araçları kullanarak HDInsight 'ta Hadoop kümelerini yönetme hakkında bilgi için yukarıdaki sekme seçiciyi kullanın.
Önkoşullar
HDInsight 'ta mevcut bir Apache Hadoop kümesi. Bkz. HDInsight 'ta Azure Portal kullanarak Linux tabanlı kümeler oluşturma.
Başlarken
https://portal.azure.com adresinde oturum açın.
Kümeleri listeleme ve gösterme
HDInsight kümeleri sayfası, mevcut kümelerinizi listeler. Portaldan:
- Sol taraftaki menüden tüm hizmetler ' i seçin.
- Analiz altında HDInsight kümeleri ' ni seçin.
Küme giriş sayfası
HDInsight kümeleri sayfasından kümenizin adını seçin. Bu işlem, aşağıdaki görüntüye benzer şekilde görünen genel bakış görünümünü açar:
Üst menü:
| Öğe | Açıklama |
|---|---|
| Taşı | Kümeyi başka bir kaynak grubuna veya başka bir aboneliğe kaydırır. |
| Sil | Kümeyi siler. |
| Yenile | Görünümü yeniler. |
Sol menü:
Sol üst menü
Öğe Açıklama Genel Bakış Kümeniz için genel bilgiler sağlar. Etkinlik günlüğü Etkinlik günlüklerini gösterir ve sorgular. Erişim denetimi (IAM) Rol atamalarını kullanın. Azure abonelik kaynaklarınıza erişimi yönetmek için bkz. Azure rolleri atama. Etiketler Bulut hizmetlerinizin özel bir taksonomini tanımlamak için anahtar/değer çiftleri ayarlamanıza olanak sağlar. Örneğin, Proje adlı bir anahtar oluşturabilir ve ardından belirli bir projeyle ilişkili tüm hizmetler için ortak bir değer kullanabilirsiniz. Sorunları tanılayın ve çözün Sorun giderme bilgilerini görüntüleyin. Hızlı Başlangıç HDInsight kullanmaya başlamanıza yardımcı olacak bilgiler görüntüler. Araçlar HDInsight ile ilgili araçlar için yardım bilgileri. Ayarlar menüsü
Öğe Açıklama Küme boyutu Küme çalışan düğümlerinin sayısını denetleyin, artırın ve azaltın. Bkz. Ölçek Kümeleri. Kota sınırları Aboneliğiniz için kullanılan ve kullanılabilir çekirdekleri görüntüleyin. SSH + küme oturumu açma Secure Shell (SSH) bağlantısı kullanarak kümeye bağlanma yönergelerini gösterir. Daha fazla bilgi için bkz. HDInsight ile SSH kullanma. Data Lake Storage 1. Nesil erişim Data Lake Storage 1. yapılandırma. Bkz. hızlı başlangıç: HDInsight 'ta kümeleri ayarlama. Depolama hesapları Depolama hesaplarını ve anahtarları görüntüleyin. Depolama hesapları, küme oluşturma işlemi sırasında yapılandırılır. Uygulamalar HDInsight uygulamaları ekleyin/kaldırın. Bkz. özel HDInsight uygulamaları yüklemeyi. Betik eylemleri Kümede Bash betiklerini çalıştırın. Bkz. betik eylemi kullanarak Linux tabanlı HDInsight kümelerini özelleştirme. Dış meta veri Apache Hive ve Apache Oozie meta tastores ' nı görüntüleyin. Meta depolar yalnızca küme oluşturma işlemi sırasında yapılandırılabilir. HDInsight iş ortağı Geçerli HDInsight Iş ortağını ekleyin/kaldırın. Özellikler Küme özelliklerinigörüntüleyin. Kilitler Kümenin değiştirilmesini veya silinmesini engellemek için bir kilit ekleyin. Şablonu dışarı aktarma Küme için Azure Resource Manager şablonunu görüntüleyin ve dışarı aktarın. Şu anda yalnızca bağımlı Azure Storage hesabını dışarı aktarabilirsiniz. Bkz. HDInsight 'ta Azure Resource Manager şablonları kullanarak Linux tabanlı Apache Hadoop kümeleri oluşturma. İzleme menüsü
Öğe Açıklama Uyarılar Uyarıları ve eylemleri yönetin. Ölçümler Azure Izleyici günlüklerinde küme ölçümlerini izleyin. Tanılama ayarları tanılama ölçümlerini nerede depolayabileceğiniz Ayarlar. Azure İzleyici Azure Izleyici 'de kümenizi izleyin. Destek + sorun giderme menüsü
Öğe Açıklama Kaynak durumu Bkz. Azure Kaynak durumu genel bakış. Yeni destek isteği Microsoft desteğiyle bir destek bileti oluşturmanıza olanak sağlar.
Küme Özellikleri
Küme giriş sayfasında, kümeninaltında Ayarlar'yi seçin.
| Öğe | Açıklama |
|---|---|
| HOSTNAME | Küme adı. |
| KÜME URL'si | Ambari web arabiriminin URL'si. |
| Özel Uç Nokta | Küme için özel uç nokta. |
| Secure Shell (SSH) | SSH aracılığıyla kümeye erişimde kullanmak için kullanıcı adı ve ana bilgisayar adı. |
| DURUM | Bunlardan biri: Aborted, Accepted, ClusterStorageProvisioned, AzureVMConfiguration, HDInsightConfiguration, Operational, Running, Error, Delete, Deleted, Timedout, DeleteQueued, DeleteTimedout, DeleteError, PatchQueued, CertRolloverQueued, ResizeQueued veya ClusterCustomization. |
| BÖLGE | Azure konumu. Desteklenen Azure konumlarının listesi için HDInsightfiyatlandırması'nın Bölge açılan listesi kutusuna bakın. |
| OLUŞTURMA TARİHİ | Kümenin dağıtılacağı tarih. |
| İŞLETİM SİSTEMİ | Linux Windows veya . |
| TÜR | Hadoop, HBase, Storm, Spark. |
| Sürüm | Bkz. HDInsight sürümleri. |
| Minimum TLS sürümü | TLS sürümü. |
| ABONELİK | Abonelik adı. |
| VARSAYıLAN VERI KAYNAĞı | Varsayılan küme dosya sistemi. |
| Çalışan düğümleri boyutları | Çalışan düğümlerinin seçilen VM boyutu. |
| Baş düğüm boyutu | Baş düğümlerin seçilen VM boyutu. |
| Sanal ağ | Dağıtım zamanında seçiliyse, kümenin dağıtılacağı Sanal Ağın adı. |
Kümeleri taşıma
HDInsight kümelerini başka bir Azure kaynak grubuna veya başka bir aboneliğe taşıyabilirsiniz.
Küme giriş sayfasından:
- Üst menüden Taşı'ya tıklayın.
- Başka bir kaynak grubuna taşı'ya veya Başka bir aboneliğe taşı'ya tıklayın.
- Yeni sayfada verilen yönergeleri izleyin.
Kümeleri silme
Kümenin silinmesi, varsayılan depolama hesabını veya bağlı depolama hesaplarını silemez. Aynı depolama hesaplarını ve aynı meta veri depolarını kullanarak kümeyi yeniden oluşturabilirsiniz. Kümeyi yeniden oluşturmada yeni bir varsayılan Blob kapsayıcısı kullanılması önerilir.
Küme giriş sayfasından:
- Üst menüden Sil'i seçin.
- Yeni sayfada verilen yönergeleri izleyin.
Ayrıca bkz. Kümeleri duraklatma/kapatma.
Başka depolama hesapları ekleme
Küme oluşturulduktan sonra azure Depolama ve Azure Data Lake Depolama hesapları ekleme. Daha fazla bilgi için bkz. HDInsight’a başka depolama hesapları ekleme.
Kümeleri ölçeklendirme
Küme ölçeklendirme özelliği, kümeyi yeniden oluşturmak zorunda kalmadan bir Azure HDInsight çalışan düğümü sayısını değiştirmenizi sağlar.
Tam bilgi için bkz. HDInsight kümelerini ölçeklendirme.
Kümeleri duraklatma/kapatma
Hadoop işlerinin çoğu yalnızca arada sırada çalıştır edilen toplu işlerdir. Hadoop kümelerinin çoğunda, kümenin işlenme için kullanılmama zamanları vardır. HDInsight ile verileriniz Azure Depolama'da depolanır, böylece bir kümeyi kullanımda değilse güvenle silebilirsiniz. HdInsight kümesi kullanımda olmayanlar için de ücret ödemeniz gerekir. Kümenin ücretleri depolama ücretlerinden çok daha fazla olduğu için, kullanımda olmayan kümeleri silmek ekonomik açıdan mantıklıdır.
Süreci programlay etmenin birçok yolu vardır:
- Kullanıcı Azure Data Factory. Bkz. isteğe bağlı HDInsight bağlı hizmetleri oluşturmak için Azure Data Factory kullanarak HDInsight'ta isteğe bağlı Linux tabanlı Apache Hadoop kümeleri oluşturma.
- Azure PowerShell. Bkz. Uçuş gecikme verilerini analiz etme.
- Azure CLI'yı kullanın. Bkz. Azure CLI Azure HDInsight kümelerini yönetme.
- HDInsight .NET SDK'sı kullanın. Bkz. Apache Hadoop işlerini gönderme.
Fiyatlandırma bilgileri için bkz. HDInsight fiyatlandırması. Portaldan küme silmek için bkz. Kümeleri silme
Kümeleri yükseltme
Bkz. HDInsight kümesi daha yeni bir sürüme yükseltme.
Apache Ambari web kullanıcı arabirimini açma
Ambari, RESTful API'leri ile birlikte kullanımı kolay, sezgisel bir Hadoop yönetimi web kullanıcı arabirimi sağlar. Ambari, sistem yöneticilerinin Hadoop kümelerini yönetmelerini ve izlemelerini sağlar.
Küme giriş sayfasından:
Küme panoları'ı seçin.
Yeni sayfadan Ambari giriş'i seçin.
Küme kullanıcı adını ve parolasını girin. Varsayılan küme kullanıcı adı admin 'tir.
Daha fazla bilgi için bkz. Apache Ambari Web kullanıcı arabirimini kullanarak HDInsight kümelerini yönetme.
Parolaları değiştirme
HdInsight kümesinde iki kullanıcı hesabı olabilir. HDInsight kümesi kullanıcı hesabı (HTTP kullanıcı hesabı) ve SSH kullanıcı hesabı oluşturma işlemi sırasında oluşturulur. Küme kullanıcı hesabı parolasını değiştirmek için portalı ve SSH kullanıcı hesabını değiştirmek için betik eylemlerini kullanabilirsiniz.
Küme kullanıcı parolasını değiştirme
Not
Küme kullanıcı (yönetici) parolasının değiştirilmesi, bu kümede betik eylemlerinin başarısız çalışmasına neden olabilir. Çalışan düğümlerini hedef alan kalıcı betik eylemleriniz varsa, yeniden boyutlandırma işlemleri aracılığıyla kümeye düğümler eklerken bu betikler başarısız olabilir. Betik eylemleri hakkında daha fazla bilgi için bkz. Betik eylemlerini kullanarak HDInsight kümelerini özelleştirme.
Küme giriş sayfasından:
- öğesinin altında SSH + Küme oturum açma Ayarlar.
- Kimlik bilgilerini sıfırla'yı seçin.
- Metin kutularına yeni parola girin ve onaylayın.
- Tamam’ı seçin.
Parola, kümedeki tüm düğümlerde değiştirilir.
SSH kullanıcı parolasını veya ortak anahtarı değiştirme
Bir metin düzenleyicisi kullanarak, aşağıdaki metni changecredentials.sh adlı bir dosya olarak kaydedin.
Önemli
Bitiş satırı olarak LF kullanan bir düzenleyici kullanmanız gerekir. Düzenleyici CRLF kullanıyorsa, komut dosyası çalışmaz.
#! /bin/bash USER=$1 PASS=$2 usermod --password $(echo $PASS | openssl passwd -1 -stdin) $USERHTTP veya HTTPS adresi kullanılarak dosyayı hdınsight 'tan erişilebilen bir depolama konumuna Upload. örneğin, OneDrive veya Azure Blob depolama gibi bir ortak dosya deposu. URI 'yi (HTTP veya HTTPS adresi), bu URI bir sonraki adımda gerekli olduğundan dosyaya kaydedin.
küme giriş sayfasından Ayarlar altında betik eylemleri ' ni seçin.
Betik eylemleri sayfasında Yeni Gönder' i seçin.
Betik eylemini gönder sayfasında, aşağıdaki bilgileri girin:
Not
SSH parolaları aşağıdaki karakterleri içeremez:
" ' ` / \ < % ~ | $ & !
| Alan | Değer |
|---|---|
| Betik türü | Açılan listeden özel ' i seçin. |
| Name | "SSH kimlik bilgilerini değiştirme" |
| Bash betiği URI 'SI | Changecredentials.sh dosyasının URI 'SI |
| Düğüm türleri: (Head, Worker, Nimbus, gözetmen veya Zookeeper.) | ✓ listelenen tüm düğüm türleri için |
| Parametreler | SSH kullanıcı adını ve ardından yeni parolayı girin. Kullanıcı adı ve parola arasında bir boşluk olmalıdır. |
| Bu betik eylemini kalıcı yap... | Bu alanı işaretlenmemiş olarak bırakın. |
- Betiği uygulamak için Oluştur ' u seçin. Betik tamamlandıktan sonra, yeni kimlik bilgileriyle SSH kullanarak kümeye bağlanabilirsiniz.
Abonelik KIMLIĞINI bulun
Her küme bir Azure aboneliğine bağlanır. Azure abonelik KIMLIĞI, küme giriş sayfasındangörünür.
Kaynak grubunu bulma
Azure Resource Manager modunda, her HDInsight kümesi bir Azure Resource Manager grubuyla oluşturulur. Kaynak Yöneticisi grubu, küme giriş sayfasındangörünür.
Depolama hesaplarını bulma
hdınsight kümeleri, verileri depolamak için bir Azure Depolama hesabı ya da Azure Data Lake Storage kullanır. Her HDInsight kümesinde bir varsayılan depolama hesabı ve bir dizi bağlı depolama hesabı bulunabilir. depolama hesaplarını listelemek için, Ayarlar altındaki küme giriş sayfasından Depolama hesaplar' ı seçin.
İşleri izleme
Bkz. Apache ambarı Web Kullanıcı arabirimini kullanarak HDInsight kümelerini yönetme.
Küme boyutu
Küme giriş sayfasından küme boyutu kutucuğu, bu kümeye ayrılan çekirdek sayısını ve bu kümedeki düğümler için nasıl ayrılacağını gösterir.
Önemli
HDInsight kümesi tarafından sunulan hizmetleri izlemek için, ambarı Web veya ambarı REST API kullanmanız gerekir. Ambarı kullanma hakkında daha fazla bilgi için bkz. Apache ambarı kullanarak HDInsight kümelerini yönetme
Kümeye bağlanma
Sonraki adımlar
Bu makalede, bazı temel yönetim işlevlerini öğrendiniz. Daha fazla bilgi için aşağıdaki makalelere bakın:
- Azure PowerShell kullanarak HDInsight 'ı yönetme
- Azure CLı kullanarak HDInsight 'ı yönetme
- HDInsight kümeleri oluşturma
- Apache ambarı 'nı kullanma hakkında ayrıntılar REST API
- HDInsight 'ta Apache Hive kullanma
- HDInsight 'ta Apache Sqoop kullanma
- HDInsight 'ta Apache Hive ve Apache Pig ile Python Kullanıcı tanımlı Işlevleri (UDF) kullanma
- Azure HDInsight 'ta Apache Hadoop sürümü nedir?