HDInsight kümesi oluşturma
HDInsight kümesi oluşturmanın çeşitli yöntemleri vardır; bu, kolay bir kullanıcı arabirimi için Azure portalını kullanmaktan otomatik dağıtımlara yardımcı olabilecek betikli kurulumlara kadar değişebilir. Aşağıdaki tabloda, HDInsight kümesi ayarlamak için kullanabileceğiniz farklı yöntemler gösterilmektedir.
| ile oluşturulan kümeler | Web tarayıcısı | Komut satırı | REST API | SDK |
|---|---|---|---|---|
| Azure portalı | ✔ | |||
| Azure Data Factory | ✔ | ✔ | ✔ | ✔ |
| Azure CLI | ✔ | |||
| Azure PowerShell | ✔ | |||
| cURL | ✔ | ✔ | ||
| .NET SDK | ✔ | |||
| Azure Resource Manager şablonu | ✔ |
Tüm HDInsight kurulumları aşağıdaki temel bilgileri gerektirir:
Temel Bilgiler sekmesi
Proje Ayrıntıları
Abonelik
HDInsight'ın faturalanacağı ve yönetileceği Azure aboneliğini tanımlar.
Kaynak grubu adı
Kaynak grubu, genellikle aynı uygulamayla veya uygulama yaşam döngüsüyle ilişkili Azure teknolojilerinin ve hizmetlerinin mantıksal bir gruplandırılmasıdır. Hizmetleri aynı kaynak grubu içinde gruplandırmak, yönetim bakımını kolaylaştırır.
Küme Ayrıntıları
Küme adı
HDInsight küme adları aşağıdaki kısıtlamalara sahiptir:
- İzin verilen karakterler: a-z, 0-9, A-Z
- Maksimum uzunluk: 59
- Ayrılmış adlar: uygulamalar
- Küme adlandırma kapsamı, tüm abonelikler genelinde tüm Azure'a yöneliktir. Bu nedenle küme adı dünya çapında benzersiz olmalıdır.
- İlk altı karakter sanal ağ içinde benzersiz olmalıdır
Location
Küme türünün depolandığı konumu belirtir. Hiçbir konum tanımlanmamışsa, küme varsayılan depolama alanıyla aynı konumda birlikte bulunur. Gecikme süresini azaltmak için konum kullanıcılarınıza mümkün olduğunca yakın olmalıdır.
Küme türleri
Kaynak kümenizde sağlanan teknoloji yığınını tanımlar. Sahip olduğunuz veri türüne ve senaryonuzun gerektirdiği işleme türüne göre bir küme türü seçin. Aşağıdaki tabloda gösterilen kullanılabilir küme türleri.
| Küme Türü | Açıklama |
|---|---|
| Apache Hadoop | HDFS kullanan bir çerçeve ve toplu iş verilerini işlemek ve analiz etmek için basit bir MapReduce programlama modeli. |
| Apache Spark | Büyük veri analizi uygulamalarının performansını artırmak için bellek içi işlemeyi destekleyen açık kaynaklı, paralel işleme çerçevesi. |
| HBase | Büyük miktarlarda yapılandırılmamış ve yarı yapılandırılmış veriler için rastgele erişim ve güçlü tutarlılık sağlayan Hadoop üzerinde oluşturulmuş bir NoSQL veritabanı( potansiyel olarak milyarlarca satır milyonlarca sütun. |
| Apache Etkileşimli Sorgu | Etkileşimli ve daha hızlı Hive sorguları için bellek içi önbelleğe alma. |
| Apache Kafka | Akış veri işlem hatları ve uygulamaları oluşturmak için kullanılan bir açık kaynak platformu. Kafka ayrıca veri akışları yayımlamanızı ve abone olmanızı sağlayan ileti-kuyruk işlevi de sunar. |
Sürüm
Bu küme için HDInsight sürümünü tanımlar. HDInsight 4.0 en son sürümdür ve kümelere sağlanan en son çerçevelere sahiptir.
Küme kimlik bilgileri
HDInsight kümeleri ile küme oluşturma sırasında iki kullanıcı hesabı yapılandırabilirsiniz.
Küme oturum açma bilgileri ve parola
Varsayılan kullanıcı adı yöneticidir. Azure portalında temel yapılandırmayı kullanır. Bazen buna "Küme kullanıcısı" denir.
SSH kullanıcı adı ve parolası
SSH aracılığıyla kümeye bağlanmak için kullanılır.
Dekont
Enterprise güvenlik paketi, HDInsight'ı Active Directory ve Apache Ranger ile tümleştirmenize olanak tanır. Kurumsal güvenlik paketi kullanılarak birden çok kullanıcı oluşturulabilir.
Depolama sekmesi
HDInsight kümeleri, depolama ekranında gösterildiği gibi aşağıdaki depolama seçeneklerini kullanabilir:
- Azure Data Lake Storage 2. Nesil
- Azure Data Lake Storage Gen1
- Azure depolama Genel Amaçlı v2
- Azure depolama Genel Amaçlı v1
- Azure depolama Blok blobu (yalnızca ikincil depolama olarak desteklenir)
Depolama ekranı, Birincil depolama hesabını ve varsayılan kapsayıcıyı tanımlamanızı sağlar. Ek Azure Depolama kümeye de bağlayabilirsiniz. Meta veri deposu ayarları, bir küme silindikten sonra Hive tablolarını depolamak için bir dış SQL veritabanı tanımlamanıza ve meta verileri bir dış depoda depolayarak Oozie'nin performansını artırmanıza olanak tanır.
Güvenlik ve Ağ
Hadoop, Spark, HBase, Kafka ve Etkileşimli Sorgu küme türleri için Kurumsal Güvenlik Paketi'ni etkinleştirmeyi seçebilirsiniz. Bu paket Apache Ranger kullanarak ve Microsoft Entra ID ile tümleştirerek daha güvenli bir küme kurulumuna sahip olmak için seçenek sağlar.
Buna ek olarak, HDInsight kümelerinin bir sanal ağ içinde dağıtılması her zaman önerilir ve sanal ağı bu ekranda tanımlayıp ayarlayabilirsiniz. Çözümünüz birden çok HDInsight küme türüne yayılmış teknolojiler gerektiriyorsa, Azure sanal ağı gerekli küme türlerini bağlayabilir. Bu yapılandırma, kümelerin ve bunlara dağıttığınız tüm kodların birbirleriyle doğrudan iletişim kurmasına olanak tanır.
Yapılandırma ve Fiyatlandırma
Bu sayfa, kümenizin boyutunu ve performansını yapılandırmanıza ve tahmini maliyet bilgilerini görüntülemenize olanak tanır. Bu ekranda, Baş (Ana) düğümleri ve Çalışan Düğümleri için de kullanılacak sanal makineleri tanımlayabilirsiniz.
