HortonWorks Veri Platformu'nun Docker dağıtımını kullanarak Azure Lab Services'da büyük veri analizi için bir laboratuvar ayarlama

  • Makale

Not

Bu makalede laboratuvar hesaplarının yerini alan laboratuvar planlarındaki özelliklere başvuruda bulunulmaktadır.

Bu makalede, büyük veri analizi sınıfını öğretmek için bir laboratuvarın nasıl ayarlanacağı gösterilmektedir. Büyük veri analizi sınıfı, kullanıcılara büyük hacimli verilerin nasıl işleneceğini öğretir. Ayrıca veri içgörüleri türetmek için makine ve istatistiksel öğrenme algoritmaları uygulamayı da öğretir. Temel bir amaç, Apache Hadoop'un açık kaynak yazılım paketi gibi veri analizi araçlarını kullanmayı öğrenmektir. Yazılım paketi büyük verileri depolamak, yönetmek ve işlemek için araçlar sağlar.

Bu laboratuvarda laboratuvar kullanıcıları, Cloudera tarafından sağlanan Hortonworks Veri Platformu (HDP) adlı popüler bir hadoop ticari sürümüyle çalışır. Özellikle, laboratuvar kullanıcıları platformun basitleştirilmiş, kullanımı kolay bir sürümü olan HDP Korumalı Alanı 3.0.1'i kullanır. HDP Sandbox 3.0.1 de ücretsizdir ve öğrenme ve deneme amaçlıdır. Bu sınıf, HDP Korumalı Alanı dağıtılan Windows veya Linux sanal makinelerini (VM) kullanabilir. Bu makalede Windows'un nasıl kullanılacağı gösterilmektedir.

Bir diğer ilginç yönü de, Docker kapsayıcılarını kullanarak HDP Korumalı Alanı'nı laboratuvar VM'lerine dağıtmanızdır. Her Docker kapsayıcısı, yazılım uygulamalarının içinde çalışması için kendi yalıtılmış ortamını sağlar. Kavramsal olarak Docker kapsayıcıları iç içe VM'ler gibidir ve Docker Hub'da sağlanan kapsayıcı görüntülerine göre çok çeşitli yazılım uygulamalarını kolayca dağıtmak ve çalıştırmak için kullanılabilir. Cloudera'nın HDP Korumalı Alanı dağıtım betiği, HDP Sandbox 3.0.1 Docker görüntüsünü Docker Hub'dan otomatik olarak çeker ve iki Docker kapsayıcısı çalıştırır:

  • sandbox-hdp
  • sandbox-proxy

Önkoşullar

Bu laboratuvarı ayarlamak için bir Azure aboneliğine erişmeniz gerekir. Mevcut bir Azure aboneliğine erişim elde etmek için kuruluşunuzun yöneticisiyle görüşün. Azure aboneliğiniz yoksa başlamadan önce ücretsiz bir hesap oluşturun.

Laboratuvar yapılandırması

Laboratuvar planı ayarları

Azure aboneliğiniz olduktan sonra Azure Lab Services'de laboratuvar planı oluşturabilirsiniz. Yeni laboratuvar planı oluşturma hakkında daha fazla bilgi için bkz . Hızlı Başlangıç: Laboratuvar oluşturmak için kaynakları ayarlama. Ayrıca mevcut bir laboratuvar planını da kullanabilirsiniz.

Bu laboratuvarda temel VM görüntüsü olarak windows 10 Pro Azure Market görüntüleri kullanılır. Önce laboratuvar planınızda bu görüntüyü etkinleştirmeniz gerekir. Bu, laboratuvar oluşturucularının daha sonra laboratuvarları için temel görüntü olarak görüntüyü seçmesine olanak tanır.

Laboratuvar oluşturucularının kullanabileceği bu Azure Market görüntüleri etkinleştirmek için bu adımları izleyin. Windows 10 Azure Market görüntülerinden birini seçin.

Laboratuvar ayarları

Laboratuvar planınız için bir laboratuvar oluşturun. Laboratuvar oluşturma yönergeleri için bkz . Öğretici: Laboratuvar ayarlama. Laboratuvarı oluştururken aşağıdaki ayarları kullanın.

Laboratuvar ayarları Değer/yönergeler
Sanal Makine Boyutu Orta (İç İçe Sanallaştırma). Bu VM boyutu ilişkisel veritabanları, bellek içi önbelleğe alma ve analiz için en uygun seçenektir. Boyut, iç içe sanallaştırmayı da destekler.
Sanal Makine Görüntüsü Windows 10 Pro

Not

Docker kullanan HDP Korumalı Alanı iç içe sanallaştırma ve en az 10 GB RAM ile Windows Hyper-V gerektirdiğinden Orta (İç İçe Sanallaştırma) VM boyutunu kullanın.

Şablon makine yapılandırması

Şablon makinesini ayarlamak için:

  1. Docker'ı yükleme
  2. HDP Korumalı Alanı dağıtma
  3. Docker kapsayıcılarını otomatik olarak başlatmak için PowerShell ve Windows Görev Zamanlayıcı'yı kullanma

Docker'ı yükleme

Bu bölümdeki adımlar, Cloudera'nın Docker kapsayıcılarıyla dağıtma yönergelerini temel alır.

Docker kapsayıcılarını kullanmak için önce şablon VM'sine Docker Desktop'ı yüklemeniz gerekir:

  1. Windows için Docker'ı yüklemek için Önkoşullar bölümündeki adımları izleyin.

    Önemli

    Linux kapsayıcıları yerine Windows kapsayıcılarını kullan yapılandırma seçeneğinin işaretsiz bırakıldığından emin olun.

  2. Windows Kapsayıcıları ve Hyper-V özelliklerinin açık olduğundan emin olun.

    Windows özelliklerini açın veya kapatın.

  3. Docker'ın bellek yapılandırmasını yapılandırmak için Windows için Bellek bölümündeki adımları izleyin.

    Uyarı

    Docker'ı yüklerken yanlışlıkla Linux kapsayıcıları yerine Windows kapsayıcılarını kullan seçeneğini denetlerseniz bellek yapılandırma ayarlarını görmezsiniz. Bunu düzeltmek için Windows Sistem tepsisindeki Docker simgesine tıklayarak Linux kapsayıcılarını kullanmaya geçebilirsiniz; Docker Desktop menüsü açıldığında Linux kapsayıcılarına geç'i seçin.

HDP Korumalı Alanı dağıtma

Ardından HDP Korumalı Alanı'nı dağıtın ve ardından tarayıcıyı kullanarak HDP Korumalı Alanı'na erişin.

  1. Git Bash'i kılavuzun Önkoşullar bölümünde listelenen şekilde yüklediğinizden emin olun. Sonraki adımları tamamlamak için önerilir.

  2. Cloudera'nın Docker için Dağıtım ve Yükleme Kılavuzu'nu kullanarak aşağıdaki bölümlerdeki adımları tamamlayın:

    • HDP Korumalı Alanı dağıtma
    • HDP Korumalı Alanını Doğrulama

    Uyarı

    HDP için en son .zip dosyasını indirdiğinizde, .zip dosyasını boşluk içeren bir dizin yoluna kaydetmediğinizden emin olun.

    Not

    Dağıtım sırasında Drive'ın paylaşılmadığını belirten bir özel durum alırsanız, HDP'nin Linux kapsayıcılarının yerel Windows dosyalarına erişebilmesi için C sürücünüzü Docker ile paylaşmanız gerekir. Bunu düzeltmek için Windows Sistem tepsisindeki Docker simgesine tıklayarak Docker Desktop menüsünü açın ve Ayarlar seçin. Docker'ın Ayarlar iletişim kutusu açıldığında Kaynaklar > Dosya Paylaşımı'nı seçin ve C sürücüsünü denetleyin. Ardından HDP Korumalı Alanı dağıtma adımlarını yineleyebilirsiniz.

  3. HDP Korumalı Alanı için Docker kapsayıcıları dağıtıldığında ve çalıştığında, tarayıcınızı başlatarak ortama erişebilirsiniz. Korumalı Alan Karşılama Sayfası'nı açmak ve HDP Panosunu başlatmak için Cloudera'nın yönergelerini izleyin.

    Not

    Bu yönergelerde, önce korumalı alan ortamının yerel IP adresini şablon VM'nizdeki konak dosyasındaki sandbox-hdp.hortonworks.com eşlediğiniz varsayılır. Bu eşlemeyi yapmazsanız, adresine giderek http://localhost:8080Korumalı Alan Karşılama sayfasına erişebilirsiniz.

Laboratuvar kullanıcıları oturum açtığında Docker kapsayıcılarını otomatik olarak başlatma

Laboratuvar kullanıcılarına kullanımı kolay bir deneyim sağlamak için, otomatik olarak şu komutu kullanan bir PowerShell betiği oluşturun:

  1. Bir laboratuvar kullanıcısı başlatıldığında ve laboratuvar VM'sine bağlandığında HDP Korumalı Alan Docker kapsayıcılarını başlatır.
  2. Tarayıcıyı başlatır ve Korumalı Alan Karşılama sayfasına gider.

Laboratuvar kullanıcısı vm'sinde oturum açtığında bu betiği otomatik olarak çalıştırmak için Windows Görev Zamanlayıcı'yı kullanın. Bir Görev Zamanlayıcı ayarlamak için şu adımları izleyin: Büyük Veri Analizi betiği oluşturma.

Maliyet tahmini

Bu bölüm, 25 laboratuvar kullanıcısı için bu sınıfı çalıştırmaya yönelik bir maliyet tahmini sağlar. 20 saatlik zamanlanmış sınıf süresi vardır. Ayrıca, her kullanıcı zamanlanmış ders saati dışında ev ödevi veya ödevler için 10 saat kota alır. Seçtiğimiz sanal makine boyutu, 55 laboratuvar birimi olan Orta (İç İçe Sanallaştırma) idi.

  • 25 laboratuvar kullanıcısı × (20 zamanlanmış saat + 10 kota saati) × 55 laboratuvar birimi

Önemli

Maliyet tahmini yalnızca örnek amaçlıdır. Geçerli fiyatlandırma bilgileri için bkz . Azure Lab Services fiyatlandırması.

Sonuç

Bu makalede, büyük bir veri analizi sınıfı için laboratuvar oluşturmak için gereken adımlarda size yol gösterilir. Büyük veri analizi sınıfı, Docker ile dağıtılan Hortonworks Veri Platformunu kullanır. Bu sınıf türü için kurulum, benzer veri analizi sınıfları için kullanılabilir. Bu kurulum, dağıtım için Docker kullanan diğer sınıf türleri için de geçerli olabilir.

Sonraki adımlar

Şablon görüntüsü artık laboratuvarda yayımlanabilir. Daha fazla bilgi için bkz . Şablon VM'sini yayımlama.

Laboratuvarınızı ayarlarken aşağıdaki makalelere bakın: