Hızlı Başlangıç: Kendi Sanal Ağ Azure Databricks çalışma alanı oluşturma

Azure Databricks'in varsayılan dağıtımı, Databricks tarafından yönetilen yeni bir sanal ağ oluşturur. Bu hızlı başlangıçta bunun yerine kendi sanal ağınızda Azure Databricks çalışma alanı oluşturma işlemi gösterilmektedir. Ayrıca bu çalışma alanı içinde bir Apache Spark kümesi de oluşturursunuz.

Kendi sanal ağınızda neden Azure Databricks çalışma alanı oluşturmayı seçebileceğiniz hakkında daha fazla bilgi için bkz. Azure databricks'i Azure Sanal Ağ(VNet Ekleme) ortamınıza dağıtma.

Önkoşullar

  • Azure aboneliğiniz yoksa ücretsiz hesap oluşturun. Bu öğretici, Azure Ücretsiz Deneme Aboneliği kullanılarak gerçekleştirilemez. Ücretsiz bir hesabınız varsa profilinize gidin ve aboneliğinizi kullandıkça öde olarak değiştirin. Daha fazla bilgi için bkz. Ücretsiz Azure hesabı. Ardından harcama limitini kaldırın ve bölgenizdeki sanal CPU’lar için kota artışı isteyin. Azure Databricks çalışma alanınızı oluştururken, çalışma alanına 14 gün boyunca ücretsiz Premium Azure Databricks DBU erişimi vermek için Deneme (Premium - 14 Günlük Ücretsiz DBU) fiyatlandırma katmanını seçebilirsiniz.

  • Azure Katkıda Bulunanı veya Sahibi olmanız veya Microsoft.ManagedIdentity kaynak sağlayıcısının aboneliğinize kayıtlı olması gerekir. Yönergeler için Kaynak sağlayıcısını kaydetme bölümünü izleyin.

Azure portalda oturum açma

Azure Portal’ında oturum açın.

Not

Azure Ticari Bulut'ta FedRAMP High gibi US Government uyumluluk sertifikalarını barındıran bir Azure Databricks çalışma alanı oluşturmak istiyorsanız, bu deneyime erişmek için lütfen Microsoft veya Databricks hesap ekibinize ulaşın.

Sanal ağ oluşturma

  1. Azure portalı menüsünden, Kaynak oluştur'u seçin. Ardından Ağ > Sanal ağ'ı seçin.

    Azure portalında sanal ağ oluşturma

  2. Sanal ağ oluştur altında aşağıdaki ayarları uygulayın:

    Ayar Önerilen değer Açıklama
    Abonelik <Aboneliğiniz> Kullanmak istediğiniz Azure aboneliğini seçin.
    Kaynak grubu databricks-quickstart Yeni Oluştur'u seçin ve hesabınız için yeni bir kaynak grubu adı girin.
    Veri Akışı Adı databricks-quickstart Sanal ağınız için bir ad seçin.
    Bölge <Kullanıcılarınıza en yakın bölgeyi seçin> Sanal ağınızı barındırabileceğiniz coğrafi bir konum seçin. Kullanıcılarınıza en yakın konumu kullanın.

    Azure portalında sanal ağ için temel bilgiler

  3. İleri: IP Adresleri'ni > seçin ve aşağıdaki ayarları uygulayın. Ardından Gözden geçir ve oluştur'u seçin.

    Ayar Önerilen değer Açıklama
    IPv4 adres alanı 10.2.0.0/16 CIDR gösteriminde sanal ağın adres aralığı. CIDR aralığı /16 ile /24 arasında olmalıdır
    Alt ağ adı varsayılan Sanal ağınızdaki varsayılan alt ağ için bir ad seçin.
    Alt Ağ Adresi aralığı 10.2.0.0/24 CIDR gösteriminde alt ağın adres aralığı. Sanal ağın adres alanı tarafından kapsanmalıdır. Kullanılmakta olan bir alt ağın adres aralığı düzenlenemez.

    Azure portalında sanal ağ için IP yapılandırmalarını ayarlama

  4. Gözden geçir ve oluştur sekmesinde Oluştur'u seçerek sanal ağı dağıtın. Dağıtım tamamlandıktan sonra sanal ağınıza gidin ve Ayarlar altında Adres alanı'nıseçin. Ek adres aralığı ekle yazan kutuya ekleyin 10.179.0.0/16 ve Kaydet'i seçin.

    Azure sanal ağ adres alanı

Azure Databricks çalışma alanı oluşturma

  1. Azure portalı menüsünden, Kaynak oluştur'u seçin. Ardından Analytics > Databricks'i seçin.

    Azure portalında Azure Databricks çalışma alanı oluşturma

  2. Azure Databricks Hizmeti altında aşağıdaki ayarları uygulayın:

    Ayar Önerilen değer Açıklama
    Çalışma alanı adı databricks-quickstart Azure Databricks çalışma alanınız için bir ad seçin.
    Abonelik <Aboneliğiniz> Kullanmak istediğiniz Azure aboneliğini seçin.
    Kaynak grubu databricks-quickstart Sanal ağ için kullandığınız kaynak grubunu seçin.
    Konum <Kullanıcılarınıza en yakın bölgeyi seçin> Sanal ağınızla aynı konumu seçin.
    Fiyatlandırma Katmanı Standart veya Premium arasında seçim yapın. Fiyatlandırma katmanları hakkında daha fazla bilgi için Databricks fiyatlandırma sayfasına bakın.

    Azure Databricks çalışma alanı temelleri oluşturma

  3. Temel Bilgiler sayfasına ayarları girmeyi tamamladıktan sonra İleri: Ağ'ı>seçin ve aşağıdaki ayarları uygulayın:

    Ayar Önerilen değer Açıklama
    azure databricks çalışma alanını Sanal Ağ (VNet) içinde dağıtma Yes Bu ayar, sanal ağınızda bir Azure Databricks çalışma alanı dağıtmanıza olanak tanır.
    Sanal Ağ databricks-quickstart Önceki bölümde oluşturduğunuz sanal ağı seçin.
    Genel Alt Ağ Adı ortak alt ağ Varsayılan genel alt ağ adını kullanın.
    Genel Alt Ağ CIDR Aralığı 10.179.64.0/18 /26'ya kadar ve dahil olmak üzere bir CIDR aralığı kullanın.
    Özel Alt Ağ Adı özel alt ağ Varsayılan özel alt ağ adını kullanın.
    Özel Alt Ağ CIDR Aralığı 10.179.0.0/18 /26'ya kadar ve dahil olmak üzere bir CIDR aralığı kullanın.

    Azure portalında Azure Databricks çalışma alanına sanal ağ bilgileri ekleme

  4. Dağıtım tamamlandıktan sonra Azure Databricks kaynağına gidin. Sanal ağ eşlemenin devre dışı bırakıldığına dikkat edin. Ayrıca genel bakış sayfasında kaynak grubuna ve yönetilen kaynak grubuna dikkat edin.

    Azure portalında Azure Databricks'e genel bakış

    Yönetilen kaynak grubu değiştirilemez ve sanal makineler oluşturmak için kullanılmaz. Sanal makineleri yalnızca yönettiğiniz kaynak grubunda oluşturabilirsiniz.

    Azure Databricks yönetilen kaynak grubu

    Çalışma alanı dağıtımı başarısız olduğunda, çalışma alanı yine başarısız durumda oluşturulur. Başarısız olan çalışma alanını silin ve dağıtım hatalarını düzelten yeni bir çalışma alanı oluşturun. Başarısız çalışma alanını sildiğinizde, yönetilen kaynak grubu ve başarıyla dağıtılan kaynaklar da silinir.

Küme oluşturma

Not

Azure Databricks kümesini oluşturmak için ücretsiz hesap oluşturmak istiyorsanız kümeyi oluşturmadan önce profilinize gidin ve aboneliğini kullandıkça öde modeline geçirin. Daha fazla bilgi için bkz. Ücretsiz Azure hesabı.

  1. Azure Databricks hizmetinize dönün ve Genel Bakış sayfasında Çalışma Alanını Başlat'ı seçin.

  2. Kümeler>+ Küme Oluştur'u seçin. Ardından databricks-quickstart-cluster gibi bir küme adı oluşturun ve kalan varsayılan ayarları kabul edin. Küme Oluştur’u seçin.

    Azure Databricks kümesi oluşturma

  3. Küme çalıştırıldıktan sonra Azure portalında yönetilen kaynak grubuna dönün. Yeni sanal makinelere, disklere, IP Adresine ve ağ arabirimlerine dikkat edin. IP adreslerine sahip genel ve özel alt ağların her birinde bir ağ arabirimi oluşturulur.

    Küme oluşturulduktan sonra Azure Databricks tarafından yönetilen kaynak grubu

  4. Azure Databricks çalışma alanınıza dönün ve oluşturduğunuz kümeyi seçin. Ardından Spark kullanıcı arabirimi sayfasındaki Yürütücüler sekmesine gidin. Sürücü ve yürütücülerin adreslerinin özel alt ağ aralığında olduğuna dikkat edin. Bu örnekte, sürücü 10.179.0.6 ve yürütücüler 10.179.0.4 ve 10.179.0.5'tir. IP adresleriniz farklı olabilir.

    Azure Databricks Spark kullanıcı arabirimi yürütücüleri

Kaynakları temizleme

Makaleyi tamamladıktan sonra kümeyi sonlandırabilirsiniz. Bunu yapmak için Azure Databricks çalışma alanında sol bölmedeki Kümeler’i seçin. Sonlandırmak istediğiniz küme için imleci Eylemler sütunu altındaki üç noktanın üzerine taşıyın ve Sonlandır simgesini seçin. Bu işlem kümeyi durdurur.

Kümeyi oluştururken __ dakika etkinsizlik süresinden sonra sonlandır onay kutusunu seçtiyseniz, kümeyi kendiniz sonlandırmazsanız küme otomatik olarak durdurulur. Böyle bir durumda, belirtilen süre boyunca etkin olmaması durumunda küme otomatik olarak durdurulur.

Kümeyi yeniden kullanmak istemiyorsanız Azure portalında oluşturduğunuz kaynak grubunu silebilirsiniz.

Sonraki adımlar

Bu makalede, Azure Databricks'te bir sanal ağa dağıttığınız bir Spark kümesi oluşturdunuz. Azure Databricks not defterindeN JDBC kullanarak sanal ağdaki SQL Server Linux Docker kapsayıcısını sorgulamayı öğrenmek için sonraki makaleye ilerleyin.