Hızlı başlangıç: Azure portal kullanarak Azure Databricks çalışma alanında Spark işi çalıştırma

Bu hızlı başlangıçta, bir Apache Spark kümesiyle Azure Databricks çalışma alanı oluşturmak için Azure portal kullanırsınız. Kümede bir işi çalıştırır ve Seattle güvenlik verilerinden gerçek zamanlı raporlar oluşturmak için özel grafikleri kullanabilirsiniz.

Önkoşullar

• Portal
• Azure CLI

• Azure aboneliği- ücretsiz olarak bir tane oluşturun. Bu öğretici Azure Ücretsiz deneme aboneliğikullanılarak gerçekleştirilemez. Ücretsiz hesabınız varsa, profilinize gidin ve aboneliğinizi Kullandıkça Ödeile değiştirin. Daha fazla bilgi için bkz. Ücretsiz Azure hesabı. Ardından, harcama limitini kaldırınve bölgenizdeki vCPU 'lar için bir kota artışı isteyin . Azure Databricks çalışma alanınızı oluşturduğunuzda, çalışma alanının 14 gün boyunca Premium Azure Databricks dbus 'a erişmesini sağlamak için deneme (Premium-14 gün ücretsiz dbus) fiyatlandırma katmanını seçebilirsiniz.

• Azure Portal oturum açın.

Azure Databricks çalışma alanı oluşturma

Bu bölümde, Azure portal veya Azure CLı kullanarak bir Azure Databricks çalışma alanı oluşturursunuz.

az databricks workspace create 
    --resource-group databricks-quickstart \
    --name mydatabricksws  \
    --location westus  \
    --sku standard

Databricks’te Spark kümesi oluşturma

1. Azure portalında, oluşturduğunuz Databricks çalışma alanına gidin ve sonra Çalışma Alanını Başlat’a tıklayın.

2. Azure Databricks portalına yönlendirilirsiniz. Portalda Yeni küme' ya tıklayın.

   

3. Yeni küme sayfasında, bir küme oluşturmak için değerleri girin.

   Azure 'da databricks Azure

   Aşağıdakiler dışında diğer tüm varsayılan değerleri kabul edin:

   • Küme için bir ad girin.

   • Bu makalede, (5. x, 6. x, 7.x) çalışma zamanına sahip bir küme oluşturun.

   • __ Dakika işlem yapılmadan sonra Sonlandır onay kutusunu seçtiğinizden emin olun. Küme kullanılmazsa kümenin sonlandırılması için biz süre (dakika cinsinden) belirtin.

     Küme oluştur' u seçin. Küme çalışmaya başladıktan sonra kümeye not defterleri ekleyebilir ve Spark işleri çalıştırabilirsiniz.

Küme oluşturma hakkında daha fazla bilgi için bkz. Azure Databricks üzerinde Spark kümesi oluşturma.

Spark SQL işi çalıştırma

databricks içinde bir not defteri oluşturmak, not defterini bir Azure açık veri kümesinden veri okumak için yapılandırmak ve sonra veriler üzerinde bir Spark SQL işi çalıştırmak için aşağıdaki görevleri gerçekleştirin.

1. Sol bölmede Azure Databricks' yi seçin. Ortak görevlerdenYeni Not defteri' ni seçin.

   

2. Not Defteri Oluştur iletişim kutusuna bir ad girin, dil olarak Python ' ı seçin ve daha önce oluşturduğunuz Spark kümesini seçin.

   

   Oluştur’u seçin.

3. bu adımda, Azure açık veri kümelerindeSeattle güvenlik verileriyle bir Spark dataframe oluşturun ve verileri sorgulamak için SQL kullanın.

   Aşağıdaki komut, Azure depolama erişim bilgilerini ayarlar. Bu PySpark kodunu ilk hücreye yapıştırın ve kodu çalıştırmak için SHIFT + enter tuşlarını kullanın.

   blob_account_name = "azureopendatastorage"
   blob_container_name = "citydatacontainer"
   blob_relative_path = "Safety/Release/city=Seattle"
   blob_sas_token = r"?st=2019-02-26T02%3A34%3A32Z&se=2119-02-27T02%3A34%3A00Z&sp=rl&sv=2018-03-28&sr=c&sig=XlJVWA7fMXCSxCKqJm8psMOh0W4h7cSYO28coRqF2fs%3D"
   

   Aşağıdaki komut Spark 'ın blob depolamadan uzaktan okunmasını sağlar. Bu PySpark kodunu bir sonraki hücreye yapıştırın ve kodu çalıştırmak için SHIFT + enter tuşlarını kullanın.

   wasbs_path = 'wasbs://%s@%s.blob.core.windows.net/%s' % (blob_container_name, blob_account_name, blob_relative_path)
   spark.conf.set('fs.azure.sas.%s.%s.blob.core.windows.net' % (blob_container_name, blob_account_name), blob_sas_token)
   print('Remote blob path: ' + wasbs_path)
   

   Aşağıdaki komut bir DataFrame oluşturur. Bu PySpark kodunu bir sonraki hücreye yapıştırın ve kodu çalıştırmak için SHIFT + enter tuşlarını kullanın.

   df = spark.read.parquet(wasbs_path)
   print('Register the DataFrame as a SQL temporary view: source')
   df.createOrReplaceTempView('source')
   

4. SQL bir ifade çalıştırmak, kaynakolarak adlandırılan geçici görünümden ilk 10 veri satırı döndürür. Bu PySpark kodunu bir sonraki hücreye yapıştırın ve kodu çalıştırmak için SHIFT + enter tuşlarını kullanın.

   print('Displaying top 10 rows: ')
   display(spark.sql('SELECT * FROM source LIMIT 10'))
   

5. Aşağıdaki ekran görüntüsünde gösterildiği gibi bir tablo çıktısı görürsünüz (yalnızca bazı sütunlar gösterilmiştir):

   

6. artık bu verilerin görsel bir gösterimini oluşturarak, diğer kaynaklar yerine vatandaşları Bağlan App ve City çalışan uygulaması kullanılarak kaç tane güvenlik olayının raporlanacağı gösterilir. Tablo çıkışının alt kısmından çubuk grafik simgesini seçin ve ardından Çizim seçenekleri' ne tıklayın.

   oluştur

7. Çizimi Özelleştir menüsünde, değerleri ekran görüntüsünde gösterilen şekilde sürükleyip bırakın.

   

   • Anahtarlarıkaynağaayarlayın.

   • Değerleri \ID olarak ayarlayın.

   • Toplama’yı SAYI olarak ayarlayın.

   • Görüntü türünüpasta grafikolarak ayarlayın.

     Uygula’ya tıklayın.

Kaynakları temizleme

Makaleyi tamamladıktan sonra kümeyi sonlandırabilirsiniz. Bunu yapmak için Azure Databricks çalışma alanında sol bölmedeki Kümeler’i seçin. Sonlandırmak istediğiniz küme için imleci Eylemler sütunu altındaki üç noktanın üzerine taşıyın ve Sonlandır simgesini seçin.

Kümeyi oluştururken __ dakika etkinsizlik süresinden sonra sonlandır onay kutusunu seçtiyseniz, kümeyi kendiniz sonlandırmazsanız küme otomatik olarak durdurulur. Böyle bir durumda, belirtilen süre boyunca etkin olmaması durumunda küme otomatik olarak durdurulur.

Sonraki adımlar

Bu makalede, Azure Databricks 'de bir Spark kümesi oluşturdunuz ve Azure açık veri kümelerinden verileri kullanarak bir Spark işi çalıştırdınız. Diğer veri kaynaklarından Azure Databricks’e verileri aktarma hakkında bilgi almak için Spark veri kaynakları bölümüne de bakabilirsiniz. Azure Databricks kullanılarak bir ETL işleminin (verileri ayıklama, dönüştürme ve yükleme) nasıl gerçekleştirileceğini öğrenmek için sonraki makaleye ilerleyin.