Başlarken

Ortamınızı ayarlamak, verileriniz için bir işlem hattı oluşturmanın ilk adımıdır. Ortamınız hazırlandıktan sonra, örnek çalıştırmak hızlı ve kolaydır.

Bu makalede, başlamanıza başlamak için şu adımları gerçekleştiririz:

  1. Bilişsel Hizmetler kaynağı oluşturma
  2. Apache Spark kümesi oluşturma
  3. Örnek deneyin

Bilişsel Hizmetler kaynağı oluşturma

Büyük veri bilişsel hizmetlerini kullanmak için, önce iş akışınız için bir bilişsel hizmet oluşturmanız gerekir. İki ana bilişsel hizmetler türü vardır: Azure 'da barındırılan bulut hizmetleri ve kullanıcılar tarafından yönetilen Kapsayıcılı hizmetler. Daha basit bulut tabanlı bilişsel hizmetler ile başlamasını öneririz.

Bulut hizmetleri

Bulut tabanlı bilişsel hizmetler, Azure 'da barındırılan akıllı algoritmalardır. Bu hizmetler eğitim olmadan kullanıma yöneliktir, yalnızca bir internet bağlantısına ihtiyacınız vardır. Azure portal veya Azure CLIile bilişsel bir hizmet oluşturabilirsiniz .

Kapsayıcılı hizmetler (isteğe bağlı)

Uygulamanız veya iş yükünüz büyük veri kümeleri kullanıyorsa, özel ağ gerektirir veya buluta başvuramadığı takdirde, Cloud Services ile iletişim kurma imkansızçıkabilir. Bu durumda Kapsayıcılı bilişsel hizmetler şu avantajlara sahiptir:

  • Düşük bağlantı: Kapsayıcılı bilişsel Hizmetleri, hem bulutta hem de kapalı bir bilgi işlem ortamında dağıtabilirsiniz. Uygulamanız buluta başvuramıyorum, uygulamanıza Kapsayıcılı bilişsel hizmetler dağıtımı yapmayı göz önünde bulundurun.

  • Düşük gecikme süresi: Kapsayıcılı hizmetler buluta/buluttan gidiş dönüş iletişimi gerektirmediğinden, yanıtlar çok daha düşük gecikme süreleriyle döndürülür.

  • Gizlilik ve veri güvenliği: Kapsayıcılı Hizmetleri özel ağlara dağıtarak gizli verilerin ağdan ayrılmaması için.

  • Yüksek ölçeklenebilirlik: Kapsayıcılı hizmetlerin "oran limitleri" yoktur ve Kullanıcı tarafından yönetilen bilgisayarlarda çalışır. Bu nedenle, çok daha büyük iş yüklerini işlemek için bilişsel hizmetleri son olmadan ölçeklendirebilirsiniz.

Kapsayıcılı bir bilişsel hizmet oluşturmak için Bu kılavuzu izleyin.

Apache Spark kümesi oluşturma

Apache Spark ™ , büyük veri verileri işleme için tasarlanan dağıtılmış bir bilgi işlem çerçevesidir. Kullanıcılar, Azure 'da Azure Databricks, Azure SYNAPSE Analytics, HDInsight ve Azure Kubernetes hizmetleri gibi hizmetlerle Apache Spark çalışabilir. Büyük veri bilişsel hizmetlerini kullanmak için, önce bir küme oluşturmanız gerekir. Zaten bir Spark kümeniz varsa, bir örnek deneyebilirsiniz.

Azure Databricks

Azure Databricks, tek tıklamayla kurulum, kolaylaştırılmış iş akışları ve etkileşimli bir çalışma alanı olan Apache Spark tabanlı bir analiz platformudur. Genellikle veri bilimcileri, mühendisler ve iş analistleri arasında işbirliği yapmak için kullanılır. Azure Databricks büyük veri bilişsel hizmetlerini kullanmak için şu adımları izleyin:

  1. Azure Databricks çalışma alanı oluşturma
  2. Databricks’te Spark kümesi oluşturma
  3. Büyük veri bilişsel hizmetler 'i yükler
    • Databricks çalışma alanınızda yeni bir kitaplık oluşturma
      Create library
    • Aşağıdaki Maven koordinatları koordinatlarını girin: com.microsoft.ml.spark:mmlspark_2.11:1.0.0-rc3 Depo: https://mmlspark.azureedge.net/maven
      Library Coordinates
    • Kitaplığı bir kümeye yükler
      Install Library on Cluster

Azure SYNAPSE Analytics (isteğe bağlı)

İsteğe bağlı olarak, SYNAPSE Analytics 'i kullanarak bir Spark kümesi oluşturabilirsiniz. Azure SYNAPSE Analytics, kurumsal veri depolama ve büyük veri analizlerini birlikte sunar. Bu sayede, daha az sayıda isteğe bağlı veya sağlanan kaynakları kullanarak koşullarınızda verileri sorgulama özgürlüğü elde edersiniz. Azure SYNAPSE Analytics 'i kullanmaya başlamak için şu adımları izleyin:

  1. Bir Synapse çalışma alanı (Önizleme) oluşturun.
  2. Azure Portal kullanarak yeni bir sunucusuz Apache Spark Havuzu (Önizleme) oluşturun.

Azure SYNAPSE Analytics 'te bilişsel hizmetler için büyük veri varsayılan olarak yüklüdür.

Azure Kubernetes Service

Kapsayıcılı bilişsel hizmetler kullanıyorsanız, kapsayıcılarla birlikte Spark dağıtmaya yönelik popüler bir seçenek de Azure Kubernetes hizmetidir.

Azure Kubernetes hizmetini kullanmaya başlamak için şu adımları izleyin:

  1. Azure portalını kullanarak Azure Kubernetes Service (AKS) kümesi dağıtma
  2. Apache Spark 2.4.0 Held grafiğini yükler
  3. Held kullanarak bilişsel hizmet kapsayıcısı yükler

Örnek deneyin

Spark kümenizi ve ortamınızı ayarladıktan sonra kısa bir örnek çalıştırabilirsiniz. Bu bölümde, Azure Databricks 'de bilişsel hizmetler için büyük verilerin nasıl kullanılacağı gösterilmektedir.

İlk olarak, Azure Databricks bir not defteri oluşturabilirsiniz. Diğer Spark kümesi sağlayıcıları için, not defterlerini veya Spark gönderimini kullanın.

  1. Azure Databricks menüsünden Yeni Not defteri ' ni seçerek yeni bir databricks Not defteri oluşturun.

    Create a new notebook
  2. Not Defteri Oluştur iletişim kutusuna bir ad girin, dil olarak Python ' ı seçin ve daha önce oluşturduğunuz Spark kümesini seçin.

    New notebook details

    Oluştur’u seçin.

  3. Bu kod parçacığını yeni Not defterinize yapıştırın.

from mmlspark.cognitive import *
from pyspark.sql.functions import col

# Add your subscription key from Text Analytics (or a general Cognitive Service key)
service_key = "ADD-SUBSCRIPTION-KEY-HERE"

df = spark.createDataFrame([
  ("I am so happy today, its sunny!", "en-US"),
  ("I am frustrated by this rush hour traffic", "en-US"),
  ("The cognitive services on spark aint bad", "en-US"),
], ["text", "language"])

sentiment = (TextSentiment()
    .setTextCol("text")
    .setLocation("eastus")
    .setSubscriptionKey(service_key)
    .setOutputCol("sentiment")
    .setErrorCol("error")
    .setLanguageCol("language"))

results = sentiment.transform(df)

# Show the results in a table
display(results.select("text", col("sentiment")[0].getItem("score").alias("sentiment")))

  1. Azure portal Metin Analizi panonuzun anahtarlar ve uç nokta menüsünden abonelik anahtarınızı alın.
  2. Databricks Not defteri kodunuzda abonelik anahtarı yer tutucusunu abonelik anahtarınızla değiştirin.
  3. Örneği çalıştırmak için Not defteri hücrelerinizin sağ üst köşesinde bulunan Play veya Triangle simgesini seçin. İsteğe bağlı olarak, tüm hücreleri çalıştırmak için not defterinizin en üstünde Tümünü Çalıştır ' ı seçin. Yanıtlar, bir tablodaki hücrenin altında görüntülenir.

Beklenen sonuçlar

metin yaklaşım
Bugün bugün kutlu olsun! 0,978959
Bu aceleniz saat trafiği tarafından hayal dışındayım 0,0237956
Spark aint hatalı üzerinde bilişsel hizmetler 0,888896

Sonraki adımlar