Aan de slag

Uw omgeving instellen is de eerste stap om een pijplijn te ontwerpen voor uw gegevens. Wanneer uw omgeving klaar is, kunt u gemakkelijk en snel een voorbeeld uitvoeren.

In dit artikel voeren we de volgende stappen uit om u op weg te helpen:

1. Een Cognitive Services-resource maken
2. Een Apache Spark-cluster maken
3. Een voorbeeld uitproberen

Een Cognitive Services-resource maken

Als u de Big Data-Cognitive Services, moet u eerst een Cognitive Service maken voor uw werkstroom. Er zijn twee voorname types Cognitive Services: cloudservices die worden gehost in Azure en in een container geplaatste services die worden beheerd door gebruikers. We raden u aan om te beginnen met het eenvoudigere, cloudgebaseerde Cloud Cognitive Services.

Cloud services

Cloudgebaseerde Cognitive Services zijn intelligente algoritmen die worden gehost in Azure. Deze services zijn klaar voor gebruik zonder training. U hebt hiervoor alleen een internetverbinding nodig. U kunt een Cognitive Service maken in het Azure-portal of met de Azure CLI.

In een container geplaatste services (optioneel)

Als uw toepassing of workload grote gegevenssets gebruikt, een particulier netwerk nodig heeft of geen contact kan maken met de cloud, kan communicatie met cloudservices wel eens niet mogelijk zijn. In deze situatie bieden in een container geplaatste Cognitive Services de volgende voordelen:

• Lage connectiviteit: U kunt in een container geplaatste Cognitive Services implementeren in elke rekenomgeving, binnen als buiten de cloud. Als uw toepassing geen contact kan maken met de cloud, overweeg dan om in een container geplaatste Cloud Services te implementeren in uw toepassing.

• Lage latentie: Omdat voor in een container geplaatste services geen retourcommunicatie naar/van de cloud vereist is, ligt de latentie voor antwoorden veel lager.

• Privacy en gegevensbeveiliging: U kunt in een container geplaatste services implementeren in privénetwerken, zodat gevoelige gegevens het netwerk niet moeten verlaten.

• Hoge schaalbaarheid: In een container geplaatste services hebben geen 'frequentielimieten' en worden uitgevoerd op computers die worden beheerd door de gebruiker. U kunt dus Cognitive Services schalen zonder veel grotere workloads te verwerken.

Volg deze handleiding voor het maken van een in een container geplaatste Cognitive Service.

Een Apache Spark-cluster maken

Apache Spark™ is een gedistribueerd rekennetwerk dat is ontworpen voor de verwerking van big data. Gebruikers kunnen werken met Apache Spark in Azure met services zoals Azure Databricks, Azure Synapse Analytics, HDInsight en Azure Kubernetes Services. Als u de Big Data-Cognitive Services, moet u eerst een cluster maken. Als u al een Spark-cluster hebt, dan kunt u een voorbeeld uitproberen.

Azure Databricks

Azure Databricks is een op Apache Spark gebaseerd analyseplatform dat met één klik geconfigureerd kan worden, gestroomlijnde werkstromen en een interactieve werkruimte heeft. Het wordt vaak gebruikt om samen te werken tussen gegevenswetenschappers, technici en bedrijfsanalisten. Als u de Big Data Cognitive Services in Azure Databricks wilt gebruiken, volgt u deze stappen:

1. Een Azure Databricks-werkruimte maken
2. Een Spark-cluster maken in Databricks
3. De Big Data Cognitive Services installeren
   • Maak een nieuwe bibliotheek in uw databricks-werkruimte
     
   • Voer de volgende maven-coördinaten in: com.microsoft.ml.spark:mmlspark_2.11:1.0.0-rc3Opslagplaats: https://mmlspark.azureedge.net/maven
     
   • Installeer de bibliotheek op een cluster
     

Azure Synapse Analytics (optioneel)

U kunt Synapse Analytics ook gebruiken om een Spark-cluster te maken. Azure Synapse Analytics brengt datawarehousing voor ondernemingen en big data-analyses samen. Deze geeft u de vrijheid om op schaal gegevens op te vragen over uw voorwaarden, met behulp van serverloze on-demand of ingerichte resources. Voer de volgende stappen uit om aan de slag te gaan met Azure Synapse Analytics:

1. Maak een Synapse-werkruimte (preview).
2. Maak een nieuwe serverloze Apache Spark-pool (preview) met behulp van Azure Portal.

Big data voor Cognitive Services is standaard geïnstalleerd in Azure Synapse Analytics.

Azure Kubernetes Service

Als u in een container geplaatste Cognitive Services gebruikt, is de Azure Kubernetes Service een populaire optie om Spark samen met containers te implementeren.

Om aan de slag te gaan met Azure Kubernetes Service, volgt u deze stappen:

1. Een AKS-cluster (Azure Kubernetes Service) implementeren met behulp van de Azure-portal
2. Installeer de Helm-grafiek van Apache Spark 2.4.0
3. Installeer een Cognitive Service-container met behulp van Helm

Een voorbeeld uitproberen

Nadat u uw Spark-cluster en -omgeving hebt ingesteld, kunt u een kort voorbeeld uitvoeren. In deze sectie wordt gedemonstreerd hoe u de Big Data voor Cognitive Services gebruikt in Azure Databricks.

Eerst kunt u een notebook maken in Azure Databricks. Gebruik voor andere Spark-clusterproviders hun notebooks of Spark Submit.

1. Maak een nieuw Databricks-notebook door Nieuw notebook te kiezen in Azure Databricks menu.

   

2. Voer in het dialoogvenster Notitieblok maken een naam in, selecteer Python als taal en selecteer het Spark-cluster dat u eerder hebt gemaakt.

   

   Selecteer Maken.

3. Plak dit codefragment in uw nieuwe notebook.

from mmlspark.cognitive import *
from pyspark.sql.functions import col

# Add your subscription key from the Language service (or a general Cognitive Service key)
service_key = "ADD-SUBSCRIPTION-KEY-HERE"

df = spark.createDataFrame([
  ("I am so happy today, its sunny!", "en-US"),
  ("I am frustrated by this rush hour traffic", "en-US"),
  ("The cognitive services on spark aint bad", "en-US"),
], ["text", "language"])

sentiment = (TextSentiment()
    .setTextCol("text")
    .setLocation("eastus")
    .setSubscriptionKey(service_key)
    .setOutputCol("sentiment")
    .setErrorCol("error")
    .setLanguageCol("language"))

results = sentiment.transform(df)

# Show the results in a table
display(results.select("text", col("sentiment")[0].getItem("score").alias("sentiment")))

1. Haal uw abonnementssleutel op uit het menu Sleutels en eindpunt van uw taalresource in Azure Portal.
2. Vervang de tijdelijke aanduiding voor de abonnementssleutel in de code in uw Databricks-notebook door uw abonnementssleutel.
3. Selecteer in de rechterbovenhoek van uw notebook-cel het symbool voor afspelen, of de driehoek, om het voorbeeld uit te voeren. U kunt ook Alles uitvoeren selecteren bovenaan uw notebook om alle cellen uit te voeren. De antwoorden worden weergegeven onder de cel in een tabel.

Verwachte resultaten

Volgende stappen

• Korte Python-voorbeelden
• Korte Scala-voorbeelden
• Recept: Voorspellend onderhoud
• Recept: Verkenning van intelligente kunst