Komma igång

Att konfigurera din miljö är det första steget för att skapa en pipeline för dina data. När din miljö är klar är det snabbt och enkelt att köra ett exempel.

I den här artikeln utför vi följande steg för att komma igång:

1. Skapa en -resurs för Cognitive Services
2. Skapa ett Apache Spark kluster
3. Prova ett exempel

Skapa en -resurs för Cognitive Services

Om du vill använda Cognitive Services måste du först skapa en Cognitive Service för arbetsflödet. Det finns två huvudtyper av Cognitive Services: molntjänster som hanteras i Azure och containertjänster som hanteras av användare. Vi rekommenderar att du börjar med de enklare molnbaserade Cognitive Services.

Molntjänster

Molnbaserade Cognitive Services är intelligenta algoritmer som finns i Azure. De här tjänsterna är klara att användas utan utbildning, du behöver bara en Internetanslutning. Du kan skapa en Cognitive Service i Azure Portal eller med Azure CLI.

Containertjänster (valfritt)

Om ditt program eller din arbetsbelastning använder stora datamängder, kräver privata nätverk eller inte kan kontakta molnet kan det vara omöjligt att kommunicera med molntjänster. I den här situationen har containeriserade Cognitive Services dessa fördelar:

• Låg anslutning: Du kan distribuera containerbaserade Cognitive Services i valfri databehandlingsmiljö, både i molnet och utanför. Om ditt program inte kan kontakta molnet kan du överväga att distribuera containeriserade Cognitive Services i ditt program.

• Låg latens: Eftersom containerbaserade tjänster inte kräver kommunikation fram och tillbaka till/från molnet returneras svar med mycket kortare svarstider.

• Sekretess och datasäkerhet: Du kan distribuera containertjänster i privata nätverk så att känsliga data inte lämnar nätverket.

• Hög skalbarhet: Containerbaserade tjänster har inte "hastighetsbegränsningar" och körs på användarbaserade datorer. Du kan därför skala Cognitive Services utan slut för att hantera mycket större arbetsbelastningar.

Följ den här guiden för att skapa en containeriserad Cognitive Service.

Skapa ett Apache Spark-kluster

Apache Spark ™ är ett ramverk för distribuerad databehandling som utformats för bearbetning av stordata. Användare kan arbeta med Apache Spark i Azure med tjänster som Azure Databricks, Azure Synapse Analytics, HDInsight och Azure Kubernetes Services. Om du vill använda Cognitive Services måste du först skapa ett kluster. Om du redan har ett Spark-kluster kan du prova ett exempel.

Azure Databricks

Azure Databricks är en Apache Spark-baserad analysplattform med en konfiguration med ett klick, effektiva arbetsflöden och en interaktiv arbetsyta. Den används ofta för att samarbeta mellan dataforskare, ingenjörer och affärsanalytiker. Om du vill använda Cognitive Services på Azure Databricks följer du dessa steg:

1. Skapa en Azure Databricks arbetsyta
2. Skapa ett Spark-kluster i Databricks
3. Installera Cognitive Services
   • Skapa ett nytt bibliotek på databricks-arbetsytan
     
   • Ange följande maven-koordinater: com.microsoft.ml.spark:mmlspark_2.11:1.0.0-rc3 Lagringsplats: https://mmlspark.azureedge.net/maven
     
   • Installera biblioteket på ett kluster
     

Azure Synapse Analytics (valfritt)

Om du vill kan du använda Synapse Analytics för att skapa ett Spark-kluster. Azure Synapse Analytics samman informationslager för företag och stordataanalys. Det ger dig friheten att köra frågor mot data på dina villkor, antingen med serverlösa resurser på begäran eller etablerade resurser i stor skala. Kom igång med Azure Synapse Analytics genom att följa dessa steg:

1. Skapa en Synapse-arbetsyta (förhandsversion).
2. Skapa en ny serverlös Apache Spark (förhandsversion) med hjälp av Azure Portal.

I Azure Synapse Analytics installeras stordata för Cognitive Services som standard.

Azure Kubernetes Service

Om du använder containeriserade Cognitive Services är ett populärt alternativ för att distribuera Spark tillsammans med containrar Azure Kubernetes Service.

Kom igång med Azure Kubernetes Service följande steg:

1. Distribuera ett kluster med Azure Kubernetes Service (AKS) med hjälp av Azure Portal
2. Installera helm-Apache Spark 2.4.0
3. Installera en Cognitive Service-container med Hjälp av Helm

Prova ett exempel

När du har ställt in Spark-klustret och Spark-miljön kan du köra ett kort exempel. Det här avsnittet visar hur du använder stordata för Cognitive Services i Azure Databricks.

Först kan du skapa en notebook-Azure Databricks. För andra Spark-klusterproviders använder du deras notebook-datorer eller Spark Submit.

1. Skapa en ny Databricks-anteckningsbok genom att välja Ny notebook-Azure Databricks menyn.

   

2. I dialogrutan Skapa anteckningsbok anger du ett namn, väljer Python som språk och väljer det Spark-kluster som du skapade tidigare.

   

   Välj Skapa.

3. Klistra in det här kodfragmentet i din nya notebook-kod.

from mmlspark.cognitive import *
from pyspark.sql.functions import col

# Add your subscription key from the Language service (or a general Cognitive Service key)
service_key = "ADD-SUBSCRIPTION-KEY-HERE"

df = spark.createDataFrame([
  ("I am so happy today, its sunny!", "en-US"),
  ("I am frustrated by this rush hour traffic", "en-US"),
  ("The cognitive services on spark aint bad", "en-US"),
], ["text", "language"])

sentiment = (TextSentiment()
    .setTextCol("text")
    .setLocation("eastus")
    .setSubscriptionKey(service_key)
    .setOutputCol("sentiment")
    .setErrorCol("error")
    .setLanguageCol("language"))

results = sentiment.transform(df)

# Show the results in a table
display(results.select("text", col("sentiment")[0].getItem("score").alias("sentiment")))

1. Hämta din prenumerationsnyckel från menyn Nycklar och slutpunkt från språkresursen i Azure Portal.
2. Ersätt platshållaren för prenumerationsnyckeln i din Notebook-kod för Databricks med din prenumerationsnyckel.
3. Välj symbolen spela upp, eller triangel, längst upp till höger i notebook-cellen för att köra exemplet. Du kan också välja Kör alla överst i anteckningsboken för att köra alla celler. Svaren visas under cellen i en tabell.

Förväntat resultat

Nästa steg

• Korta Python-exempel
• Korta Scala-exempel
• Recept: Förutsägande underhåll
• Recept: Intelligent konstutforskning