Hantera ML Services-kluster på Azure HDInsight

Artikel
07/09/2021
7 minuter för att läsa

Viktigt

Det här innehållet dras tillbaka och kommer inte att uppdateras i framtiden. Azure HDInsight klustertypen 3.6 ML Services (Machine Learning Server) togs ur bruk den 31 dec 2020.

I den här artikeln får du lära dig hur du hanterar ett befintligt ML Services-kluster på Azure HDInsight för att utföra uppgifter som att lägga till flera samtidiga användare, fjärransluta till ett ML Services-kluster, ändra beräkningskontext osv.

Förutsättningar

Ett ML Services-kluster i HDInsight. Se Skapa Apache Hadoop-kluster med Azure Portal och ML Services som Klustertyp.
En SSH-klient (Secure Shell): En SSH-klient används för att fjärransluta till HDInsight-klustret och köra kommandon direkt på klustret. Mer information finns i Använda SSH med HDInsight..

Aktivera flera samtidiga användare

Du kan aktivera flera samtidiga användare för ML Services-kluster i HDInsight genom att lägga till fler användare för gränsnoden som RStudio Community-versionen körs på. När du skapar ett HDInsight-kluster måste du ange två användare, en HTTP-användare och en SSH-användare:

HDI Azure Portal inloggningsparametrar

Användarnamn för klusterinloggning: en HTTP-användare för autentisering via HDInsight-gatewayen som används till att skydda HDInsight-klustret du skapade. Den här HTTP-användaren används för att få åtkomst till Apache Ambari-användargränssnittet, Apache Hadoop YARN-användargränssnittet och andra gränssnittskomponenter.
Secure Shell (SSH)-användarnamn: en SSH-användare för åtkomst till klustret via SSH. Den här användaren är en användare i Linux-systemet för alla huvudnoder, arbetsnoder och kantnoder. Du kan därmed använda SSH för åtkomst till alla noder i ett fjärrkluster.

Den R Studio Server Community-version som används i ML Services-klustret i HDInsight accepterar endast Linux-användarnamn och -lösenord som en inloggningsmekanism. Du kan inte skicka token. Så när du försöker komma åt R Studio för första gången i ett ML Services-kluster måste du logga in två gånger.

Logga först in med HTTP-autentiseringsuppgifterna via HDInsight Gateway.
Använd sedan SSH-autentiseringsuppgifterna för att logga in på RStudio.

För närvarande kan du bara skapa ett SSH-användarkonto när du etablerar ett HDInsight-kluster. Om du vill ge flera användare åtkomst ML Services-kluster i HDInsight måste du skapa ytterligare användare i Linux-systemet.

Eftersom RStudio körs på klustrets kantnod finns det flera steg här:

Använd den befintliga SSH-användaren för att logga in på kantnoden
Lägg till fler Linux-användare på kantnoden
Använd RStudio Community-versionen med användaren som skapades

Följ anvisningarna på sidan Anslut HDInsight (Apache Hadoop) med hjälp av SSH för att komma åt kantnoden. Kantnodadressen för ML Services-klustret i HDInsight är CLUSTERNAME-ed-ssh.azurehdinsight.net .

Steg 2: Lägg till fler Linux-användare på kantnoden

Kör följande kommandon när du ska lägga till en användare vid kantnoden:

# Add a user 
sudo useradd <yournewusername> -m

# Set password for the new user
sudo passwd <yournewusername>

Följande skärmbild visar utdata.

skärmbild av utdata för samtidiga användare

När du tillfrågas om "Aktuellt Kerberos-lösenord:" trycker du bara på Retur för att ignorera det. Alternativet -m i kommandot useradd innebär att systemet skapar en arbetsmapp för användaren, vilket krävs för RStudio Comunity-versionen.

Steg 3: Använd RStudio Community-versionen med användaren som skapades

Få åtkomst till RStudio från https://CLUSTERNAME.azurehdinsight.net/rstudio/ . Om du loggar in för första gången efter att klustret har skapats anger du autentiseringsuppgifterna för klusteradministratören följt av de SSH-användarautentiseringsuppgifter som du skapade. Om det här inte är din första inloggning anger du bara autentiseringsuppgifterna för den SSH-användare som du skapade.

Du kan också logga in med de ursprungliga autentiseringsuppgifterna (som standard är det sshuser) samtidigt från ett annat webbläsarfönster.

Observera också att de nya användarna inte har rotbehörighet i Linux-systemet, men att de har samma åtkomst till alla filer i HDFS- och WASB-fjärrlagringen.

Anslut till Microsoft ML Services

Du kan konfigurera åtkomst till HDInsight Spark-beräkningskontexten från en fjärrinstans ML klient som körs på skrivbordet. För att göra det måste du ange alternativen (hdfsShareDir, shareDir, sshUsername, sshHostname, sshSwitches och sshProfileScript) när du definierar RxSpark-beräkningskontexten på skrivbordet: Exempel:

myNameNode <- "default"
myPort <- 0

mySshHostname  <- '<clustername>-ed-ssh.azurehdinsight.net'  # HDI secure shell hostname
mySshUsername  <- '<sshuser>'# HDI SSH username
mySshSwitches  <- '-i /cygdrive/c/Data/R/davec'   # HDI SSH private key

myhdfsShareDir <- paste("/user/RevoShare", mySshUsername, sep="/")
myShareDir <- paste("/var/RevoShare" , mySshUsername, sep="/")

mySparkCluster <- RxSpark(
    hdfsShareDir = myhdfsShareDir,
    shareDir     = myShareDir,
    sshUsername  = mySshUsername,
    sshHostname  = mySshHostname,
    sshSwitches  = mySshSwitches,
    sshProfileScript = '/etc/profile',
    nameNode     = myNameNode,
    port         = myPort,
    consoleOutput= TRUE
)

Mer information finns i avsnittet "Använda Microsoft Machine Learning Server som en Apache Hadoop-klient" i Använda RevoScaleR i en Apache Spark-beräkningskontext

Använda en beräkningskontext

Med en beräkningskontext kan du kontrollera om beräkningen utförs lokalt på kantnoden eller om den ska distribueras mellan noderna i HDInsight-klustret. Ett exempel på hur du anger en beräkningskontext med RStudio Server finns i Execute an R script on an ML Services cluster in Azure HDInsight using RStudio Server (Köra ett R-skript på ett ML Services-kluster i en Azure HDInsight med RStudio Server).

Distribuera R-kod till flera noder

Med ML Services på HDInsight kan du ta befintlig R-kod och köra den över flera noder i klustret med hjälp av rxExec . Det här är praktiskt när du gör en parameterrensning eller simuleringar. Här följer ett kodexempel på hur du kan använda rxExec:

rxExec( function() {Sys.info()["nodename"]}, timesToRun = 4 )

Om du fortfarande använder Spark-kontexten returnerar det här kommandot nodename-värdet för de arbetsnoder (Sys.info()["nodename"]) som koden körs på. I ett kluster med fyra noder förväntar du dig till exempel utdata som liknar följande kodfragment:

$rxElem1
    nodename
"wn3-mymlser"

$rxElem2
    nodename
"wn0-mymlser"

$rxElem3
    nodename
"wn3-mymlser"

$rxElem4
    nodename
"wn3-mymlser"

Komma åt data i Apache Hive och Parquet

HDInsight ML Services tillåter direkt åtkomst till data i Hive och Parquet för användning av ScaleR-funktioner i Spark-beräkningskontexten. Dessa funktioner är tillgängliga via nya ScaleR-datakällafunktioner som heter RxHiveData och RxParquetData som fungerar med Spark SQL för att läsa in data direkt till en Spark DataFrame för analys av ScaleR.

Här är exempelkod där de nya funktionerna används:

#Create a Spark compute context:
myHadoopCluster <- rxSparkConnect(reset = TRUE)

#Retrieve some sample data from Hive and run a model:
hiveData <- RxHiveData("select * from hivesampletable",
                       colInfo = list(devicemake = list(type = "factor")))
rxGetInfo(hiveData, getVarInfo = TRUE)

rxLinMod(querydwelltime ~ devicemake, data=hiveData)

#Retrieve some sample data from Parquet and run a model:
rxHadoopMakeDir('/share')
rxHadoopCopyFromLocal(file.path(rxGetOption('sampleDataDir'), 'claimsParquet/'), '/share/')
pqData <- RxParquetData('/share/claimsParquet',
                        colInfo = list(
                            age    = list(type = "factor"),
                            car.age = list(type = "factor"),
                            type = list(type = "factor")
                        ) )
rxGetInfo(pqData, getVarInfo = TRUE)

rxNaiveBayes(type ~ age + cost, data = pqData)

#Check on Spark data objects, cleanup, and close the Spark session:
lsObj <- rxSparkListData() # two data objs are cached
lsObj
rxSparkRemoveData(lsObj)
rxSparkListData() # it should show empty list
rxSparkDisconnect(myHadoopCluster)

Mer information om hur du använder dessa nya funktioner finns i onlinehjälpen i ML Services med hjälp av ?RxHivedata kommandona ?RxParquetData och .

Installera ytterligare R-paket i klustret

Installera R-paket på gränsnoden

Om du vill installera ytterligare R-paket på gränsnoden kan du använda direkt från R-konsolen när du är ansluten till install.packages() gränsnoden via SSH.

Installera R-paket på arbetsnoden

Om du vill installera R-paket på klustrets arbetsnoder måste du använda en skriptåtgärd. Skriptåtgärder är bash-skript som används till att göra konfigurationsändringar i HDInsight-klustret eller till att installera ytterligare programvara, som fler R-paket.