Administración de clústeres de ML Services en Azure HDInsight

Artículo
09/08/2021
9 minutos para leer

Importante

Este contenido se ha eliminado y no se volverá a actualizar. El tipo de clúster Azure HDInsight 3.6 ML Services (Machine Learning Server) se ha eliminado desde el 31 de diciembre de 2020.

En este artículo, aprenderá a administrar un clúster de ML Services en Azure HDInsight para realizar tareas como agregar varios usuarios simultáneos, conectarse de forma remota a un cliente o un clúster de ML Services, cambiar el contexto de proceso, etc.

Prerrequisitos

Un clúster de ML Services en HDInsight. Consulte el artículo sobre la Creación de clústeres de Apache Hadoop mediante Azure Portal y seleccione ML Services como Tipo de clúster.
Un cliente de Secure Shell (SSH): el cliente de SSH se usa para conectarse al clúster de HDInsight de forma remota y ejecutar comandos directamente desde el clúster. Para obtener más información, consulte Uso de SSH con HDInsight.

Habilitación de varios usuarios simultáneos

Para habilitar varios usuarios simultáneos para un clúster de ML Services en HDInsight agregando más usuarios al nodo perimetral en el que se ejecuta la versión de comunidad de RStudio. Al crear un clúster de HDInsight, es preciso especificar dos usuarios, un usuario HTTP y un usuario SSH:

Parámetros de inicio de sesión de HDI en Azure Portal

Nombre de usuario de inicio de sesión del clúster: un usuario HTTP para la autenticación a través de la puerta de enlace de HDInsight que se usa para proteger los clústeres de HDInsight que ha creado. Este usuario HTTP se utiliza para acceder a la interfaz de usuario de Apache Ambari, a la interfaz de usuario de Apache Hadoop YARN y a otros componentes de la interfaz de usuario.
Nombre de usuario de Secure Shell (SSH) : un usuario SSH para acceder al clúster a través de Secure Shell. Este es un usuario del sistema Linux para todos los nodos principales, nodos de trabajo y nodos perimetrales. Por consiguiente, puede usar Secure Shell para acceder a cualquiera de los nodos de un clúster remoto.

La versión de comunidad de R Studio Server que se usa en el clúster de ML Services en HDInsight acepta únicamente el nombre de usuario y la contraseña de Linux como mecanismo de inicio de sesión. No admite tokens de paso. Por lo tanto, al tratar de obtener acceso a R Studio por primera vez en un clúster de ML Services, debe iniciar sesión dos veces.

Primero inicie sesión con las credenciales de usuario HTTP a través de la puerta de enlace de HDInsight.
Luego, use las credenciales de usuario de SSH para iniciar sesión en RStudio.

Actualmente, una cuenta de usuario SSH solo se puede crear al aprovisionar un clúster de HDInsight. Por tanto, para que varios usuarios puedan acceder al clúster de ML Services en HDInsight, debe crear usuarios adicionales en el sistema Linux.

Dado que RStudio se ejecuta en el nodo perimetral del clúster, hay que dar varios pasos:

Uso del usuario de SSH creado para iniciar sesión en el nodo perimetral
Agregar más usuarios de Linux al nodo perimetral.
Utilizar la versión de comunidad de RStudio con el usuario creado.

Siga las instrucciones que se proporcionan en Conexión a través de SSH con HDInsight (Apache Hadoop) para acceder al nodo perimetral. La dirección del nodo perimetral para el clúster de ML Services en HDInsight es CLUSTERNAME-ed-ssh.azurehdinsight.net.

Paso 2: Adición de más usuarios de Linux al nodo perimetral

Para agregar un usuario al nodo perimetral, ejecute los comandos:

# Add a user 
sudo useradd <yournewusername> -m

# Set password for the new user
sudo passwd <yournewusername>

En la captura de pantalla siguiente se muestra el resultado.

Captura de pantalla de salida de usuarios simultáneos

Cuando se le pida la "contraseña actual de Kerberos", presione Entrar para ignorarlo. La opción -m del comando useradd indica que el sistema creará una carpeta particular para el usuario, que se requiere para la versión de comunidad de RStudio.

Paso 3: Uso de la versión de comunidad de RStudio con el usuario creado

Acceda a RStudio desde https://CLUSTERNAME.azurehdinsight.net/rstudio/. La primera vez que inicie sesión después de crear el clúster, escriba las credenciales de administrador del clúster seguidas de las credenciales del usuario SSH que ha creado. Si no se trata del primer inicio de sesión, escriba solo las credenciales del usuario SSH que ha creado.

También puede iniciar sesión con las credenciales originales (de forma predeterminada es sshuser) simultáneamente desde otra ventana del explorador.

Tenga en cuenta también que los usuarios recién agregados no tienen privilegios raíz en el sistema Linux, pero tienen el mismo acceso a todos los archivos en el almacenamiento HDFS y WASB remoto.

Conexión de forma remota a Microsoft ML Services

Puede configurar el acceso al contexto de proceso de HDInsight Spark desde una instancia remota de ML Client que se ejecute en un equipo de escritorio. Para ello, debe especificar las opciones (hdfsShareDir, shareDir, sshUsername, sshHostname, sshSwitches y sshProfileScript) al definir el contexto de proceso RxSpark en el equipo de escritorio. Por ejemplo:

myNameNode <- "default"
myPort <- 0

mySshHostname  <- '<clustername>-ed-ssh.azurehdinsight.net'  # HDI secure shell hostname
mySshUsername  <- '<sshuser>'# HDI SSH username
mySshSwitches  <- '-i /cygdrive/c/Data/R/davec'   # HDI SSH private key

myhdfsShareDir <- paste("/user/RevoShare", mySshUsername, sep="/")
myShareDir <- paste("/var/RevoShare" , mySshUsername, sep="/")

mySparkCluster <- RxSpark(
    hdfsShareDir = myhdfsShareDir,
    shareDir     = myShareDir,
    sshUsername  = mySshUsername,
    sshHostname  = mySshHostname,
    sshSwitches  = mySshSwitches,
    sshProfileScript = '/etc/profile',
    nameNode     = myNameNode,
    port         = myPort,
    consoleOutput= TRUE
)

Para más información, consulte la sección "Using Microsoft Machine Learning Server as a Apache Hadoop Client" (Uso de Microsoft Machine Learning Server como cliente de Apache Hadoop) de How to use RevoScaleR in a Apache Spark compute context (Uso de RevoScaleR en un contexto de proceso de Apache Spark)

Usar un contexto de proceso

Un contexto de proceso le permite controlar si un cálculo se realizará de forma local en el nodo perimetral o se distribuirá en los nodos del clúster de HDInsight. Para ver un ejemplo de cómo configurar un contexto de proceso con RStudio Server, consulte Execute an R script on an ML Services cluster in Azure HDInsight using RStudio Server (Ejecutar un script de R en un clúster de servicios de ML en Azure HDInsight mediante RStudio Server).

Distribuir el código de R a varios nodos

Con ML Services en HDInsight puede seleccionar el código de R existente y ejecutarlo en varios nodos del clúster mediante rxExec. Esta función es útil cuando se realiza un barrido de parámetros o simulaciones. El siguiente código es un ejemplo de cómo usar rxExec:

rxExec( function() {Sys.info()["nodename"]}, timesToRun = 4 )

Si aún usa el contexto de Spark, este comando devuelve el valor nodename de los nodos de trabajo en los que se ejecuta el código (Sys.info()["nodename"]). Por ejemplo, en un clúster de cuatro nodos, lo esperable es recibir una salida similar al siguiente fragmento de código:

$rxElem1
    nodename
"wn3-mymlser"

$rxElem2
    nodename
"wn0-mymlser"

$rxElem3
    nodename
"wn3-mymlser"

$rxElem4
    nodename
"wn3-mymlser"

Acceso a datos en Apache Hive y Parquet

ML Services de HDInsight permite el acceso directo a los datos en Hive y Parquet para usarlos en funciones ScaleR en el contexto de proceso de Spark. Estas funcionalidades están disponibles por medio de las nuevas funciones de origen de datos ScaleR llamadas RxHiveData y RxParquetData. Estas emplean Spark SQL para cargar datos directamente en un elemento DataFrame de Spark para analizarlos con ScaleR.

El siguiente código proporciona código de ejemplos relativo al uso de las nuevas funciones:

#Create a Spark compute context:
myHadoopCluster <- rxSparkConnect(reset = TRUE)

#Retrieve some sample data from Hive and run a model:
hiveData <- RxHiveData("select * from hivesampletable",
                       colInfo = list(devicemake = list(type = "factor")))
rxGetInfo(hiveData, getVarInfo = TRUE)

rxLinMod(querydwelltime ~ devicemake, data=hiveData)

#Retrieve some sample data from Parquet and run a model:
rxHadoopMakeDir('/share')
rxHadoopCopyFromLocal(file.path(rxGetOption('sampleDataDir'), 'claimsParquet/'), '/share/')
pqData <- RxParquetData('/share/claimsParquet',
                        colInfo = list(
                            age    = list(type = "factor"),
                            car.age = list(type = "factor"),
                            type = list(type = "factor")
                        ) )
rxGetInfo(pqData, getVarInfo = TRUE)

rxNaiveBayes(type ~ age + cost, data = pqData)

#Check on Spark data objects, cleanup, and close the Spark session:
lsObj <- rxSparkListData() # two data objs are cached
lsObj
rxSparkRemoveData(lsObj)
rxSparkListData() # it should show empty list
rxSparkDisconnect(myHadoopCluster)

Para más información acerca del uso de estas nuevas funciones, consulte la ayuda en línea de ML Services mediante los comandos ?RxHivedata y ?RxParquetData.

Instalación de paquetes de R adicionales en el clúster

Procedimiento para instalar paquetes de R adicionales en el nodo perimetral

Si quiere instalar paquetes de R adicionales en el nodo perimetral, puede usar install.packages() directamente desde la consola de R cuando se conecte al nodo perimetral a través de SSH.

Procedimiento para instalar paquetes de R en el nodo de trabajo

Para instalar paquetes de R en los nodos de trabajo del clúster, debe usar una acción de script. Las acciones de script son scripts de Bash que se usan para realizar cambios en la configuración del clúster de HDInsight o para instalar software adicional, como paquetes de R adicionales.