Inicio rápido: Creación y supervisión de una topología de Apache Storm en Azure HDInsightQuickstart: Create and monitor an Apache Storm topology in Azure HDInsight

Apache Storm es un sistema de cálculo distribuido, escalable, con tolerancia a errores y en tiempo real para el procesamiento de secuencias de datos.Apache Storm is a scalable, fault-tolerant, distributed, real-time computation system for processing streams of data. Con Storm en HDInsight de Azure, puede crear un clúster de Storm basado en la nube que realice análisis en tiempo real de grandes cantidades de datos en tiempo real.With Storm on Azure HDInsight, you can create a cloud-based Storm cluster that performs big data analytics in real time.

En esta guía de inicio rápido, usará un ejemplo del proyecto storm-starter de Apache para crear y supervisar una topología de Apache Storm en un clúster de Apache Storm existente.In this quickstart, you use an example from the Apache storm-starter project to create and monitor an Apache Storm topology to an existing Apache Storm cluster.

Requisitos previosPrerequisites

Creación de la topologíaCreate the topology

  1. Conéctese a su clúster de Storm.Connect to your Storm cluster. Modifique el comando siguiente: reemplace CLUSTERNAME por el nombre del clúster de Storm y, luego, escriba el comando:Edit the command below by replacing CLUSTERNAME with the name of your Storm cluster, and then enter the command:

    ssh sshuser@CLUSTERNAME-ssh.azurehdinsight.net
    
  2. El ejemplo de WordCount se incluye en su clúster de HDInsight en /usr/hdp/current/storm-client/contrib/storm-starter/.The WordCount example is included on your HDInsight cluster at /usr/hdp/current/storm-client/contrib/storm-starter/. La topología genera frases aleatorias y cuenta cuántas veces aparecen las palabras.The topology generates random sentences and counts how many times words occur. Use el siguiente comando para iniciar la topología wordcount en el clúster:Use the following command to start the wordcount topology on the cluster:

    storm jar /usr/hdp/current/storm-client/contrib/storm-starter/storm-starter-topologies-*.jar org.apache.storm.starter.WordCountTopology wordcount
    

Supervisión de la topologíaMonitor the topology

Storm ofrece una interfaz web para trabajar con topologías en ejecución y se incluye en el clúster de HDInsight.Storm provides a web interface for working with running topologies, and is included on your HDInsight cluster.

Siga estos pasos para supervisar la topología mediante la interfaz de usuario de Storm:Use the following steps to monitor the topology using the Storm UI:

  1. Para mostrar la interfaz de usuario de Storm, abra https://CLUSTERNAME.azurehdinsight.net/stormui en el explorador web.To display the Storm UI, open a web browser to https://CLUSTERNAME.azurehdinsight.net/stormui. Reemplace CLUSTERNAME por el nombre del clúster.Replace CLUSTERNAME with the name of your cluster.

  2. En Topology Summary (Resumen de la topología), seleccione la entrada wordcount de la columna Nombre.Under Topology Summary, select the wordcount entry in the Name column. Se muestra información sobre la topología.Information about the topology is displayed.

    Panel de Storm con la información de topología de WordCount de Storm-Starter.

    En esta nueva página se ofrece la siguiente información:The new page provides the following information:

    PropiedadProperty DESCRIPCIÓNDescription
    Estadísticas de topologíaTopology stats Información básica sobre el rendimiento de la topología, organizada en ventanas de tiempo.Basic information on the topology performance, organized into time windows. Al seleccionar una ventana de tiempo específica, se cambia la ventana de tiempo de la información que aparece en otras secciones de la página.Selecting a specific time window changes the time window for information displayed in other sections of the page.
    SpoutsSpouts Información básica sobre spouts, entre la que se incluye el último error que ha devuelto cada spout.Basic information about spouts, including the last error returned by each spout.
    BoltsBolts Información básica sobre bolts.Basic information about bolts.
    Configuración de la topologíaTopology configuration Información detallada sobre la configuración de la topología.Detailed information about the topology configuration.
    ActivarActivate reanuda el procesamiento de una topología desactivada.Resumes processing of a deactivated topology.
    DesactivaciónDeactivate pausa una topología en ejecución.Pauses a running topology.
    ReequilibrarRebalance ajusta el paralelismo de la topología.Adjusts the parallelism of the topology. Debe volver a equilibrar las topologías en ejecución después de haber cambiado el número de nodos del clúster.You should rebalance running topologies after you have changed the number of nodes in the cluster. De esta forma, la topología ajusta el paralelismo para compensar el mayor o menor número de nodos del clúster.Rebalancing adjusts parallelism to compensate for the increased/decreased number of nodes in the cluster. Para más información, consulte la entrada de blog Understanding the parallelism of an Apache Storm topology (Entender el paralelismo de una topología de Apache Storm).For more information, see Understanding the parallelism of an Apache Storm topology.
    TerminarKill finaliza una topología de Storm tras el tiempo de espera especificado.Terminates a Storm topology after the specified timeout.
  3. En esta página, seleccione una entrada en la sección Spouts o Bolts.From this page, select an entry from the Spouts or Bolts section. Se muestra información sobre el componente seleccionado.Information about the selected component is displayed.

    Panel de Storm con información acerca de los componentes seleccionados.

    En la nueva página se muestra la siguiente información:The new page displays the following information:

    PropiedadProperty DESCRIPCIÓNDescription
    Estadísticas de spouts/boltsSpout/Bolt stats Información básica sobre el rendimiento de los componentes, organizada en ventanas de tiempo.Basic information on the component performance, organized into time windows. Al seleccionar una ventana de tiempo específica, se cambia la ventana de tiempo de la información que aparece en otras secciones de la página.Selecting a specific time window changes the time window for information displayed in other sections of the page.
    Estadísticas de entrada (solo bolt)Input stats (bolt only) Información sobre los componentes que generan los datos que consume el bolt.Information on components that produce data consumed by the bolt.
    Estadísticas de salidaOutput stats Información sobre los datos que emite este bolt.Information on data emitted by this bolt.
    EjecutoresExecutors Información sobre las instancias de este componente.Information on instances of this component.
    ErrorsErrors Errores que ha generado este componente.Errors produced by this component.
  4. Al ver los detalles de un spout o bolt, seleccione una entrada de la columna Puerto en la sección Ejecutores para ver los detalles de una instancia específica del componente.When viewing the details of a spout or bolt, select an entry from the Port column in the Executors section to view details for a specific instance of the component.

     2015-01-27 14:18:02 b.s.d.task [INFO] Emitting: split default ["with"]
     2015-01-27 14:18:02 b.s.d.task [INFO] Emitting: split default ["nature"]
     2015-01-27 14:18:02 b.s.d.executor [INFO] Processing received message source: split:21, stream: default, id: {}, [snow]
     2015-01-27 14:18:02 b.s.d.task [INFO] Emitting: count default [snow, 747293]
     2015-01-27 14:18:02 b.s.d.executor [INFO] Processing received message source: split:21, stream: default, id: {}, [white]
     2015-01-27 14:18:02 b.s.d.task [INFO] Emitting: count default [white, 747293]
     2015-01-27 14:18:02 b.s.d.executor [INFO] Processing received message source: split:21, stream: default, id: {}, [seven]
     2015-01-27 14:18:02 b.s.d.task [INFO] Emitting: count default [seven, 1493957]
    

    En este ejemplo, la palabra seven se ha producido 1493957 veces.In this example, the word seven has occurred 1493957 times. Este es el número de veces que se ha encontrado la palabra desde que se iniciara esta topología.This count is how many times the word has been encountered since this topology was started.

Detención de la topologíaStop the topology

Vuelva a la página Resumen de la topología de la topología de recuento de palabras y seleccione el botón Eliminar de la sección Acciones de topología.Return to the Topology summary page for the word-count topology, and then select the Kill button from the Topology actions section. Cuando se le solicite, escriba 10 como los segundos de espera antes de detener la topología.When prompted, enter 10 for the seconds to wait before stopping the topology. Tras el período de tiempo de espera, ya no aparece la topología cuando visita la sección IU de Storm del panel.After the timeout period, the topology no longer appears when you visit the Storm UI section of the dashboard.

Limpieza de recursosClean up resources

Después de completar el inicio rápido, puede ser conveniente eliminar el clúster.After you complete the quickstart, you may want to delete the cluster. Con HDInsight, los datos se almacenan en Azure Storage, por lo que puede eliminar un clúster de forma segura cuando no se esté usando.With HDInsight, your data is stored in Azure Storage, so you can safely delete a cluster when it is not in use. También se le cobrará por un clúster de HDInsight aunque no se esté usando.You are also charged for an HDInsight cluster, even when it is not in use. Como en muchas ocasiones los cargos por el clúster son mucho más elevados que los cargos por el almacenamiento, desde el punto de vista económico tiene sentido eliminar clústeres cuando no se estén usando.Since the charges for the cluster are many times more than the charges for storage, it makes economic sense to delete clusters when they are not in use.

Para eliminar un clúster, consulte Eliminación de un clúster de HDInsight con el explorador, PowerShell o la CLI de Azure.To delete a cluster, see Delete an HDInsight cluster using your browser, PowerShell, or the Azure CLI.

Pasos siguientesNext steps

En esta guía de inicio rápido, usó un ejemplo del proyecto storm-starter de Apache para crear y supervisar una topología de Apache Storm en un clúster de Apache Storm existente.In this quickstart, you used an example from the Apache storm-starter project to create and monitor an Apache Storm topology to an existing Apache Storm cluster. Avance hasta el siguiente artículo para obtener información sobre los conceptos básicos de la administración y supervisión de topologías de Apache Storm.Advance to the next article to learn the basics of managing and monitoring Apache Storm topologies.