Creación de una conexión de datos de Event Hubs para Azure Data Explorer

Azure Data Explorer ofrece ingesta desde Event Hubs, una plataforma de streaming de macrodatos y un servicio de ingesta de eventos. Event Hubs puede procesar millones de eventos por segundo prácticamente en tiempo real.

En este artículo, se conectará a un centro de eventos e ingerirá datos en Azure Data Explorer. Para obtener información general sobre la ingesta desde Event Hubs, consulte Azure Event Hubs conexión de datos.

Para obtener información sobre cómo crear la conexión mediante los SDK de Kusto, consulte Creación de una conexión de datos de Event Hubs con SDK.

Para obtener ejemplos de código basados en versiones anteriores del SDK, consulte el artículo archivado.

Creación de una conexión de datos del centro de eventos

En esta sección, establecerá una conexión entre el centro de eventos y la tabla de Azure Data Explorer. Siempre que esta conexión esté en vigor, los datos se transmiten desde el centro de eventos a la tabla de destino. Si el centro de eventos se mueve a otro recurso o suscripción, debe actualizar o volver a crear la conexión.

Obtener datos

Requisitos previos

• Una cuenta microsoft o una identidad de usuario Microsoft Entra. No se necesita una suscripción a Azure.
• Un clúster y la base de datos de Azure Data Explorer. Cree un clúster y una base de datos.
• La ingesta de streaming debe configurarse en el clúster de Azure Data Explorer.

Obtener datos

1. En el menú de la izquierda, seleccione Consulta.

2. Haga clic con el botón derecho en la base de datos donde desea ingerir los datos. Seleccione Obtener datos.

   

Source

En la ventana Obtener datos , se selecciona la pestaña Origen .

Seleccione el origen de datos de la lista disponible. En este ejemplo, va a ingerir datos de Event Hubs.

Configurar

1. Seleccione una base de datos de destino y una tabla. Si desea ingerir datos en una nueva tabla, seleccione + Nueva tabla y escriba un nombre de tabla.

   Nota

   Los nombres de tabla pueden tener hasta 1024 caracteres, incluidos espacios, alfanuméricos, guiones y caracteres de subrayado. No se admiten caracteres especiales.

   

2. Rellene los campos siguientes:

   Configuración	Descripción del campo
   Suscripción	Identificador de la suscripción donde se encuentra el recurso del centro de eventos.
   Espacio de nombres del centro de eventos	Nombre que identifica el espacio de nombres.
   Centro de eventos	Centro de eventos que desea
   Grupo de consumidores	El grupo de consumidores definido en el evento
   Nombre de la conexión de datos	Nombre que identifica la conexión de datos.
   Filtros avanzados
   Compresión	Tipo de compresión de la carga de mensajes del centro de eventos.
   Propiedades del sistema de eventos	Propiedades del sistema del centro de eventos. Si hay varios registros por cada mensaje de evento, las propiedades del sistema se agregan al primero de ellos. Cuando agregue las propiedades del sistema, cree o actualice el esquema de tabla y la asignación para incluir las propiedades seleccionadas.
   Fecha de inicio de recuperación de eventos	La conexión de datos recupera los eventos de Event Hubs existentes creados después de la fecha de inicio de la recuperación de eventos. Solo se pueden recuperar los eventos retenidos por el período de retención de Event Hubs. Si no se especifica la fecha de inicio de recuperación de eventos, la hora predeterminada es la hora en la que se crea la conexión de datos.

3. Seleccione Siguiente.

Inspeccionar

La pestaña Inspeccionar se abre con una vista previa de los datos.

Para completar el proceso de ingesta, seleccione Finalizar.

Opcionalmente:

• Si los datos que ve en la ventana de vista previa no están completos, es posible que necesite más datos para crear una tabla con todos los campos de datos necesarios. Use los siguientes comandos para capturar datos nuevos desde el centro de eventos:

  • Descartar y capturar nuevos datos: descarta los datos presentados y busca nuevos eventos.

  • Fetch more data (Capturar más datos): busca más eventos además de los eventos ya encontrados.

    Nota

    Para ver una vista previa de los datos, el centro de eventos debe enviar eventos.

• Seleccione Visor de comandos para ver y copiar los comandos automáticos generados a partir de las entradas.

• Use la lista desplegable Archivo de definición de esquema para cambiar el archivo del que se deduce el esquema.

• Cambie el formato de datos inferido automáticamente seleccionando el formato deseado en la lista desplegable. Consulte Formatos de datos compatibles con Azure Data Explorer para la ingesta.

• Editar columnas.

• Explore opciones avanzadas basadas en el tipo de datos.

Editar columnas

Nota

• En el caso de los formatos tabulares (CSV, TSV, PSV), no se puede asignar una columna dos veces. Para asignar a una columna existente, elimine primero la nueva columna.
• No se puede cambiar un tipo de columna existente. Si intenta asignar a una columna con un formato diferente, puede acabar con columnas vacías.

Los cambios que pueda realizar a una tabla dependerán de los siguientes parámetros:

• El tipo de tabla es nuevo o existente
• El tipo de asignación es nuevo o existente

Tipo de tabla.	Tipo de asignación	Ajustes disponibles
Tabla nueva	Asignación nueva	Cambiar nombre de columna, cambiar el tipo de datos, cambiar el origen de datos, la transformación de asignación, agregar columna, eliminar columna
Tabla existente	Asignación nueva	Agregar columna (en la que puede cambiar el tipo de datos, cambiar el nombre y actualizar)
Tabla existente	Asignación existente	ninguno

Asignación de transformaciones

Algunas de las asignaciones de formato de datos (Parquet, JSON y Avro) admiten transformaciones sencillas en el momento de la ingesta. Para aplicar transformaciones de asignación, cree o actualice una columna en la ventana Editar columnas .

Las transformaciones de asignación se pueden realizar en una columna de tipo cadena o datetime, con el origen que tiene el tipo de datos int o long. Las asignaciones de transformaciones que se admiten son:

• DateTimeFromUnixSeconds
• DateTimeFromUnixMilliseconds
• DateTimeFromUnixMicroseconds
• DateTimeFromUnixNanoseconds

Opciones avanzadas basadas en el tipo de datos

Tabular (CSV, TSV, PSV):

• Si va a ingerir formatos tabulares en una tabla existente, puede seleccionar AdvancedKeep current table schema (Mantener el esquema de tabla actualavanzado>). Los datos tabulares no incluyen necesariamente los nombres de columna que se usan para asignar datos de origen a las columnas existentes. Cuando se activa esta opción, la asignación se realiza por orden y el esquema de tabla sigue siendo el mismo. Si esta opción está desactivada, se crean nuevas columnas para los datos entrantes, independientemente de la estructura de datos.

• Para usar la primera fila como nombres de columna, seleccione AdvancedFirst row is column header (La primera fila avanzada> es el encabezado de columna).

  

JSON:

• Para determinar la división de columnas de datos JSON, seleccione Nivelesanidadosavanzados>, de 1 a 100.

• Si selecciona AdvancedIgnore data format errors (Omitir errores de formato de datos),> los datos se ingieren en formato JSON. Si no selecciona esta casilla, los datos se ingieren en formato de JSON múltiple.

  

Resumen

En la ventana Preparación de datos, los tres pasos se marcan con marcas de verificación verdes cuando la ingesta de datos finaliza correctamente. Puede ver los comandos que se usaron para cada paso o seleccionar una tarjeta para consultar, visualizar o quitar los datos ingeridos.

Portal: página de azure Data Explorer

Requisitos previos

• Suscripción a Azure. Cree una cuenta de Azure gratuita.
• Un clúster y una base de datos de Azure Data Explorer. Cree un clúster y una base de datos.
• Una tabla de destino. Cree una tabla o use una tabla existente.
• Asignación de ingesta para la tabla.
• Un centro de eventos con datos para la ingesta.

Obtener datos

1. En el Azure Portal, vaya al clúster y seleccione Bases de datos. A continuación, seleccione la base de datos que contiene la tabla de destino.

   

2. En el menú de la izquierda, seleccione Ingesta de datos. A continuación, en la barra superior, seleccione Agregar conexión de datos.

3. Rellene el formulario con la siguiente información y, después, seleccione Crear.

   Configuración	Valor sugerido	Descripción del campo
   Nombre de la conexión de datos	test-hub-connection	Nombre de la conexión que desea crear en el Explorador de datos de Azure.
   Suscripción		Identificador de la suscripción donde se encuentra el recurso del centro de eventos.
   Espacio de nombres del centro de eventos	Nombre único del espacio de nombres	Nombre elegido anteriormente que identifica el espacio de nombres.
   Centro de eventos	test-hub	El centro de eventos que creó.
   Grupo de consumidores	test-group	Grupo de consumidores de eventos definido en el centro de eventos que creó.
   Propiedades del sistema de eventos	Seleccione las propiedades pertinentes.	Propiedades del sistema del centro de eventos. Si hay varios registros por mensaje de evento, las propiedades del sistema se agregan al primer registro. Cuando agregue las propiedades del sistema, cree o actualice el esquema de tabla y la asignación para incluir las propiedades seleccionadas.
   Compresión	None	Tipo de compresión de la carga de mensajes del centro de eventos. Tipos de compresión admitidos: Ninguno, Gzip.
   Identidad administrada (recomendado)	Asignada por el sistema	La identidad administrada que usa el clúster de Data Explorer para el acceso de lectura del centro de eventos. Se recomienda usar identidades administradas para controlar el acceso al centro de eventos. Nota: Cuando se crea la conexión de datos: * Las identidades asignadas por el sistema se crean automáticamente si no existen * A la identidad administrada se le asigna automáticamente el rol Receptor de datos de Azure Event Hubs y se agrega al clúster de Data Explorer. Se recomienda comprobar que el rol se asignó y que la identidad se agregó al clúster.

   Nota

   Si tiene una conexión de datos existente que no usa identidades administradas, se recomienda actualizarla para que use identidades administradas.

Portal: página de Azure Event Hubs

Requisitos previos

• Suscripción a Azure. Cree una cuenta de Azure gratuita.
• Un clúster y una base de datos de Azure Data Explorer. Cree un clúster y una base de datos.
• Una tabla de destino. Cree una tabla o use una tabla existente.
• Asignación de ingesta para la tabla.
• Un centro de eventos con datos para la ingesta.

Obtener datos

1. En el Azure Portal, vaya a la instancia de Event Hubs.

2. En el menú lateral Características , seleccione Analizar datos con Kusto.

3. Seleccione Iniciar para abrir el Asistente para ingesta en Azure Data Explorer.

   

   Nota

   • Debe tener al menos permisos de usuario de base de datos .
   • Para habilitar el acceso entre un clúster y una cuenta de almacenamiento sin acceso público, consulte Creación de un punto de conexión privado administrado.
   • El clúster y el centro de eventos deben estar asociados a los mismos inquilinos. Si no es así, use una de las opciones del SDK, como C# o Python.

4. Se abre el panel del lado De ingesta de datos con la pestaña Destino seleccionada. Seleccione los campos Clúster y Base de datos en las listas desplegables. Asegúrese de seleccionar un clúster que se esté ejecutando. De lo contrario, no podrá seleccionar Base de datos y continuar con el proceso de ingesta.

5. En Tabla, seleccione Nueva tabla y escriba un nombre para la nueva tabla. Como alternativa, use una tabla Existente.

6. Seleccione Next: Source (Siguiente: Origen).

7. En Tipo de origen, el tipo y los detalles del centro de eventos se rellenan automáticamente en función de la instancia de Event Hubs desde la que se inició.

8. En Conexión de datos, rellene los campos siguientes y seleccione Siguiente: Esquema.

   Configuración	Valor sugerido	Descripción del campo
   Suscripción		Identificador de la suscripción donde se encuentra el recurso del centro de eventos.
   Espacio de nombres del centro de eventos		Nombre que identifica el espacio de nombres.
   Centro de eventos		Centro de eventos que quiere usar.
   Nombre de la conexión de datos	TestDataConnection	Nombre que identifica la conexión de datos.
   Grupo de consumidores		Grupo de consumidores definido en el centro de eventos.
   Compresión		Tipo de compresión de la carga de mensajes del centro de eventos.
   Propiedades del sistema de eventos	Seleccione las propiedades pertinentes.	Propiedades del sistema del centro de eventos. Si hay varios registros por cada mensaje de evento, las propiedades del sistema se agregan al primero de ellos. Cuando agregue las propiedades del sistema, cree o actualice el esquema de tabla y la asignación para incluir las propiedades seleccionadas.
   Fecha de inicio de recuperación de eventos	Hora universal coordinada (UTC)	La conexión de datos recupera los eventos de Event Hubs existentes creados después de la fecha de inicio de la recuperación de eventos. Solo se pueden recuperar los eventos retenidos por el período de retención de Event Hubs. Si no se especifica la fecha de inicio de recuperación de eventos, la hora predeterminada es la hora en la que se crea la conexión de datos.

9. Si el streaming está habilitado para el clúster, puede seleccionar Ingesta destreaming. Si el streaming no está habilitado para el clúster, establezca la latencia de procesamiento por lotes de datos. Para Event Hubs, el tiempo de procesamiento por lotes recomendado es de 30 segundos.

   

10. Seleccione el formato De datos. En el caso de los datos con formato CSV, ignore el primer registro para omitir la fila de encabezado del archivo. En el caso de los datos con formato JSON, seleccione Omitir errores de formato de datos para ingerir los datos en formato JSON o dejar sin seleccionar para ingerir los datos en formato multijson. Seleccione los niveles anidados para determinar la división de datos de columna de tabla.

11. Si los datos que ve en la ventana de vista previa no están completos, es posible que necesite más datos para crear una tabla con todos los campos de datos necesarios. Use los siguientes comandos para capturar datos nuevos desde el centro de eventos:

    • Discard and fetch new data (Descartar y capturar datos nuevos): descarta los datos presentados y busca nuevos eventos.
    • Fetch more data (Capturar más datos): busca más eventos además de los eventos ya encontrados.

    Nota

    Para ver una vista previa de los datos, el centro de eventos debe enviar eventos.

12. Seleccione Siguiente: Resumen.

13. En la ventana Ingesta continua desde el centro de eventos establecida , todos los pasos se marcan con marcas de verificación verdes cuando el establecimiento finaliza correctamente.

Plantilla ARM

Requisitos previos

• Suscripción a Azure. Cree una cuenta de Azure gratuita.
• Un clúster y una base de datos de Azure Data Explorer. Cree un clúster y una base de datos.
• Una tabla de destino. Cree una tabla o use una tabla existente.
• Una asignación de ingesta para la tabla.
• Un centro de eventos con datos para la ingesta.

Plantilla ARM

En el ejemplo siguiente se muestra una plantilla de Azure Resource Manager para agregar una conexión de datos de Event Hubs. Puede editar e implementar la plantilla en Azure Portal mediante el formulario.

{
    "$schema": "https://schema.management.azure.com/schemas/2015-01-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "namespaces_eventhubns_name": {
            "type": "string",
            "defaultValue": "eventhubns",
            "metadata": {
                "description": "Specifies the Event Hubs Namespace name."
            }
        },
        "EventHubs_eventhubdemo_name": {
            "type": "string",
            "defaultValue": "eventhubdemo",
            "metadata": {
                "description": "Specifies the event hub name."
            }
        },
        "consumergroup_default_name": {
            "type": "string",
            "defaultValue": "$Default",
            "metadata": {
                "description": "Specifies the consumer group of the event hub."
            }
        },
        "Clusters_kustocluster_name": {
            "type": "string",
            "defaultValue": "kustocluster",
            "metadata": {
                "description": "Specifies the name of the cluster"
            }
        },
        "databases_kustodb_name": {
            "type": "string",
            "defaultValue": "kustodb",
            "metadata": {
                "description": "Specifies the name of the database"
            }
        },
        "tables_kustotable_name": {
            "type": "string",
            "defaultValue": "kustotable",
            "metadata": {
                "description": "Specifies the name of the table"
            }
        },
        "mapping_kustomapping_name": {
            "type": "string",
            "defaultValue": "kustomapping",
            "metadata": {
                "description": "Specifies the name of the mapping rule"
            }
        },
        "dataformat_type": {
            "type": "string",
            "defaultValue": "csv",
            "metadata": {
                "description": "Specifies the data format"
            }
        },
        "databaseRouting_type": {
            "type": "string",
            "defaultValue": "Single",
            "metadata": {
                "description": "The database routing for the connection. If you set the value to **Single**, the data connection will be routed to a single database in the cluster as specified in the *databaseName* setting. If you set the value to **Multi**, you can override the default target database using the *Database* EventData property."
            }
        },
        "dataconnections_kustodc_name": {
            "type": "string",
            "defaultValue": "kustodc",
            "metadata": {
                "description": "Name of the data connection to create"
            }
        },
        "subscriptionId": {
            "type": "string",
            "defaultValue": "[subscription().subscriptionId]",
            "metadata": {
                "description": "Specifies the subscriptionId of the event hub"
            }
        },
        "resourceGroup": {
            "type": "string",
            "defaultValue": "[resourceGroup().name]",
            "metadata": {
                "description": "Specifies the resourceGroup of the event hub"
            }
        },
        "location": {
            "type": "string",
            "defaultValue": "[resourceGroup().location]",
            "metadata": {
                "description": "Location for all resources."
            }
        }
    },
    "variables": {
    },
    "resources": [{
            "type": "Microsoft.Kusto/Clusters/Databases/DataConnections",
            "apiVersion": "2022-02-01",
            "name": "[concat(parameters('Clusters_kustocluster_name'), '/', parameters('databases_kustodb_name'), '/', parameters('dataconnections_kustodc_name'))]",
            "location": "[parameters('location')]",
            "kind": "EventHub",
            "properties": {
                "managedIdentityResourceId": "[resourceId('Microsoft.Kusto/clusters', parameters('clusters_kustocluster_name'))]",
                "eventHubResourceId": "[resourceId(parameters('subscriptionId'), parameters('resourceGroup'), 'Microsoft.EventHub/namespaces/eventhubs', parameters('namespaces_eventhubns_name'), parameters('EventHubs_eventhubdemo_name'))]",
                "consumerGroup": "[parameters('consumergroup_default_name')]",
                "tableName": "[parameters('tables_kustotable_name')]",
                "mappingRuleName": "[parameters('mapping_kustomapping_name')]",
                "dataFormat": "[parameters('dataformat_type')]",
                "databaseRouting": "[parameters('databaseRouting_type')]"
            }
        }
    ]
}

Eliminación de una conexión de datos del centro de eventos

Obtener datos

Quite la conexión de datos a través del Azure Portal como se explica en la pestaña del portal.

Portal

Para quitar la conexión del centro de eventos de la Azure Portal, haga lo siguiente:

1. Vaya al clúster. En el menú de la izquierda, seleccione Bases de datos. A continuación, seleccione la base de datos que contiene la tabla de destino.
2. En el menú de la izquierda, seleccione Conexiones de datos. A continuación, active la casilla situada junto a la conexión de datos del centro de eventos correspondiente.
3. En la barra de menús superior, seleccione Eliminar.

Contenido relacionado

• Comprobación de la conexión con la aplicación de mensajes de ejemplo del centro de eventos
• Consulta de datos en la interfaz de usuario web