Registro de consultas

Artículo
04/18/2024

Importante

Esta funcionalidad actualmente está en su versión preliminar. Los Términos de uso complementarios para las versiones preliminares de Microsoft Azure incluyen más términos legales que se aplican a las características de Azure que se encuentran en la versión beta, en versión preliminar, o que todavía no se han lanzado con disponibilidad general. Para más información sobre esta versión preliminar específica, consulte la Información de Azure HDInsight sobre la versión preliminar de AKS. Para plantear preguntas o sugerencias sobre la característica, envíe una solicitud en AskHDInsight con los detalles y síganos para obtener más actualizaciones sobre Comunidad de Azure HDInsight.

Trino admite clientes de escucha de eventos personalizados que se pueden usar para escuchar eventos del ciclo de vida de las consultas. Puede crear sus propios clientes de escucha de eventos o usar un complemento integrado proporcionado por HDInsight en AKS que registra eventos en Azure Blob Storage.

Puede habilitar el registro de consultas integrado de dos maneras:

Puede habilitar el registro de consultas integrado durante la creación del clúster de Trino habilitando el catálogo de Hive.
Puede habilitar el registro de consultas integrado en el clúster mediante una plantilla de ARM.

En este artículo se describe la adición del registro de consultas al clúster mediante una plantilla de ARM.

Requisitos previos

Un clúster operativo de Trino con HDInsight en AKS.
Creación de plantilla de ARM para el clúster.
Revise la muestra completa de plantilla de ARM del clúster.
Familiaridad con la creación e implementación de plantillas de ARM.

Habilitación del registro de consultas

Para habilitar el complemento de registro de consultas integrado en el clúster de Trino, agregue o actualice la sección clusterProfile.trinoProfile.userTelemetrySpec con las siguientes propiedades en la plantilla de ARM del clúster.

Propiedad	Descripción
`path`	Ruta de acceso completa a un directorio usado como raíz para capturar registros de consulta diferentes.
`hivecatalogName`	Este catálogo se usa para montar tablas externas en los archivos escritos en la cuenta de almacenamiento. Este catálogo debe agregarse en el clúster, Agregar catálogo de Hive.
`hivecatalogSchema`	El complemento de registro de consultas usa este esquema para montar la tabla externa para los registros, el complemento crea este esquema si aún no existe. Valor predeterminado: `trinologs`
`partitionRetentionInDays`	El complemento de registro de consultas elimina las particiones de las tablas de registro, que son anteriores a la configuración especificada. Valor predeterminado: `365`

En el siguiente ejemplo se muestra cómo se habilita un registro de consultas en un clúster de Trino. Agregue este json de ejemplo en [*].properties.clusterProfile en la plantilla de ARM.

       "trinoProfile": { 
          "userTelemetrySpec": { 
          "storage": { 
              "path": "https://querylogstorageaccount.blob.core.windows.net/logs/trinoquerylogs", 
              "hivecatalogName": "hive", 
              "hivecatalogSchema": "trinologs", 
              "partitionRetentionInDays": 365 
          } 
          }
      }

Implemente la plantilla de ARM actualizada para reflejar los cambios en el clúster. Obtenga información sobre cómo implementar una plantilla de ARM.

Nota:

El complemento usa la identidad administrada asignada por el usuario (MSI) asociada al clúster para autenticarse en el almacenamiento, agregue el acceso Contributor y Storage Blob Data Owner a la MSI para asegurarse de que el complemento puede escribir registros en la cuenta de almacenamiento.
El nombre MSI asignado por el usuario aparece en la propiedad msiResourceId en el JSON del recurso del clúster. Aprenda a asignar un rol.
PartitionRetentionInDays solo quita la partición de metadatos de la tabla montada, no elimina los datos. Limpie los datos según sus requisitos si ya no los necesita.

Administración de metadatos

Si el usuario especifica un nombre de catálogo en la propiedad hiveCatalogName, el complemento monta los archivos de registros escritos en la cuenta de almacenamiento como tablas y vistas externas, que se pueden consultar a través de Trino.

El complemento crea tres tablas y tres vistas, que se pueden usar para consultar los eventos del ciclo de vida (QueryCompletedEvent, QueryCreatedEvent y SplitCompletedEVent). Estas tablas y vistas se crean en el catálogo y el esquema proporcionados como entrada de usuario.

Nombre de tablas:

querycompleted: Contiene eventos QueryCompleted desencadenados por Trino.
querycreated: Contiene QueryCreatedEvents desencadenados por Trino.
splitcompleted: Contiene SplitCompletedEvents desencadenados por Trino.

Nombre de las vistas:

vquerycompleted
vquerycreated
vsplitcompleted

Nota:

Se recomienda a los usuarios que usen las vistas, ya que son inmunes a los cambios de esquema subyacentes y tienen en cuenta la tabla descrita.

Archivado de tablas

El complemento admite el archivado de tablas (N-1) en el escenario en el que el usuario decide cambiar el path o la ubicación externa de los registros. Si esto sucede, el complemento cambia el nombre de la tabla que apunta a la ruta de acceso antigua como <table_name>_archived, la vista creada unirá el resultado de las tablas actuales y archivadas en este escenario.

Creación del complemento personalizado

También puede crear un complemento de cliente de escucha de eventos personalizado, siga las instrucciones de documentos, Implemente complementos personalizados siguiendo los pasos de implementación de complementos.

Share via