Conexión y administración de proyectos de Google BigQuery en Azure Purview (versión preliminar)

En este artículo se describe cómo registrar proyectos de Google BigQuery y cómo autenticarse e interactuar con Google BigQuery en Azure Purview. Para obtener más información sobre Azure Purview, consulte el artículo de introducción.

Funcionalidades admitidas

Prerrequisitos

• Una cuenta de Azure con una suscripción activa. Cree una cuenta gratuita.

• Un recurso de Purview activo.

• Tendrá que ser administrador de orígenes de datos y lector de datos para poder registrar un origen y administrarlo en Purview Studio. Para obtener más información, consulte la página Permisos de Azure Purview.

• Configure la versión más reciente del entorno de ejecución de integración autohospedado. Para obtener más información, consulte la guía de creación y configuración de un entorno de ejecución de integración autohospedado.

• Asegúrese de que JDK 11 esté instalado en la máquina virtual donde también lo esté el entorno de ejecución de integración autohospedado.

• Asegúrese de que Visual C++ Redistributable para Visual Studio 2012 Update 4 esté instalado en la máquina del entorno de ejecución de integración autohospedado. Si no tiene instalada esta actualización, puede descargarla de aquí.

• Descargue e instale el controlador JDBC de BigQuery en la máquina en la que se ejecuta el entorno de ejecución de integración autohospedado. Puede encontrar el controlador aquí.

  Nota

  Todas las cuentas de la máquina virtual deben poder acceder al controlador. No lo instale en una cuenta de usuario.

Register

En esta sección se describe cómo registrar un proyecto de Google BigQuery en Azure Purview mediante Purview Studio.

Pasos para registrarse

1. Vaya a la cuenta de Purview.

2. Seleccione Data Map (Mapa de datos) en el panel de navegación izquierdo.

3. Seleccione Registrar.

4. En Register sources (Registrar orígenes), seleccione Google BigQuery. Seleccione Continue (Continuar).

   

En la pantalla Register sources (Registrar orígenes) (Google BigQuery), siga estos pasos:

1. Escriba en Name (Nombre), el nombre con el que el origen de datos se va a mostrar en el catálogo.

2. Escriba el valor de ProjectID. Debe ser un identificador de proyecto completo. Por ejemplo, mydomain.com:myProject.

3. Seleccione una colección o cree una nueva (opcional).

4. Seleccione Registrar.

   

Examinar

Siga los pasos que tiene a continuación para examinar un proyecto de Google BigQuery e identificar automáticamente los recursos y clasificar los datos. Para obtener más información sobre el examen en general, consulte la introducción a los exámenes y la ingesta.

Creación y ejecución de un examen

1. En el centro de administración, seleccione Entornos de ejecución de integración. Asegúrese de que está configurado un entorno de ejecución de integración autohospedado. Si no está configurado, siga los pasos mencionados aquí.

2. Vaya a Sources (Orígenes).

3. Seleccione el proyecto de BigQuery registrado.

4. Seleccione + New scan (+ Nuevo examen).

5. Especifique los detalles siguientes:

   1. Name (Nombre): el nombre del examen.

   2. Connect via integration runtime (Conectar mediante IR): seleccione el entorno de ejecución de integración configurado.

   3. Credencial: al configurar las credenciales de BigQuery, asegúrese de:

      • Seleccionar Basic Authentication (Autenticación básica) como método de autenticación
      • Proporcione el identificador de correo electrónico de la cuenta de servicio en el campo Nombre de usuario. Por ejemplo: xyz\@developer.gserviceaccount.com
      • Siga los pasos que se indican a continuación para generar la clave privada, copie el archivo JSON y almacénelo como el valor de un secreto de Key Vault.

      Para crear una nueva clave privada desde la plataforma en la nube de Google:

      1. En el menú de navegación, en las opciones IAM y administrador, seleccione >Cuentas de servicio>, Seleccionar un proyecto>.
      2. Seleccione la dirección de correo electrónico de la cuenta de servicio para la que desea crear una clave.
      3. Seleccione la pestaña Claves.
      4. Seleccione el menú desplegable Agregar clave y, a continuación, seleccione Crear nueva clave.
      5. Elija el formato JSON.

      Nota

      El contenido de la clave privada se guarda en un archivo temporal en la máquina virtual cuando se ejecutan los procesos de examen. Este archivo temporal se elimina después de que los exámenes se hayan completado correctamente. Si se produce un error en cualquiera de ellos, el sistema seguirá reintentando la operación hasta que se ejecute correctamente. Asegúrese de que el acceso está restringido adecuadamente en la máquina virtual en la que se ejecuta SHIR.

      Para obtener más información sobre credenciales, vea el vínculo que se indica aquí.

   4. Driver location (Ubicación del controlador): especifique la ruta de acceso a la ubicación del controlador JDBC en la máquina virtual donde se ejecuta el entorno de ejecución de integración autohospedado. Debe ser la ruta de acceso a la ubicación válida de la carpeta JAR.

      Nota

      Todas las cuentas de la máquina virtual deben poder acceder al controlador. No lo instale en una cuenta de usuario.

   5. Conjunto de datos: especifique una lista de conjuntos de datos de BigQuery que se importarán. Por ejemplo, dataset1; dataset2. Si la lista está vacía, se importan todos los conjuntos de datos disponibles. Los patrones de nombres de conjunto de datos aceptables que usan la sintaxis de expresiones SQL LIKE incluyen el uso de %.

      Por ejemplo, A%; %B; %C%; D

      • empieza por A o
      • termina en B o
      • contiene C o
      • igual a D

      No se acepta el empleo de NOT ni de caracteres especiales.

   6. Memoria máxima disponible: memoria máxima (en GB) disponible en la máquina virtual que se va a usar en los procesos de examen. Depende del tamaño del proyecto de Google BigQuery que se va a examinar.

      

6. Seleccione Test Connection (Probar conexión).

7. Seleccione Continuar.

8. Elija el desencadenador del examen. Puede configurar una programación o ejecutar el examen una vez.

9. Revise el examen y seleccione Save and run (Guardar y ejecutar).

Visualización de los exámenes y las ejecuciones de exámenes

Para ver los exámenes existentes, haga lo siguiente:

1. Vaya a Purview Studio. Seleccione la Mapa de datos en el panel izquierdo.

2. Seleccione el origen de datos que desee. Verá una lista de exámenes existentes en ese origen de datos en Exámenes recientes o puede ver todos los exámenes en la pestaña Exámenes.

3. Seleccione el examen que tiene los resultados que quiere ver.

4. En esta página se muestran todas las ejecuciones de exámenes anteriores, junto con el estado y las métricas de cada ejecución del examen. También mostrará si el análisis se ha programado o es manual, a cuántos recursos se han aplicado clasificaciones, cuántos recursos totales se han detectado, la hora de inicio y finalización del examen y la duración total del examen.

Administración de exámenes: editar, eliminar o cancelar

Para administrar o eliminar un examen, haga lo siguiente:

1. Vaya a Purview Studio. Seleccione la Mapa de datos en el panel izquierdo.

2. Seleccione el origen de datos que desee. Verá una lista de exámenes existentes en ese origen de datos en Exámenes recientes o puede ver todos los exámenes en la pestaña Exámenes.

3. Seleccione el examen que desea administrar. Para editar el examen, puede seleccionar Edit scan (Editar examen).

4. Para cancelar un examen en curso, puede seleccionar Cancelar ejecución del examen.

5. Para eliminar el examen, seleccione Eliminar examen.

Pasos siguientes

Ahora que ha registrado el origen, siga las guías a continuación para obtener más información sobre Purview y sus datos.

• Información sobre datos en Azure Purview
• Linaje en Azure Purview
• Búsqueda en Data Catalog