Comentarios

Inxerir os datos de Dataverse exportados con Azure Data Factory

  • Artigo
  • 5 minutos de lectura

Despois de exportar datos de Microsoft Dataverse a Azure Data Lake Storage Gen2 con Azure Synapse Link for Dataverse, pode usar Azure Data Factory para crear fluxos de datos, transformar os seus datos e realizar análises.

Nota

Azure Synapse Link for Dataverse antigamente coñecíase como Exportar a lago de datos. O servizo cambiou o nome a partir de maio de 2021 e continuará exportando datos a Azure Data Lake así como a Azure Synapse Analytics.

Este artigo mostra como realizar as seguintes tarefas:

  1. Configure a conta de almacenamento de Data Lake Storage Gen2 cos datos de Dataverse como fonte nun fluxo de datos de Data Factory.

  2. Transforme os datos de Dataverse en Data Factory cun fluxo de datos.

  3. Configure a conta de almacenamento de Data Lake Storage Gen2 cos datos de Dataverse como receptor nun fluxo de datos de Data Factory.

  4. Execute o seu fluxo de datos creando unha canle.

Requisitos previos

Esta sección describe os requisitos previos necesarios para inxerir datos de Dataverse exportados con Data Factory.

  • Roles de Azure. A conta de usuario que se usa para iniciar sesión en Azure debe ser membro do rol de colaborador ou propietario ou un administrador da subscrición a Azure. Para ver os permisos que ten na subscrición, vaia ao Portal de Azure, seleccione o seu nome de usuario na esquina superior dereita, seleccione ... e, a continuación, seleccione Os meus permisos. Se ten acceso a varias subscricións, seleccione a adecuada. Para crear e xestionar recursos secundarios para Data Factory no portal de Azure —incluído conxuntos de datos, servizos ligados, canles, activadores e tempos de execución de integración— debe pertencer ao rol Colaborador de Data Factory no nivel de grupo de recursos ou superior.

  • Azure Synapse Link for Dataverse. Esta guía supón que xa exportou datos de Dataverse empregando Azure Synapse Link for Dataverse. Neste exemplo, os datos da táboa de contas exportanse ao lago de datos.

  • Azure Data Factory. Esta guía supón que xa creou unha fábrica de datos no mesmo grupo de recursos e subscrición que a conta de almacenamento que contén os datos de Dataverse exportados.

Configure a conta de almacenamento de Data Lake Storage Gen2 como fonte

  1. Abra Azure Data Factory e seleccione a fábrica de datos que está no mesmo grupo de recursos e subscrición que a conta de almacenamento que contén os seus datos de Dataverse exportados. A continuación, seleccione Crear fluxo de datos desde a páxina de inicio.

  2. Acenda o modo de Depuración do fluxo de datos e seleccione o tempo preferido para publicar. Isto pode tardar ata 10 minutos, pero pode continuar cos seguintes pasos.

    Modo de depuración de fluxo de datos.

  3. Seleccione Engadir fonte.

    Engadir fonte.

  4. En Configuración da fonte, faga o seguinte:

    • Nome do fluxo de saída: insira o nome que desexa.
    • Tipo de fonte : Seleccionar En liña.
    • Tipo de conxunto de datos en liña : Seleccionar Modelo de datos común.
    • Servizo vinculado: seleccione a conta de almacenamento no menú despregable e logo ligue un novo servizo proporcionando os detalles da súa subscrición e deixando todas as configuracións predeterminadas.
    • Mostras: se desexa empregar todos os seus datos, seleccione Desactivar.

  5. En Opcións da fonte, faga o seguinte:

    • Formato de metadatos: Seleccione Model.json.

    • Localización raíz: Introduza o nome do recipiente na primeira caixa (Envase) ou Explorar para o nome do contedor e seleccione Aceptar.

    • Entidade: Introduza o nome da táboa ou Explorar para a táboa.

      Opcións de orixe.

  6. Comprobe o separador Proxección para asegurarse de que o seu esquema foi importado con éxito. Se non ve ningunha columna, seleccione Opcións de esquema e comprobe a opción Inferir tipos de columnas desviadas. Configure as opcións de formato para que coincidan co conxunto de datos e seleccione Aplicar.

  7. Pode ver os seus datos no versión preliminar Vista previa de datos para garantir que a creación da fonte foi completa e precisa.

Transformar o seus datos de Dataverse

Despois de configurar os datos exportados de Dataverse na Conta de Azure Data Lake Storage Gen2 como fonte no fluxo de datos de Data Factory, hai moitas posibilidades para transformar os seus datos. Máis información: Azure Data Factory

Siga estas instrucións para crear unha clasificación para cada fila polo campo ingresos da táboa de conta.

  1. Seleccione + na esquina inferior dereita da transformación anterior e logo busque e seleccione Clasificación.

  2. No separador Configuración de clasificación, faga o seguinte:

    • Nome da secuencia de saída: Insira o nome que desexa, como Clasificación1.

    • Secuencia entrante: seleccione o nome de orixe que desexe. Neste caso, o nome de orixe do paso anterior.

    • Opcións: Deixe as opcións sen marcar.

    • Columna de clasificación: Insira o nome da columna de clasificación xerada.

    • Ordenar as condicións: Seleccione a columna ingresos e ordénea por orde Descendente.

      Separador Configurar a configuración de clasificación

  3. Pode ver os seus datos no separador vista previa dos datos onde atopará a nova columna revenueRank na posición máis á dereita.

Establecer a conta de almacenamento Data Lake Storage Gen2 como receptor

Por último, debe configurar un receptor para o seu fluxo de datos. Siga estas instrucións para colocar os datos transformados como ficheiro de texto delimitado no lago de datos.

  1. Seleccione + na esquina inferior dereita da transformación anterior e logo busque e seleccione Receptor.

  2. No separador Receptor, escolla as seguintes opcións:

    • Nome do fluxo de saída: insira o nome que desexa, como Sink1.

    • Fluxo entrante: seleccione o nome de orixe que desexe. Neste caso, o nome de orixe do paso anterior.

    • Tipo de receptor: Seleccione DelimitedText.

    • Servizo ligado: Seleccione o seu contedor de almacenamento de Data Lake Storage Gen2 que conteña os datos que exportou mediante o servizo Azure Synapse Link for Dataverse.

      Configurar o separador Receptor

  3. No separador Configuración, pode facer o seguinte:

    • Camiño do cartafol: Introduza o nome do recipiente na primeira caixa (Sistema de ficheiro) ou Explorar para o nome do contedor e seleccione Aceptar.

    • Opción de nome de ficheiro: Seleccione a saída a un único ficheiro.

    • Saída a un ficheiro único: Insira un nome de ficheiro, como ADFOutput

    • Deixe todas as outras opcións predeterminadas.

      Separador Configurar a configuración do receptor

  4. No separador Optimizar, configure a Opción de partición en Partición única.

  5. Pode ver os seus datos no separador vista previa dos datos.

Executar o seu fluxo de datos

  1. No panel esquerdo en Recursos de fábrica, seleccione + e, a continuación, seleccione Canle.

    Crear unha nova canle.

  2. En Actividades, seleccione Mover e transformar e, a continuación, arrastre Fluxo de datos á área de traballo.

  3. Seleccione Usar o fluxo de datos existente e, a continuación, seleccione o fluxo de datos que creou nos pasos anteriores.

  4. Na barra de comandos, seleccione Depurar.

  5. Deixe executar o fluxo de datos ata que a vista inferior mostre que se completou. Isto pode demorar algúns minutos.

  6. Vaia ao contedor de almacenamento de destino final e busque o ficheiro de datos da táboa transformada.

Consulte tamén

Configurar Azure Synapse Link for Dataverse con Azure Data Lake

Analizar os datos de Dataverse en Azure Data Lake Storage Gen2 con Power BI

Nota

Pode indicarnos as súas preferencias para o idioma da documentación? Realice unha enquisa breve. (teña en conta que esa enquisa está en inglés)

Esta enquisa durará sete minutos aproximadamente. Non se recompilarán datos persoais (declaración de privacidade).