Crear un Azure Synapse Link for Dataverse con Azure Data Lake

Artigo
07/01/2022
7 minutos de lectura

Pode usar Azure Synapse Link para conectar os seus datos de Microsoft Dataverse a Azure Data Lake Storage Gen2 para habilitar varios escenarios de análise. Este artigo mostra como realizar as seguintes tarefas:

Conectr os datos de Dataverse á conta de Azure Data Lake Storage Gen2 co servizo Azure Synapse Link.
Xestionar táboas de Dataverse incluídas en Azure Synapse Link.
Vixíe o seu Azure Synapse Link.
Desvincule Azure Synapse Link.
Volva ligar o seu Azure Synapse Link.
Consulte os seus datos en Azure Data Lake e comprenda a estrutura do ficheiro.

Nota

Azure Synapse Link for Dataverse antigamente coñecíase como Exportar a lago de datos. O servizo cambiou o nome a partir de maio de 2021 e continuará exportando datos a Azure Data Lake así como a Azure Synapse Analytics.

Requisitos previos

Azure Data Lake Storage Gen2: debe ter unha conta de Azure Data Lake Storage Gen2 e acceso de rol de Propietario e Colaborador de datos de Blob de almacenamento. A súa conta de almacenamento debe habilitar o Espazo de nome xerárquico e recomendamos que se estableza a replicación nas propiedades de almacenamento redundante xeográfico de acceso de lectura (RA-GRS)")

Nota

A conta de almacenamento debe crearse no mesmo arrendatario de Azure Active Directory (Azure AD) como o seu arrendatario de Power Apps.
A conta de almacenamento debe crearse na mesma rexión que o ambiente de Power Apps no que o vai empregar a función.
Debe ter o acceso de rol de Lector ao grupo de recursos coa conta de almacenamento.
Para vincular o medio Azure Data Lake Storage Gen2, debes ter o Dataverse administrador do sistema rol de seguranza.
Só se poden exportar as táboas que teñan activado o rastrexo de modificacións.

Conectar Dataverse a Azure Data Lake Storage Gen2

Inicie sesión en Power Apps e seleccione o seu contorno preferido.
No panel de navegación esquerdo, seleccione Datos, seleccione Azure Synapse Link e, na barra de comandos, seleccione + Nova ligazón ao lago de datos.
Seleccione a subscrición, o Grupo de recursos e a conta de almacenamento. Asegúrese de que a conta de almacenamento cumpre cos requisitos especificados na sección Requisitos previos. Seleccione Seguinte.

Nota

Como parte da vinculación do ambiente cun lago de datos, concedes o Azure Synapse Link acceso ao servizo á súa conta de almacenamento. Asegúrese de que seguiu os requisitos previos de creación e configuración da conta de Azure Data Lake Storage e de que se lle concedeu un rol de propietario na conta de almacenamento. Ademais, vostede concede o acceso ao servizo de fluxos de datos de Power Platform para a súa conta de almacenamento. Máis información: Preparación de datos de autoservizo con fluxos de datos.
Engada as táboas que desexa exportar e logo seleccione Gardar. Só se poden exportar as táboas que teñan activado o rastrexo de modificacións. Máis información: Activar o rastrexo de cambios.

Podes seguir os pasos anteriores para crear unha ligazón desde un ambiente a varios lagos de datos de Azure na túa subscrición a Azure. Do mesmo xeito, pode crear unha ligazón desde varios ambientes ao mesmo Azure Data Lake, todo dentro do mesmo inquilino.

Nota

Os datos exportados polo servizo Azure Synapse Link están cifrados en repouso en Azure Data Lake Storage Gen2. Adicionalmente, os datos temporais no almacenamento de BLOB tamén se cifran en repouso. A encriptación en Azure Data Lake Storage Gen2 axúdalle a protexer os seus datos, a implementar políticas de seguridade empresarial e a cumprir os requisitos regulamentarios de cumprimento. Máis información: Cifraxe en repouso de datos de Azure

Actualmente, non pode proporcionar IP públicas para o servizo Azure Synapse Link for Dataverse que se poidan empregar na Configuración da devasa de Azure Data Lake. As regras de redes de IP públicas non teñen efecto sobre as solicitudes procedentes da mesma rexión de Azure que a conta de almacenamento. Os servizos despregados na mesma rexión que a conta de almacenamento usan enderezos IP privados de Azure para a comunicación. Así, non pode restrinxir o acceso a servizos específicos de Azure en función do seu rango de enderezos IP de saída públicos. Máis información: Configurar devasas de Azure Storage e redes virtuais

Xestionar datos dunha táboa no lago de datos

Despois de configurar Azure Synapse Link, pode xestionar as táboas que se exportan dun ou dous xeitos:

Na área Azure Synapse Link do portal de creadores de Power Apps, seleccione Xestionar táboas na barra de comandos para engadir ou eliminar unha ou máis táboas ligadas.
No portal do creador de Power Apps, na zona Táboas, seleccione ... ao lado dunha táboa e, a continuación, seleccione o lago de datos ligado onde desexa exportar os datos da táboa.

Monitorar o seu Azure Synapse Link

Despois de configurar o Azure Synapse Link, pode supervisar o Azure Synapse Link no separador Táboas.

Azure Synapse Link vixilancia

Haberá unha lista de táboas que forman parte do Azure Synapse Link seleccionado.
Hai diferentes etapas polas que circulará o estado de sincronización. NotStarted indica que a táboa está a espera de sincronizarse. Unha vez que a sincronización inicial da táboa está Completada, haberá unha etapa de posterior procesamento onde non terán lugar actualizacións incrementais. Isto pode levar varias horas dependendo do tamaño dos seus datos. Cando as actualizacións incrementais comecen a producirse, a data da última sincronización actualizarase regularmente.
O Conta columna mostra o número de filas escritas. Cando Só anexar está configurado para Non, este é o número total de rexistros. Cando Só anexar está configurado para Si, este é o número total de cambios.
O Só anexar e Estratexia de partición As columnas mostran o uso de diferentes configuracións avanzadas.

Desvincular un Azure Synapse Link

Seleccione o Azure Synapse Link que desexa desvincular.
Seleccione Desvincular o lago de datos da barra de comandos.
Para eliminar tanto o sistema de ficheiros do lago de datos, seleccione Eliminar o sistema de ficheiros do lago de datos.
Seleccione Si e deixe uns minutos para que todo se desvincule e elimine.

Volver ligar un Azure Synapse Link

Se eliminou o sistema de ficheiros ao desligar, siga os pasos anteriores para ligar de novo o mesmo lago de datos. Se non eliminou o sistema de ficheiros ao desligar, debe borrar os datos para volver ligalos:

Vaia ao Azure Data Lake.
Elimine o contedor de Dataverse.
Vaia ao Power Apps e ligue de novo o lago de datos.

Consulte os seus datos en Azure Data Lake Storage Gen 2

Seleccione o Azure Synapse Link desexado e seleccione Ir ao lago de datos de Azure no panel superior.
Expanda Sistemas de ficheiros e logo seleccione dataverse-environmentName-organizationUniqueName.

O ficheiro model.json, xunto co seu nome e versión, ofrece unha lista de táboas que se exportaron ao lago de datos. O ficheiro model.json tamén inclúe o estado de sincronización inicial e a hora de finalización da sincronización.

Amósase un cartafol que inclúe ficheiros de instantánea delimitados por comas (formato CSV) para cada táboa exportada ao lago de datos. Datos de táboa no lago de datos.

Actualizacións de instantáneas continuas

Os datos do Microsoft Dataverse poden cambiar continuamente a través da creación, actualización e eliminación de transaccións. As instantáneas ofrecen unha copia de só lectura de datos que se actualiza a intervalos regulares, neste caso, cada hora. Isto garante que nun determinado momento, un consumidor de análises de datos pode consumir datos do lago de forma fiable.

Actualizacións de instantáneas continuas.

Cando se engaden táboas como parte da exportación inicial, os datos da táboa escríbense nos ficheiros table.csv nos cartafoles correspondentes do lago de datos. Este é o intervalo T1, onde se crea un ficheiro de só lectura de instantáneas chamado táboa-T1.csv—por exemplo, Account-T1.csv ou Contacts-T1.csv—. Ademais, o ficheiro model.json actualízase para apuntar a estes ficheiros de instantánea. Ao abrir model.json, pode ver os detalles da instantánea.

A continuación facilítase un exemplo do ficheiro particionado Account.csv e do cartafol de instantánea no lago de datos.

Instantánea da táboa de contas.

Os cambios en Dataverse envíanse continuamente aos ficheiros CSV correspondentes usando o motor de alimentación. Este é o intervalo T2, onde se toma outra instantánea. táboa-T2.csv—por exemplo, Accounts-T2.csv ou Contacts-T2.csv (supoñendo que hai cambios na táboa) —e model.json actualízanse aos novos ficheiros de instantáneas. Calquera persoa nova que vexa datos de instantánea de T2 cara adiante será dirixido a ficheiros de instantánea máis recentes. Deste xeito, é posible que o visor de instantáneas orixinal siga funcionando nos ficheiros T1 de instantánea máis antigos mentres os espectadores novos poden ler as últimas actualizacións. Isto é útil en escenarios con procesos descendentes en execución máis longos.

A continuación facilítase un exemplo do ficheiro model.json, que sempre apunta ao último ficheiro de instantánea da conta co selo de tempo máis recente.

Exemplo de ficheiro model.json de instantánea.

E agora que?

Despois de usar con éxito o servizo Azure Synapse Link for Dataverse, descubra como pode analizar e consumir os seus datos coa Plataforma común de descubrimento. Para acceder á Plataforma común de descubrimento, vaia a Power Apps > Azure Synapse Link. Seleccione o servizo ligado e seleccione o separador Discover Hub. Aquí pode atopar ferramentas recomendadas e documentación seleccionada para axudalo a sacar o máximo valor aos seus datos. Discover Hub.