Carregar dados do Microsoft 365 (Office 365) usando o Azure Data Factory

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Dica

Experimente o Data Factory no Microsoft Fabric, uma solução de análise tudo-em-um para empresas. O Microsoft Fabric abrange desde movimentação de dados até ciência de dados, análise em tempo real, business intelligence e relatórios. Saiba como iniciar uma avaliação gratuita!

Este artigo mostra como usar o Data Factory para carregar dados do Microsoft 365 (Office 365) no Armazenamento de Blobs do Azure. Você pode seguir etapas semelhantes para copiar dados para o Azure Data Lake Gen1 ou Gen2. Consulte o artigo do conector do Microsoft 365 (Office 365) sobre como copiar dados do Microsoft 365 (Office 365) em geral.

Criar uma data factory

  1. Se você ainda não criou o data factory, siga as etapas no Início Rápido: crie um data factory usando o portal do Azure e o Estúdio do Azure Data Factory para criar um. Depois de criá-lo, navegue até o data factory no portal do Azure.

    Home page for the Azure Data Factory, with the Open Azure Data Factory Studio tile.

  2. Selecione Abrir no bloco Abrir Estúdio do Azure Data Factory para iniciar o aplicativo Data Integration em uma guia separada.

Criar um pipeline

  1. Na página inicial, selecione Orquestrar.

    Screenshot that shows the ADF home page.

  2. Na guia Geral do pipeline, insira "CopyPipeline" para o Nome do pipeline.

  3. Na caixa de ferramentas Atividades da categoria > Mover & Transformar, arraste e solte a atividade Copiar da caixa > de ferramentas para a superfície do designer de pipeline. Especifique "CopyFromOffice365ToBlob" como nome da atividade.

Observação

Use o runtime de integração do Azure nos serviços vinculados de fonte e de coletor. Não há suporte para o runtime de integração auto-hospedado, nem para o runtime de integração de rede virtual gerenciada.

Configurar fonte

  1. Vá para o pipeline >guia Origem, selecione + Novo para criar um conjunto de dados de origem.

  2. Na janela Novo Conjunto de dados, selecione Microsoft 365 (Office 365) e depois selecione Continuar.

  3. Agora você está na guia de configuração da atividade de cópia. Selecione o botão Editar ao lado do conjunto de dados do Microsoft 365 (Office 365) para continuar a configuração dos dados.

    Config Microsoft 365 (Office 365) dataset general.

  4. Você vê uma nova guia aberta para o conjunto de dados do Microsoft 365 (Office 365). Na guia Geral na parte inferior da janela Propriedades, insira "SourceOffice365Dataset" para o Nome.

  5. Vá para a guia Conexão na janela Propriedades. Selecione + Novo ao lado da caixa de texto Serviço vinculado.

  6. Na janela Novo serviço vinculado, insira "Office365LinkedService" como nome, insira a ID da entidade de serviço e a chave dessa entidade e, depois, teste a conexão e selecione Criar para implantar o serviço vinculado.

    New Microsoft 365 (Office 365) linked service.

  7. Depois que o serviço vinculado for criado, você retornará para as configurações do conjunto de dados. Ao lado de Tabela, escolha a seta para baixo para expandir a lista de conjuntos de dados do Microsoft 365 (Office 365) disponíveis e escolha "BasicDataSet_v0.Contact_v0" na lista suspensa:

    Config Microsoft 365 (Office 365) dataset table.

  8. Agora, volte para a guia>Origem do pipeline para continuar Configurando propriedades adicionais para extração de dados do Microsoft 365 (Office 365). O escopo do usuário e o filtro de escopo do usuário são predicados opcionais que você pode definir para restringir os dados que deseja extrair do Microsoft 365 (Office 365). Consulte a seção Propriedades do conjunto do banco de dados do Microsoft 365 (Office 365) para saber como definir essas configurações.

  9. É necessário escolher um dos filtros de data e fornecer os valores de hora de início e hora de término.

  10. Selecione a guia Importar Esquema para importar o esquema para o conjunto de dados de Mensagem.

    Config Microsoft 365 (Office 365) dataset schema.

Configurar coletor

  1. Vá para o pipeline >guia Coletor e selecione + Novo para criar um conjunto de dados do coletor.

  2. Na janela Novo conjunto de dados, observe que apenas os destinos compatíveis são selecionados ao copiar do Microsoft 365 (Office 365). Selecione Armazenamento de Blobs do Azure, selecione formato binário e, em seguida, selecione Continuar. Neste tutorial, você pode copiar dados do Microsoft 365 (Office 365) em um Armazenamento de Blobs do Azure.

  3. Selecione o botão Editar ao lado do conjunto de dados do Armazenamento de Blobs do Azure para continuar a configuração de dados.

  4. Na guia Geral da janela Propriedades, em Nome, insira "OutputBlobDataset".

  5. Vá para a guia Conexão na janela Propriedades. Selecione + Novo ao lado da caixa de texto Serviço vinculado.

  6. Na janela Novo serviço vinculado, insira "AzureStorageLinkedService" como nome, selecione "entidade de serviço" na lista suspensa dos métodos de autenticação, preencha o Ponto de extremidade de serviço, a ID de entidade de serviço de locatário e a Chave da entidade de serviço e, em seguida, selecione Salvar para implantar o serviço vinculado. Consulte aqui para saber como configurar a autenticação de entidade de serviço para o Armazenamento de Blobs do Azure.

    New Blob linked service

Validar o pipeline

Selecione Validar na barra de ferramentas para validar as configurações de pipeline.

Você também pode ver o código JSON associado ao pipeline clicando em Código no canto superior direito.

Publicar o pipeline

Na barra de ferramentas superior, selecione Publicar tudo. Esta ação publica as entidades (conjuntos de dados e pipelines) criadas por você anteriormente no Data Factory.

Publish changes

Disparar o pipeline manualmente

Selecione Adicionar gatilho na barra de ferramentas e selecione Disparar Agora. Na página Execução de Pipeline, selecione Concluir.

Monitorar o Pipeline

Vá para a guia Monitorar à esquerda. Você verá uma execução do pipeline que é disparada por um gatilho manual. Você pode usar os links na coluna Ações para exibir detalhes da atividade e executar o pipeline novamente.

Monitor pipeline

Selecione o link Exibir atividades em execução na coluna Ações para ver a atividade em execução associada à execução do pipeline. Neste exemplo, há apenas uma atividade, então você vê apenas uma entrada na lista. Para obter detalhes sobre a operação de cópia, selecione o link Detalhes (ícone de óculos) na coluna Ações.

Monitor activity

Se esta for a primeira vez que você estiver solicitando dados para este contexto (uma combinação de qual tabela de dados está sendo acessada, em qual conta de destino os dados estão sendo carregados e qual identidade de usuário está fazendo a solicitação de acesso a dados), você verá o status da atividade de cópia como Em andamento, e somente quando você selecionar o link "Detalhes", em Ações, você verá o status como RequestingConsent. Um membro do grupo de aprovadores de acesso a dados precisa aprovar a solicitação no Privileged Access Management antes que seja possível prosseguir com a extração de dados.

Status como solicitando consentimento:Activity execution details - request consent

Status como extraindo dados:

Activity execution details - extract data

Depois que o consentimento for fornecido, a extração de dados continuará e, depois de algum tempo, a execução do pipeline será mostrada como bem-sucedida.

Monitor pipeline - succeeded

Agora vá para o Armazenamento de Blobs do Azure de destino e verifique se os dados do Microsoft 365 (Office 365) foram extraídos no formato Binário.

Vá para o seguinte artigo para saber mais sobre o suporte do Azure Synapse Analytics: