Integrar dados no Common Data Service

O Integrador de Dados (para Administradores) é um serviço de integração ponto a ponto usado para integrar dados ao Common Data Service. Ele dá suporte à integração de dados de várias fontes — por exemplo, Dynamics 365 Finance and Operations, Dynamics 365 Sales and SalesForce (versão prévia), SQL (versão prévia) — ao Common Data Service. Ele também dá suporte à integração de dados ao Dynamics 365 Finance and Operations e ao Dynamics 365 Sales. Este serviço está disponível para o público em geral desde julho de 2017.

Primeiro começamos com nossos aplicativos — por exemplo, Dynamics 365 Finance and Operations e Dynamics 365 Sales. Com a ajuda do Power Query ou conectores baseados em M, agora podemos dar suporte a outras fontes, como Salesforce (versão prévia) e SQL (versão prévia) e estenderemos isso a mais de 20 fontes em um futuro próximo.

Fonte de dados para o destino

Como você pode usar o Integrador de Dados para sua empresa?

O Integrador de Dados (para Administradores) também dá suporte a cenários de integração baseados em processo como Prospect to Cash, que oferece sincronização direta entre o Dynamics 365 Finance and Operations e o Dynamics 365 Sales. Os modelos de Prospect to Cash disponíveis com o recurso de integração de dados permitem o fluxo de dados de contas, contatos, produtos, cotações de vendas, pedidos de vendas e faturas de vendas entre o Finance and Operations e Vendas. Quando os dados estiverem fluindo entre o Finance and Operations and Sales, você poderá executar atividades de vendas e marketing no Sales, e poderá tratar o atendimento de pedidos usando o gerenciamento de estoque no Finance and Operations.

Colaborador potencial para pagamento à vista

A integração Prospect to Cash permite que os vendedores tratem e monitorem seus processos de vendas com os pontos fortes do Dynamics 365 Sales, enquanto todos os aspectos de atendimento e faturamento acontecem usando a funcionalidade avançada do Finance and Operations. Com a integração do Prospect to Cash ao Microsoft Dynamics 365, você obtém o poder combinado de ambos os sistemas.

Veja o vídeo: Integração Prospect to cash

Para obter mais informações sobre a integração do Prospect to Cash, consulte a documentação sobre a solução Prospect to Cash.

Também damos suporte à integração do Field Service e à integração do PSA (Project Service Automation) ao Dynamics 365 Finance and Operations.

Plataforma do Integrador de Dados

O Integrador de Dados (para Administradores) consiste na plataforma de Integração de Dados, modelos prontos para uso fornecidos por nossas equipes de aplicativo (por exemplo, o Dynamics 365 Finance and Operations e o Dynamics 365 Sales) e modelos personalizados criados por nossos clientes e parceiros. Criamos uma plataforma independente de aplicativo que pode escalar entre várias fontes. Em seu núcleo, você cria conexões (para pontos de extremidade de integração), escolhe um dos modelos personalizáveis com mapeamentos predefinidos (que você pode personalizar ainda mais) e cria e executa o projeto de integração de dados.

Os modelos de integração servem como um blueprint com entidades predefinidas e mapeamentos de campo para habilitar o fluxo de dados da origem ao destino. Ele fornece a capacidade de transformar os dados antes de importá-los. Muitas vezes, o esquema entre os aplicativos de origem e de destino podem ser muito diferentes e um modelo com entidades predefinidas e mapeamentos de campo servem como um ótimo ponto de partida de um projeto de integração.

Plataforma de integração de dados

Como configurar um projeto de integração de dados

Existem três etapas principais:

  1. Criar uma conexão (forneça credenciais para as fontes de dados).

  2. Crie um conjunto de conexões (identifique ambientes para as conexões criadas na etapa anterior).

  3. Crie um projeto de integração de dados usando um modelo (crie ou use mapeamentos predefinidos para uma ou mais entidades).

Depois de criar um projeto de integração, você obterá a opção de executar o projeto manualmente e configurará uma atualização baseada em agenda para o futuro. O restante deste artigo estende essas três etapas.

Como criar uma conexão

Antes de poder criar um projeto de integração de dados, será preciso uma conexão para cada sistema com que você pretende trabalhar no portal do Microsoft Power Apps. Pense nessas conexões como seus pontos de integração.

Para criar uma conexão

  1. Vá para Power Apps.

  2. Em Dados, selecione Conexões e então selecione Nova conexão.

  3. Você pode selecionar uma conexão na lista de conexões ou procurar uma.

    Criar conexão

  4. Depois de selecionar sua conexão, selecione Criar. Em seguida, suas credenciais serão solicitadas.

  5. Depois de fornecer suas credenciais, a conexão será listada em suas conexões.

    Lista de conexões

Observação

Verifique se a conta especificada para cada conexão tem acesso a entidades para os aplicativos correspondentes. Além disso, a conta para cada conexão pode estar em um locatário diferente.

Como criar um conjunto de conexões

Os conjuntos de conexões compreendem duas conexões, ambientes para as conexões, informações de mapeamento de organizações e chaves de integração que podem ser reutilizadas entre os projetos. Você pode começar a usar um conjunto de conexões para desenvolvimento e então trocar para um diferente para a produção. Uma informação importante armazenada com um conjunto de conexões são os mapeamentos de unidades da organização - por exemplo, mapeamentos entre a entidade legal do Finance and Operations (ou empresa) e organização ou unidades de negócios do Dynamics 365 Sales. Você pode armazenar vários mapeamentos organizacionais em um conjunto de conexões.

Para criar um conjunto de conexões

  1. Vá para o Centro de administração do Power Apps.

  2. Selecione a guia Integração de Dados no painel de navegação esquerdo.

  3. Selecione a guia Conjuntos de Conexões e selecione Nova conexão.

  4. Forneça um nome para seu conjunto de conexões.

    Criar um conjunto de conexões

  5. Escolha as conexões que você criou anteriormente e selecione o ambiente adequado.

  6. Repita as etapas ao escolher sua próxima conexão (pense nelas como origem e destino sem ordem específica).

  7. Especifique a organização para o mapeamento da unidade de negócios (se você estiver fazendo integração entre os sistemas do Finance and Operations and Sales).

    Observação

    Você pode especificar diversos mapeamentos para cada conjunto de conexões.

  8. Depois de preencher todos os campos, selecione Criar.

  9. Você verá o novo conjunto de conexões que acabou de criar na página de listagem Conjuntos de conexão.

    Lista de conjuntos de conexões

Seu conjunto de conexões está pronto para ser usado em diversos projetos de integração.

Como criar um projeto de integração de dados

Os projetos habilitam o fluxo de dados entre sistemas. Um projeto contém mapeamentos para uma ou mais entidades. Os mapeamentos indicam quais campos são mapeados para quais outros campos.

Para criar um projeto de integração de dados

  1. Vá para o Centro de administração do Power Apps.

  2. Selecione a guia Integração de Dados no painel de navegação esquerdo.

  3. Na guia Projetos, selecione Novo Projeto no canto superior direito.

    Criar projeto

  4. Forneça um nome para seu projeto de integração.

  5. Selecione um dos modelos disponíveis (ou crie seu próprio modelo). Nesse caso, estamos movendo a entidade Produtos de Finance and Operations para Sales.

    Selecionar o modelo para criar um projeto

  6. Selecione Avançar e escolha um conjunto de conexões criado anteriormente (ou crie um novo conjunto de conexões).

  7. Verifique se você escolheu o correto ao confirmar os nomes da conexão e do ambiente.

    Criar um conjunto de conexões

  8. Selecione Avançar e então escolha a entidade legal para mapeamentos da unidade de negócios.

    Criar mapeamento de entidade legal

  9. Revise e aceite o aviso de privacidade e consinta na tela seguinte.

  10. Prossiga para criar o projeto e então o execute-o.

    Executar projeto

    Nesta tela, você perceberá diversas guias — Agendamento e Histórico de execução — junto com alguns botões — Adicionar tarefa, Atualizar entidades e Consulta Avançada — que serão descritas posteriormente neste artigo.

Histórico de execução

O histórico de execução mostra o histórico de todas as execuções de projeto com nome do projeto, carimbo de data/hora de quando o projeto foi executado e o status de execução, além do número de upserts e/ou erros.

  • Exemplo de histórico de execução do projeto.

    Histórico de execução do projeto

  • Exemplo de execução com êxito, mostrando o status como concluído com # upserts. (Update Insert é uma lógica para atualizar o registro, se ele já existir, ou para inserir um novo registro).

    Sucesso na execução

  • Para falhas de execução, você poderá detalhar para ver a causa raiz.

    Veja um exemplo de uma falha com erros de validação do projeto. Nesse caso, o erro de validação do projeto deve-se a campos de origem ausentes nos mapeamentos da entidade.

    Falha no histórico de execução

  • Se a execução do projeto estiver no estado 'ERRO', então ele tentará a execução outra vez automaticamente na próxima execução agendada.

  • Se a execução do projeto estiver no estado 'AVISO', então será necessário corrigir os problemas na origem. Ele tentará a execução novamente na próxima execução agendada.

    Em qualquer caso, você também pode optar por 'executar novamente' de forma manual.

Observação

Sempre que você executa um projeto, de forma manual ou agendada, ele gera um log detalhado que mostra o nome do projeto, o último carimbo de data/hora com o status. Você pode exibir isso no histórico de execuções de cada projeto. O histórico de execuções do projeto são mantidos por 45 dias após aos quais elas serão eliminadas.

Como configurar uma atualização baseada em agenda

Nós damos suporte a dois tipos de execuções/gravações hoje:

  • Gravações manuais (executar e atualizar manualmente o projeto)

  • Gravações baseadas em agenda (atualização automática)

Depois de criar um projeto de integração, você terá a opção de executá-lo manualmente ou de configurar gravações baseadas em agenda, o que permite a você configurar a atualização automática para seus projetos.

Para configurar gravações baseadas em agenda

  1. Vá para o Centro de administração do Power Apps.

  2. É possível agendar projetos de duas maneiras diferentes.

    Selecione o projeto e selecione a guia Agendamento ou inicie o agendador na página de listagem do projeto clicando nas reticências ao lado do nome do projeto.

    Gravações baseadas em agendamento

  3. Selecione Recorrer a cada e assim que você tiver concluído todos os campos, selecione Salvar agenda.

    Salvar agenda

Você pode definir uma frequência de 1 minuto ou criar uma recorrência de determinado número de horas, dias, semanas ou meses. Observe que a próxima atualização não será iniciada até que a tarefa do projeto anterior conclua sua execução.

Observe também que, em Notificações, você pode aceitar notificações de alerta baseadas em email, que alertarão sobre as execuções do trabalho concluídas com avisos e/ou falhas devido a erros. Você pode fornecer vários destinatários, incluindo os grupos separados por vírgulas.

Notificação por email

Observação

  • Atualmente, damos suporte ao agendamento de 50 projetos de integração em qualquer período por locatário pago. Entretanto, você pode criar mais projetos e executá-los interativamente. Para os locatários de avaliação, temos uma limitação adicional de que um projeto agendado só será executado 50 vezes.
  • Embora haja suporte para o agendamento de projetos para execução a cada minuto, tenha em mente que isso poderá gerar uma grande carga em seus aplicativos e assim afetar o desempenho geral. Nós incentivamos os usuários a testarem execuções de projeto sob condições de carga verdadeiras e a otimizarem o desempenho com atualizações menos frequentes. Em ambientes de produção, não é recomendável executar mais de cinco projetos por minuto por locatário.
  • Para otimizar o desempenho e não sobrecarregar os aplicativos, no momento limitamos as execuções de projeto a 500 mil linhas por execução por projeto.
  • Sempre que você executa um projeto, de forma manual ou agendada, ele gera um log detalhado que mostra o nome do projeto, o último carimbo de data/hora com o status. Você pode exibir isso no histórico de execuções de cada projeto. O histórico de execuções do projeto são mantidos por 45 dias após aos quais elas serão eliminadas.

Personalização de projetos, modelos e mapeamentos

Usar um modelo para criar um projeto de integração de dados. Um modelo mercantiliza o movimento de dados que, por sua vez, ajuda o usuário ou administrador corporativo acelere a integração de dados de origens para o destino e reduz a carga e o custo gerais. Um usuário ou administrador corporativo pode começar com um modelo pronto para uso publicado pela Microsoft ou seu parceiro e então personalizá-lo antes de criar um projeto. É possível então salvar o projeto como um modelo e compartilhar com sua organização e/ou criar um novo projeto.

Um modelo fornece uma origem, um destino e uma direção de fluxo de dados. Você precisa manter isso em mente enquanto personaliza e/ou cria seu próprio modelo.

Você pode personalizar projetos e modelos destas formas:

  • Personalize mapeamentos de campos.

  • Personalize um modelo adicionando uma entidade à sua escolha.

Como personalizar mapeamentos de campos

Para criar um conjunto de conexões

  1. Vá para o Centro de administração do Power Apps.

  2. Selecione o projeto para o qual você deseja personalizar os mapeamentos de campos e então selecione a seta entre os campos de origem e de destino.

    Mapeamento de campos

  3. Você será levado à tela do mapeamento, onde é possível adicionar um novo mapeamento ao selecionar Adicionar mapeamento no canto superior direito ou Personalizar mapeamentos existentes na lista suspensa.

    Personalização de mapeamento de campo

  4. Depois de personalizar seus mapeamentos de campos, selecione Salvar.

Como criar seu próprio modelo

Para criar seu próprio modelo modificando modelos existentes

  1. Vá para o Centro de administração do Power Apps.

  2. Identifique a origem e destino e a direção do fluxo para o novo modelo.

  3. Crie um projeto escolhendo um modelo existente que corresponda à origem e destino e à direção do fluxo.

  4. Crie o projeto depois de escolher a conexão adequada.

  5. Antes de salvar e/ou executar o projeto, no canto superior direito, selecione Adicionar tarefa.

    Personalizar modelo

    Isto iniciará o diálogo Adicionar tarefa.

  6. Forneça um nome de tarefa significativo e adicione entidades de origem e destino à sua escolha.

    Personalizar adicionar tarefa do modelo

  7. A lista suspensa mostra todas as entidades de origem e destino.

    Personalizar adicionar tarefa2 do modelo

    Neste caso, uma nova tarefa foi criada para sincronizar a entidade Usuário do SalesForce para a entidade Usuários no Common Data Service.

    Personalizar adicionar tarefa3 do modelo

  8. Depois de criar a tarefa, você verá sua nova tarefa listada e poderá excluir a tarefa original.

    Personalizar adicionar tarefa4 do modelo

  9. Você acabou de criar um novo modelo — neste caso, um modelo para efetuar pull dos dados da entidade Usuário do SalesForce para o Common Data Service. Selecione Salvar para salvar sua personalização.

  10. Siga as etapas necessárias para personalizar mapeamentos de campos para esse novo modelo. Você pode executar esse projeto e/ou salvar o projeto como um modelo na página Lista de projetos.

    Lista de preços

  11. Fornecer um nome e uma descrição e/ou compartilhe com outras pessoas em sua organização.

    Nome e descrição

Para criar seu próprio modelo desde modelos em branco

  1. Vá para o Centro de administração do Power Apps.

  2. Crie um projeto de integração de dados. Selecione a guia Integração de dados no painel de navegação esquerdo.

  3. Selecione Novo projeto e forneça um nome para o projeto. Por exemplo, "Demo_CreateYourOwnTemplate project".

  4. Na página de listagem Selecionar um modelo, escolha um modelo genérico em branco. Para este exemplo, escolha o modelo Sales para Fin and Ops desde que queiramos mover dados do Dynamics 365 Finance and Operations para o Dynamics 365 Sales.

  5. Siga as etapas 6 a 9 aqui para concluir a criação de um projeto de integração de dados. Selecione Salvar.

  6. Você verá a página Tarefas, que está vazia pois é um modelo em branco sem tarefa alguma. Selecione Adicionar tarefa para escolher uma entidade na lista suspensa e adicione uma nova tarefa. Nesse caso, para fins de demonstração, criaremos uma tarefa Activities Sales para Fin and Ops escolhendo a entidade Atividades para o Dynamics 365 Finance and Operations e o Dynamics 365 Sales. Selecione Criar.

  7. Você verá uma nova tarefa Activities Sales para Fin and Ops adicionada. Selecione Salvar para salvar suas alterações.

  8. O projeto foi criado. Selecione Salvar como modelo na página de listagem Projetos .

  9. Forneça um nome e uma descrição e selecione Salvar. Além disso, selecione Compartilhar com todos em minha organização para compartilhar esse modelo.

Você verá o modelo recém-criado relacionado na página de listagem Modelos .

Além disso, depois de criar um novo projeto de integração quando escolher Selecionar um modelo, você verá seu modelo recém-criado como parte da lista Selecionar um modelo.

Transformação e filtragem avançadas de dados

Com suporte do Power Query, agora fornecemos filtragem e transformação avançadas de dados de origem. O Power Query permite que os usuários reformatem os dados para ajustar suas necessidades, com uma experiência de usuário fácil de usar, envolvente e sem código. Você pode habilitar isso projeto por projeto.

Como habilitar a filtragem e consulta avançadas

Para configurar a filtragem e transformação de dados avançadas

  1. Vá para o Centro de administração do Power Apps.

  2. Marque o projeto em que você deseja habilitar a consulta avançada e então selecione Consulta Avançada.

    Selecionar consulta avançada

  3. Você receberá um aviso de que habilitar uma consulta avançada é uma operação única e não pode ser desfeita. Selecione OK para prosseguir e então selecione a seta de mapeamento de origem e destino.

    Aviso

  4. Você será apresentado a uma página de mapeamento de entidades familiar com um link para iniciar Consulta Avançada e Filtragem.

    Consulta e filtragem avançadas

  5. Selecione para vincular para iniciar a interface do usuário da Consulta Avançada e Filtragem, o que oferece a você dados do campo de origem em colunas do tipo Microsoft Excel.

    Selecionar para vincular

  6. No menu superior, você tem diversas opções para transformar dados, como Adicionar outra coluna, Duplicar coluna e Extrair.

    Adicionar coluna

  7. Você também pode clicar duas vezes em qualquer coluna para obter mais opções, como Remover colunas, Remover duplicatas e Dividir coluna.

    Clicar com o botão direito do mouse na coluna

  8. Você também pode filtrar clicando cada coluna e usando filtros do tipo Excel.

    Habilitar a filtragem

  1. As transformações de valor padrão podem ser obtidas usando a coluna condicional. Para fazer isso, na lista suspensa Adicionar Coluna, selecione Adicionar Outra Coluna e insira o nome da nova coluna. Preencha Then e Otherwise com o que deve ser o valor padrão, usando qualquer campo e valor para If e equal to.

    Adicionar coluna condicional

  2. Observe a cláusula each no editor fx, na parte superior.

    editor fx

  3. Corrija a cláusula each no editor fx e selecione OK.

    Corrija a cláusula each

  4. Sempre que fizer uma alteração, você aplicará uma etapa. Você pode ver as etapas aplicadas no painel à direita (role até a parte inferior para ver a última etapa). Você pode desfazer uma etapa caso seja necessário editar. Além disso, você pode ir para o Editor avançado clicando com o botão direito do mouse em QrySourceData no painel esquerdo, na parte superior, para exibir a linguagem M, que é executada nos bastidores com as mesmas etapas.

    Editor avançado

  5. Selecione OK para fechar a interface Consulta Avançada e Filtragem e, na página da tarefa de mapeamento, escolha a coluna recém-criada como a origem para criar o mapeamento de forma adequada.

    Escolher nova coluna

Para obter mais informações sobre o PowerQuery, consulte Documentação do Power Query.

Observação

  • Atualmente, não oferecemos suporte à realização de junções em várias fontes de dados (por meio do botão Obter dados ou da consulta M) em Consulta avançada e Filtragem.

  • Se você encontrar limites de avaliação do Power Query com o erro:

    O trabalho do powerquery falhou com erro: Exception ExceptionType:MashupEvaluationException, ExceptionMessage:EvaluationQuotaReached, EvaluationResponse:{"ResultType":"ErrorCode","Code":"EvaluationQuotaReached"

    Revise as orientações sobre Limites online do Power Query.

  • Sem suporte para modificar o url diretamente no editor de mashup. Será usado somente o filtro aplicado usando a interface de usuário do editor de mashup ou especificado no campo de edição do filtro de origem na página de mapeamento.

Ajuste de desempenho

Há vários fatores que afetam o desempenho de um cenário de integração. O desempenho é altamente dependente de:

  • Quais aplicativos você está integrando: Dynamics 365 Finance and Operations e Common Data Service

  • Quais entidades são usadas: forma, validação e lógica comercial das entidades (padrão e personalizações)

O Integrador de Dados obtêm os dados do aplicativo de origem e os envia por push para o aplicativo de destino. As principais considerações de desempenho são como os aplicativos de origem e destino escalam com as entidades envolvidas. Ele aproveita as melhores tecnologias disponíveis para efetuar pull/push dos dados com um bom desempenho.

O Dynamics 365 Finance and Operations usa a estrutura de gerenciamento de dados, que oferece uma forma de efetuar pull/push dos dados com o melhor desempenho. A estrutura do gerenciamento de dados é usada para gerenciar entidades de dados e pacotes da entidade de dados no Microsoft Dynamics 365 Finance and Operations.

O Dynamics 365 for Common Data Service usa APIs OData com paralelismo para maximizar o desempenho.

Você pode usar as seguintes configurações para ajustar o desempenho do Dynamics 365 Finance and Operations com base em carga, entidade e recursos.

Exportando dados do Dynamics 365 Finance and Operations:

  • Exportação direta (ignore Preparação Ativada) Verifique se as entidades usadas para a integração dão suporte à exportação direta (ignore Preparação Ativada). Isso permite que a exportação seja executada em massa e a tabela de prepara seja ignorada. Se você executar com ignorar Preparação Desativada, ele fará fallback para chamadas linha por linha e dados são inseridos na tabela de preparo.

  • Habilitar o controle de alterações para entidades Alterar o controle permite a exportação incremental de dados do Microsoft Dynamics 365 Finance and Operations usando o gerenciamento de dados. Em uma exportação incremental, somente os registros alterados são exportados. Para habilitar uma exportação incremental, você deverá habilitar o controle de alterações em entidades. Sem o controle de alterações, você fará exportações completas que poderão afetar o desempenho. Para cenários complexos, use a consulta personalizada para o controle de alterações.

Importando dados para o Dynamics 365 Finance and Operations:

  • Verifique se a entidade tem um bom desempenho. Se possível, crie entidades baseadas em conjuntos.

  • Se o número de linhas a serem importadas for alto e a entidade não der suporte a operações de conjunto: o gerenciamento de dados pode ser configurado para importar a entidade com tarefas em paralelo. Isso pode ser configurado no gerenciamento de dados (parâmetros) por meio da configuração dos parâmetros de execução da entidade. Essa opção usará a estrutura de lote para criar tarefas em paralelo, que se baseia na disponibilidade de recursos para execução em paralelo.

  • Desativando validações (opcional): embora o Integrador de Dados não ignore as lógicas de negócios e validações, você poderá desativar opcionalmente aquelas que não são necessárias para melhorar o desempenho.

Considere as dicas a seguir para garantir o desempenho durante a importação ou exportação de dados de ambientes do Common Data Service.

Importação/exportação de dados de/para aplicativos baseados em modelo no Dynamics 365

  • Assegure-se de que os índices sejam definidos para as chaves de integração.