Novidades do arquivo morto do Azure Data Factory
O Azure Data Factory é melhorado continuamente. Para se manter atualizado com os desenvolvimentos mais recentes, consulte a página Novidades atual, que fornece informações sobre:
- Os últimos lançamentos.
- Problemas conhecidos.
- Correções de bugs.
- Funcionalidade preterida.
- Planos para mudanças.
Esta página de arquivo retém atualizações de meses mais antigos.
Consulte o nosso arquivo de vídeos Novidades para obter todas as nossas atualizações mensais.
Julho de 2023
Captura de Dados Alterados
O recurso CDC de nível superior agora suporta a evolução do esquema. Mais informações
Fluxo de dados
A opção Mesclar esquema no coletor delta agora oferece suporte à evolução do esquema no mapeamento de fluxos de dados. Mais informações
Movimento de dados
- Comente parte do pipeline com desativação. Mais informações
- O valor de retorno do pipeline agora está disponível para o público em geral. Mais informações
Produtividade dos programadores
Pesquisa de documentação agora incluída na barra de ferramentas de pesquisa do Azure Data Factory. Mais informações
Junho de 2023
Integração contínua e implementação contínua
O pacote npm agora suporta pacote pré-baixado para criar modelos ARM. Se a configuração do firewall estiver bloqueando o download direto do pacote npm, agora você pode pré-carregar o pacote antecipadamente e permitir que o pacote npm consuma a versão local. Este é um super impulso para o seu pipeline de CI/CD em um ambiente com firewall.
Expansão regional
O Azure Data Factory está agora disponível na Suécia Central. Você pode colocalizar seu fluxo de trabalho ETL nessa nova região se estiver utilizando a região para armazenar e gerenciar seu data warehouse moderno. Mais informações
Movimento de dados
Agora há suporte para proteger o tráfego de saída com as regras de rede de saída do Azure Data Factory. Mais informações
Conectores
O conector do Amazon S3 agora é suportado como um destino de coletor usando o mapeamento de fluxos de dados. Mais informações
Fluxo de dados
Introduzimos configurações opcionais de código-fonte para fontes DelimitedText e JSON no recurso CDC de nível superior. O recurso CDC de nível superior no data factory agora suporta configurações de origem opcionais para fontes delimitadas e JSON. Agora você pode selecionar os delimitadores de coluna/linha para fontes delimitadas e definir o tipo de documento para fontes JSON. Mais informações
Maio de 2023
Data Factory no Microsoft Fabric
O Data Factory no Microsoft Fabric fornece serviços de movimentação e transformação de dados em escala de nuvem que permitem resolver os cenários mais complexos de data factory e ETL. Destina-se a tornar a sua experiência de fábrica de dados fácil de usar, poderosa e verdadeiramente de nível empresarial.
Abril de 2023
Fluxo de dados
Desenrolar facilmente vários arrays em fluxos de dados do ADF. O ADF atualizou a transformação Flatten que agora torna super fácil desenrolar vários arrays de uma única etapa de transformação Flatten . Mais informações
Integração contínua e implementação contínua
Você pode personalizar a mensagem de confirmação no modo Git agora. Digite uma descrição detalhada sobre as alterações feitas e nós a salvaremos no repositório Git.
Conectores
O conector de Armazenamento de Blobs do Azure agora oferece suporte à autenticação anônima. Mais informações
Março de 2023
Conectores
O conector Gen2 do Azure Data Lake Storage agora oferece suporte à autenticação de assinatura de acesso compartilhado. Mais informações
Fevereiro de 2023
Movimento de dados
- Tipo de autenticação anónima suportado para o armazenamento de Blob do Azure Saiba mais
- Modelo SAP atualizado para mover facilmente dados SAP para ADLSGen2 no formato Delta Saiba mais
Monitorização
Visualização de monitoramento de contêiner disponível no estúdio padrão do ADF Saiba mais
Orquestração
- Definir valor de saída do pipeline (visualização pública) Saiba mais
- Workflow Orchestration Manager (Visualização pública) Saiba mais
Produtividade dos programadores
Suporte a temas escuros adicionado (Visualização pública) Saiba mais
Janeiro de 2023
Fluxo de dados
- Flowlets agora suportam desvio de esquema Saiba mais
- A extração incremental do SQL CDC agora oferece suporte a colunas numéricas Saiba mais
Movimento de dados
Novo recurso CDC de nível superior - configuração CDC nativa em 3 etapas simples Saiba mais
Orquestração
Orquestre blocos de anotações Synapse e Synapse spark definições de trabalho nativamente Saiba mais
Expansão regional
- Expansão contínua da região - China North 3 agora suportada Saiba mais
- Expansão contínua da região - Suíça Oeste agora suportada Saiba mais
SQL Server Integration Services (SSIS)
Injeção de rede virtual expressa para SSIS agora disponível para o público em geral Saiba mais
Produtividade dos programadores
- Adicionado suporte para recursos favoritos na página inicial
- Economize a largura da coluna para monitoramento de pipeline
- Monitore atualizações de filtro para pesquisas mais rápidas
- Inicie diretamente a Galeria de Modelos de Pipeline através do portal do Azure
Dezembro de 2022
Fluxo de dados
Extração incremental de captura de dados de alteração SQL (CDC) - suporta colunas numéricas no mapeamento de fluxo de dados Saiba mais
Movimento de dados
A injeção de rede virtual expressa para SSIS no Azure Data Factory está disponível em geral Saiba mais
Expansão regional
Expansão contínua da região - O Azure Data Factory agora está disponível na China North 3 Saiba mais
Novembro de 2022
Fluxo de dados
- Somente incremental está disponível no SAP CDC - obtenha alterações somente do sistema SAP sem carga total inicial Saiba mais
- Partições de origem na carga total inicial de dados do SAP CDC para melhorar o desempenho Saiba mais
- Um novo modelo de pipeline - Carregue vários objetos com grandes quantidades do SAP via SAP CDC Saiba mais
Movimento de Dados
- Suporte ao Azure Databricks através de ligação privada a partir de uma rede virtual gerida pelo Data Factory Saiba mais
Interface de Utilizador
3 aprimoramentos do designer de pipeline adicionados à experiência de visualização do ADF Studio
- Submenu de conteúdo dinâmico - facilite a definição de conteúdo dinâmico em suas atividades de pipeline sem usar o construtor de expressões Saiba mais
- Realocação de mensagem de erro para a coluna de status - facilita a visualização de erros quando você vê uma execução de pipeline com falha Saiba mais
- Visualização de contêiner - na guia Autor, o Pipeline pode alterar a exibição de saída de lista para contêiner Saiba mais
Integração contínua e implementação contínua
Na configuração de publicação automática, o botão desativar publicação está disponível para anular a substituição da última implantação de publicação automatizada Saiba mais
Outubro de 2022
Resumo do vídeo
Fluxo de dados
- Exportar até 1000 linhas a partir da pré-visualização do fluxo de dados Saiba mais
- SQL CDC em mapeamento de fluxos de dados agora disponível (visualização pública) Saiba mais
- Desbloqueie análises avançadas com o Microsoft 365 Mapping Data Flow Connector Saiba mais
- SAP Change Data Capture (CDC) agora disponível para o público em geral Saiba mais
Produtividade dos programadores
- Agora aceitando contribuições da comunidade para a Galeria de Modelos Saiba mais
- Novo design no portal do Azure - descubra facilmente como iniciar o ADF Studio Saiba mais
- Centro de Aprendizagem agora disponível no estúdio do Azure Data Factory Saiba mais
- Um clique para experimentar o Azure Data Factory Saiba mais
Orquestração
- Vista de faturação granular disponível para o ADF - consulte informações de faturação detalhadas por pipeline (Pré-visualização pública) Saiba mais
- Tempo limite de execução da atividade de script agora configurável Saiba mais
Expansão regional
Expansão contínua da região - Qatar Central agora suportado Saiba mais
Integração contínua e implementação contínua
Excluir gatilhos de pipeline que não foram alterados na implantação agora disponível para o público em geral Saiba mais
Setembro de 2022
Resumo do vídeo
Fluxo de dados
- Conector de origem do Amazon S3 adicionado Saiba mais
- Conector baseado em REST do Folhas de cálculo do Google adicionado como Origem (Pré-visualização) Saiba mais
- Otimização máxima de colunas no fluxo de dados Saiba mais
- Recursos do SAP Change Data Capture no mapeamento de fluxo de dados (Preview) - Extraia e transforme alterações de dados de sistemas SAP para uma atualização de dados mais eficiente Saiba mais
- Gravar dados em um campo de pesquisa por meio de chaves alternativas suportadas nos conectores do Dynamics 365/CRM para mapear fluxos de dados Saiba mais
Movimento de dados
Suporte para converter o tipo Oracle NUMBER para inteiro correspondente na origem Saiba mais
Monitorização
- Melhorias adicionais de monitoramento no Azure Data Factory Saiba mais
- Monitorando melhorias de carregamento - dados de agrupamentos de reexecução de pipeline obtidos somente quando expandidos
- Paginação adicionada à exibição de execução de atividade de pipeline para mostrar todos os registros de atividade na execução de pipeline
- Monitoramento da melhoria do consumo - ícone de carregamento adicionado para saber quando o relatório de consumo é totalmente calculado
- Colunas de classificação adicionais no monitoramento - classificação adicionada para Nome do pipeline, Fim da execução e Status
- Configurações de fuso horário agora salvas no monitoramento
- Visualização de gráfico de Gantt agora suportada no monitoramento de RI Saiba mais
Orquestração
O método DELETE na atividade da Web agora suporta o envio de um corpo com solicitação HTTP Saiba mais
Interface de utilizador
- Suporte nativo de interface do usuário de parametrização adicionado para 6 serviços vinculados adicionais - SAP ODP, ODBC, Microsoft Access, Informix, Snowflake e DB2 Saiba mais
- Aprimoramentos do designer de pipeline adicionados na experiência do Studio Preview - os usuários podem visualizar o fluxo de trabalho dentro de objetos de pipeline como For Each, If Then, etc. Saiba mais
Agosto de 2022
Resumo do vídeo
Fluxo de dados
- Conector Appfigures adicionado como Origem (Pré-visualização) Saiba mais
- Transformação de transmissão adicionada - converter visualmente tipos de dados Saiba mais
- Nova interface do usuário para conjuntos de dados embutidos - categorias adicionadas para localizar facilmente fontes de dados Saiba mais
Movimento de dados
Tipo de autenticação da entidade de serviço adicionado para o armazenamento de Blob do Azure Saiba mais
Produtividade dos programadores
- O tempo limite de atividade padrão foi alterado de 7 dias para 12 horas Saiba mais
- Nova experiência de criação de data factory - um clique para ter a sua fábrica pronta em segundos Saiba mais
- Atualização da interface do usuário do Construtor de expressões - guias categóricas adicionadas para facilitar o uso Saiba mais
Integração contínua e entrega contínua (CI/CD)
Quando o modelo CI/CD integra ARM, em vez de desativar todos os gatilhos, ele pode excluir gatilhos que não foram alterados na implantação Saiba mais
Julho de 2022
Resumo do vídeo
Fluxo de dados
- Conector Asana adicionado como fonte Saiba mais
- Três novas funções de transformação de dados agora suportadas Saiba mais
- collectUnique() - Crie uma nova coleção de valores exclusivos em uma matriz.
- substringIndex() - Extraia a substring antes de n ocorrências de um delimitador.
- topN() - Retorna os n melhores resultados depois de classificar seus dados.
- Rebuscar na fonte disponível em Atualizar para cenários de alteração da fonte de dados Saiba mais
- Funções definidas pelo usuário (GA) - Crie expressões reutilizáveis e personalizadas para evitar a construção de lógicas complexas repetidamente Saiba maisVídeo
- Configuração mais fácil no tempo de execução do fluxo de dados - escolha o tamanho da computação entre Pequeno, Médio e Grande para pré-configurar todas as configurações de tempo de execução de integração Saiba mais
Integração contínua e entrega contínua (CI/CD)
Inclua parâmetros globais suportados no modelo ARM. Mais informações
Produtividade dos programadores
Faça parte dos recursos de visualização do estúdio do Azure Data Factory - Experimente os recursos mais recentes do Azure Data Factory e seja o primeiro a compartilhar seus comentários Saiba mais
Junho de 2022
Resumo do vídeo
| Categoria de serviço | Melhorias no serviço | Detalhes |
| Fluxo de dados | Junção difusa suportada para fluxos de dados | A junção difusa agora é suportada na transformação de junção de fluxos de dados com pontuação de similaridade configurável em condições de associação. Mais informações |
| Recursos de edição na projeção de código-fonte | Os recursos de edição na projeção de origem estão disponíveis no Dataflow para fazer modificações de esquemas facilmente Mais informações | |
| Afirmar tratamento de erros | O tratamento de erros de declaração agora é suportado em fluxos de dados para qualidade e validação de dados Mais informações | |
| Movimento de Dados | Parametrização suportada nativamente em 4 conectores adicionais | Adicionamos suporte nativo à interface do usuário de parametrização para os seguintes serviços vinculados: Azure Data Lake Gen1, Azure PostgreSQL, Google AdWords e PostgreSQL. Mais informações |
| Recursos do SAP Change Data Capture (CDC) no novo conector SAP ODP (Public Preview) | Os recursos do SAP Change Data Capture (CDC) agora são suportados no novo conector SAP ODP. Mais informações | |
| Tempo de execução da integração | Time-To-Live em VNET gerenciada (Visualização pública) | O Time-To-Live pode ser definido para os cálculos provisionados na VNET gerenciada. Mais informações |
| Monitorização | Execute novamente o pipeline com novos parâmetros | Agora você pode executar pipelines novamente com novos valores de parâmetro no Azure Data Factory. Mais informações |
| Orquestração | A propriedade 'turnOffAsync' está disponível na atividade da Web | A atividade da Web oferece suporte a um padrão assíncrono de solicitação-resposta que invoca HTTP GET no campo Location no cabeçalho de resposta de uma Resposta HTTP 202. Ele ajuda a atividade da Web a sondar automaticamente o ponto final de monitoramento até que o trabalho seja executado. A propriedade 'turnOffAsync' é suportada para desativar esse comportamento nos casos em que a sondagem não é necessária Mais informações |
Maio de 2022
| Categoria de serviço | Melhorias no serviço | Detalhes |
| Fluxo de dados | Funções definidas pelo usuário para mapear fluxos de dados | O Azure Data Factory introduz na pré-visualização pública funções definidas pelo utilizador e bibliotecas de fluxo de dados. Uma função definida pelo usuário é uma expressão personalizada que você pode definir para poder reutilizar a lógica em vários fluxos de dados de mapeamento. As funções definidas pelo usuário vivem em uma coleção chamada biblioteca de fluxo de dados para poder agrupar facilmente conjuntos comuns de funções personalizadas. Mais informações |
Abril de 2022
| Categoria de serviço | Melhorias no serviço | Detalhes |
| Fluxo de dados | Melhorias na visualização de dados e melhorias de depuração no mapeamento de fluxos de dados | As sessões de depuração usando o AutoResolve Azure integration runtime (IR) agora serão iniciadas em menos de 10 segundos. Há novas atualizações no painel de visualização de dados no mapeamento de fluxos de dados. Agora você pode classificar as linhas dentro da visualização de dados selecionando cabeçalhos de coluna. Você pode mover colunas interativamente. Você também pode salvar os resultados da visualização de dados como um CSV usando Exportar CSV. Mais informações |
| O conector Dataverse está disponível para mapear fluxos de dados | O conector Dataverse está disponível como fonte e coletor para mapear fluxos de dados. Mais informações | |
| Suporte para esquemas de banco de dados de usuário para preparo com os conectores Azure Synapse Analytics e PostgreSQL no coletor de fluxo de dados | O coletor de fluxo de dados agora oferece suporte ao uso de um esquema de banco de dados de usuário para preparo nos conectores do Azure Synapse Analytics e PostgreSQL. Mais informações | |
| Monitorização | Várias atualizações para experiências de monitoramento do Data Factory | Novas atualizações para a experiência de monitoramento no Data Factory incluem a capacidade de exportar resultados para um CSV, limpar todos os filtros e abrir uma execução em uma nova guia. O cache de colunas e resultados também foi melhorado. Mais informações |
| Interface de utilizador | Novo suporte a formatos regionais | Escolher seu idioma e o formato regional nas configurações influenciará o formato de como dados como datas e horas aparecem no monitoramento do Azure Data Factory Studio. Por exemplo, o formato de hora em Monitoramento aparecerá como "2 de abril de 2022, 15:40:29" ao escolher inglês como formato regional e "2 de abril de 2022, 15:40:29" ao escolher francês como formato regional. Essas configurações afetam apenas a interface do usuário do Azure Data Factory Studio e não alteram/modificam seus dados reais e fuso horário. |
Março de 2022
Resumo do vídeo
| Categoria de serviço | Melhorias no serviço | Detalhes |
| Fluxo de dados | ScriptLines e suporte a serviços vinculados parametrizados adicionaram fluxos de dados de mapeamento | Agora é fácil detetar alterações no script de fluxo de dados no Git com ScriptLines na definição JSON do fluxo de dados. Os serviços vinculados parametrizados agora também podem ser usados dentro de seus fluxos de dados para padrões de conexão genéricos flexíveis. Mais informações |
| Disponibilidade geral de Flowlets (GA) | O Flowlets agora está disponível para criar partes reutilizáveis da lógica de fluxo de dados que você pode compartilhar em outros pipelines como transformações embutidas. Os flowlets permitem que os trabalhos de extração-transformação e carga (ETL) sejam compostos por componentes lógicos personalizados ou comuns. Mais informações | |
| Os conectores de alimentação de alteração estão disponíveis em cinco transformações de fonte de fluxo de dados | Os conectores do Change Feed estão disponíveis em transformações de fonte de fluxo de dados para o Azure Cosmos DB, Azure Blob Storage, Azure Data Lake Storage Gen1, Azure Data Lake Storage Gen2 e o modelo de dados comum (CDM). Mais informações | |
| Melhorias na visualização de dados e melhorias de depuração no mapeamento de fluxos de dados | Novos recursos foram adicionados à visualização de dados e à experiência de depuração no mapeamento de fluxos de dados. Mais informações | |
| Conector SFTP para mapeamento do fluxo de dados | O conector SFTP está disponível para mapear o fluxo de dados como fonte e coletor. Mais informações | |
| Movimento de dados | Suporte Sempre Criptografado para conectores relacionados a SQL na atividade de Pesquisa em Rede virtual gerenciada | O Always Encrypted tem suporte para SQL Server, Banco de Dados SQL do Azure, Instância Gerenciada SQL do Azure e Synapse Analytics na atividade Pesquisa em rede virtual gerenciada. Mais informações |
| Integration runtime (Runtime de integração) | Novo layout da interface do usuário na página de criação e edição do Azure IR | O layout da interface do usuário da página de criação e edição de RI agora usa o estilo de guia para Configurações, Rede virtual e Tempo de execução do fluxo de dados. Mais informações |
| Orquestração | Transformar dados usando a atividade Script | Você pode usar uma atividade de Script para invocar um script SQL no Banco de Dados SQL, Azure Synapse Analytics, SQL Server, Oracle ou Snowflake. Mais informações |
| Melhoria do tempo limite da atividade na Web | Você pode configurar o tempo limite de resposta em uma atividade da Web para evitar que ela atinja o tempo limite se o período de resposta for superior a um minuto, especialmente no caso de APIs síncronas. Mais informações |
Fevereiro de 2022
Resumo do vídeo
| Categoria de serviço | Melhorias no serviço | Detalhes |
| Fluxo de dados | Serviços vinculados parametrizados suportados no mapeamento de fluxos de dados | Agora você pode usar seus serviços vinculados parametrizados no mapeamento de fluxos de dados para tornar seus pipelines de fluxo de dados genéricos e flexíveis. Mais informações |
| Extração de fonte incremental do Banco de dados SQL disponível no fluxo de dados (visualização pública) | Uma nova opção foi adicionada no mapeamento de fontes do Banco de dados SQL de fluxo de dados chamada Habilitar extração incremental (visualização). Agora você pode extrair automaticamente apenas as linhas que foram alteradas em suas fontes do Banco de dados SQL usando fluxos de dados. Mais informações | |
| Quatro novos conectores disponíveis para mapeamento de fluxos de dados (visualização pública) | O Data Factory agora suporta quatro novos conectores (visualização pública) para mapeamento de fluxos de dados: conector Quickbase, conector Smartsheet, conector TeamDesk e conector Zendesk. Mais informações | |
| O Azure Cosmos DB (API SQL) para mapeamento de fluxo de dados agora oferece suporte ao modo embutido | O Azure Cosmos DB (API SQL) para mapeamento de fluxo de dados agora pode usar conjuntos de dados embutidos. Mais informações | |
| Movimento de dados | Obtenha pipelines de ingestão de dados orientados por metadados na ferramenta Data Factory Copy Data em 10 minutos (GA) | Você pode criar pipelines de cópia de dados em grande escala com uma abordagem orientada por metadados na ferramenta Copiar dados em 10 minutos. Mais informações |
| Atualização da API do conector do Google AdWords do Data Factory disponível | O conector do Google AdWords do Data Factory agora é compatível com a nova versão da API do AdWords. Nenhuma ação é necessária para o novo usuário do conector porque ele está habilitado por padrão. Mais informações | |
| Integração contínua e entrega contínua (CI/CD) | Suporte a DevOps do Azure entre locatários | Configurar um repositório usando o Azure DevOps Git não no mesmo locatário que o Azure Data Factory。 Mais informações |
| Expansão regional | Data Factory já está disponível em West US3 e Jio India West | O Data Factory está agora disponível em duas novas regiões: West US3 e Jio India West. Você pode colocalizar seu fluxo de trabalho ETL nessas novas regiões se estiver usando essas regiões para armazenar e gerenciar seu data warehouse moderno. Você também pode usar essas regiões para fins de continuidade de negócios e recuperação de desastres se precisar fazer failover de outra região dentro da área geográfica. Mais informações |
| Segurança | Conectar-se a uma conta do Azure DevOps em outro locatário do Azure Ative Directory (Azure AD) | Você pode conectar sua instância do Data Factory a uma conta do Azure DevOps em um locatário diferente do Azure AD para fins de controle do código-fonte. Mais informações |
Janeiro de 2022
| Categoria de serviço | Melhorias no serviço | Detalhes |
| Fluxo de dados | A reutilização rápida agora é automática em todos os IRs do Azure que usam o Time to Live (TTL) | Não é mais necessário especificar manualmente "reutilização rápida". Os fluxos de dados de mapeamento do Data Factory agora podem iniciar atividades de fluxo de dados subsequentes em menos de cinco segundos após a definição de um TTL. Mais informações |
| Recuperar sua descrição personalizada do Assert | Na transformação Assert, você pode definir sua própria mensagem de descrição dinâmica. Você pode usar a nova função assertErrorMessage() para recuperar a mensagem linha por linha e armazená-la em seus dados de destino. Mais informações | |
| Deteção automática de esquema na transformação de análise | Um novo recurso adicionado à transformação Parse facilita a deteção automática do esquema de um campo complexo incorporado dentro de uma coluna de cadeia de caracteres. Selecione o botão Detetar esquema para definir o esquema de destino automaticamente. Mais informações | |
| Suporte ao conector do Dynamics 365 como coletor e origem | Agora você pode se conectar diretamente ao Dynamics 365 para transformar seus dados do Dynamics em escala usando o novo conector de fluxo de dados de mapeamento para Dynamics 365. Mais informações | |
| Conexões SQL sempre criptografadas agora disponíveis em fluxos de dados | O Always Encrypted agora pode originar transformações no SQL Server, no Banco de Dados SQL, na Instância Gerenciada do SQL e no Azure Synapse quando você usa fluxos de dados. Mais informações | |
| Movimento de dados | Data Factory Azure Databricks Delta Lake connector suporta novos tipos de autenticação | O conector Delta Lake do Data Factory Databricks agora suporta mais dois tipos de autenticação: autenticação de identidade gerenciada atribuída pelo sistema e autenticação de identidade gerenciada atribuída pelo usuário. Mais informações |
| A atividade Data Factory Copy suporta upsert em vários outros conectores | A atividade de Cópia do Data Factory agora oferece suporte a upsert enquanto coleta dados para SQL Server, Banco de Dados SQL, Instância Gerenciada SQL e Sinapse do Azure. Mais informações |
Dezembro de 2021
| Categoria de serviço | Melhorias no serviço | Detalhes |
| Fluxo de dados | Conector dinâmico como fonte nativa e coletor para mapeamento de fluxos de dados | O conector Dynamics agora é suportado como fonte e coletor para mapear fluxos de dados. Mais informações |
| A captura de dados de alteração nativa (CDC) agora é suportada nativamente | O CDC agora tem suporte nativo no Data Factory para Azure Cosmos DB, Blob Storage, Data Lake Storage Gen1, Data Lake Storage Gen2 e CDM. Mais informações | |
| Pré-visualização pública do Flowlets | A visualização pública de flowlets permite que os desenvolvedores de fluxo de dados criem componentes reutilizáveis para criar facilmente lógica de transformação de dados compostável. Mais informações | |
| Pré-visualização pública dos dados do mapa | A visualização de Dados do Mapa permite que os usuários corporativos definam o mapeamento de colunas e as transformações para carregar os bancos de dados do lago do Azure Synapse. Mais informações | |
| Vários destinos de saída do Power Query | Agora pode mapear vários destinos de saída a partir do Power Query no Data Factory para obter padrões ETL flexíveis para integradores de dados cidadãos. Mais informações | |
| Suporte à transformação de chamadas externas | Estenda a funcionalidade de mapeamento de fluxos de dados usando a transformação de chamada externa. Agora você pode adicionar seu próprio código personalizado como um ponto de extremidade REST ou chamar um serviço de terceiros selecionado linha por linha. Mais informações | |
| Habilite a reutilização rápida pelo Azure Synapse mapeando fluxos de dados com suporte a TTL | Os fluxos de dados de mapeamento do Azure Synapse agora oferecem suporte à reutilização rápida definindo um TTL no IR do Azure. O uso de uma configuração permite que suas atividades subsequentes de fluxo de dados sejam executadas em menos de cinco segundos. Mais informações | |
| Afirmar a transformação | Adicione facilmente qualidade de dados, validação de domínio de dados e verificações de metadados aos seus pipelines do Data Factory usando a transformação Assert no mapeamento de fluxos de dados. Mais informações | |
| Suporte ao IntelliSense no construtor de expressões para experiências de criação de pipeline mais produtivas | O suporte ao IntelliSense no construtor de expressões e na criação de conteúdo dinâmico torna os desenvolvedores de pipeline do Data Factory e do Azure Synapse mais produtivos enquanto escrevem expressões complexas em seus pipelines de dados. Mais informações |
Novembro de 2021
| Categoria de serviço | Melhorias no serviço | Detalhes |
| Integração contínua e entrega contínua (CI/CD) | Melhorias na integração do GitHub | As melhorias na integração do Data Factory e do GitHub removem os limites de 1.000 recursos do Data Factory por tipo de recurso, como conjuntos de dados e pipelines. Para grandes fábricas de dados, essa alteração ajuda a mitigar o impacto do limite de taxa da API do GitHub. Mais informações |
| Fluxo de dados | Definir um código de erro personalizado e uma mensagem de erro com a atividade Falha | A atividade de falha permite que os desenvolvedores de ETL definam a mensagem de erro e o código de erro personalizado para um pipeline do Data Factory. Mais informações |
| Transformação de chamadas externas | Mapeando fluxos de dados A transformação de chamadas externas permite que os desenvolvedores de ETL usem transformações e enriquecimentos de dados fornecidos por pontos de extremidade REST ou serviços de API de terceiros. Mais informações | |
| Sinapse reutilização rápida | Ao executar o fluxo de dados no Synapse Analytics, use o recurso TTL. O recurso TTL usa o recurso de reutilização rápida para que os fluxos de dados sequenciais sejam executados em poucos segundos. Você pode definir o TTL ao configurar um IR do Azure. Mais informações | |
| Movimento de dados | A atividade de cópia suporta a leitura de dados de FTP ou SFTP sem fragmentação | Determine automaticamente o comprimento do arquivo ou o deslocamento relevante a ser lido quando você copia dados de um servidor FTP ou SFTP. Com esse recurso, o Data Factory se conecta automaticamente ao servidor FTP ou SFTP para determinar o comprimento do arquivo. Depois que o comprimento é determinado, o Data Factory divide o arquivo em vários blocos e os lê em paralelo. Mais informações |
| UTF-8 sem suporte a BOM na atividade de cópia | A atividade de cópia suporta a gravação de dados com codificação do tipo UTF-8 sem BOM para JSON e conjuntos de dados de texto delimitados. | |
| Suporte a delimitador de coluna de vários caracteres | A atividade de cópia suporta o uso de delimitadores de coluna de vários caracteres para conjuntos de dados de texto delimitados. | |
| Integration runtime (Runtime de integração) | Execute qualquer processo em qualquer lugar em três etapas com o SQL Server Integration Services (SSIS) no Data Factory | Saiba como usar o melhor dos recursos do Data Factory e do SSIS em um pipeline. Um pacote SSIS de exemplo com propriedades parametrizadas ajuda você a obter um pontapé inicial. Com o Data Factory Studio, o pacote SSIS pode ser facilmente arrastado e solto em um pipeline e usado como parte de uma atividade de Executar Pacote SSIS. Esse recurso permite executar o pipeline do Data Factory com um pacote SSIS em IRs ou IRs SSIS auto-hospedados. Ao fornecer valores de parâmetros de tempo de execução, você pode usar os poderosos recursos do Data Factory e do SSIS juntos. Este artigo ilustra três etapas para executar qualquer processo, que pode ser qualquer executável, como um aplicativo, programa, utilitário ou arquivo em lotes, em qualquer lugar. Mais informações |
Outubro de 2021
| Categoria de serviço | Melhorias no serviço | Detalhes |
| Fluxo de dados | Azure Data Explorer e conectores Amazon Web Services (AWS) S3 | A equipe de integração de dados da Microsoft lançou dois novos conectores para mapear fluxos de dados. Se você estiver usando o Azure Synapse, agora pode se conectar diretamente aos buckets do AWS S3 para transformações de dados. No Data Factory e no Azure Synapse, agora você pode se conectar nativamente aos clusters do Azure Data Explorer no mapeamento de fluxos de dados. Mais informações |
| A atividade do Power Query deixa a pré-visualização para o GA | A atividade de pipeline do Power Query do Data Factory agora está disponível ao público em geral. Esse novo recurso fornece preparação de dados dimensionada e disputa de dados para integradores cidadãos dentro da interface do usuário do navegador Data Factory para uma experiência integrada para engenheiros de dados. O recurso de disputa de dados do Power Query no Data Factory fornece um recurso de pipeline poderoso e fácil de usar para resolver sua integração de dados mais complexa e padrões de ETL em um único serviço. Mais informações | |
| Nova transformação de dados Stringify no mapeamento de fluxos de dados | O mapeamento de fluxos de dados adiciona uma nova transformação de dados chamada Stringify para facilitar a conversão de tipos de dados complexos, como structs e arrays, em forma de cadeia de caracteres. Esses tipos de dados podem ser enviados para destinos de saída estruturados. Mais informações | |
| Integration runtime (Runtime de integração) | Injeção expressa de rede virtual para SSIS IR (visualização pública) | O ISSIS IR agora suporta injeção expressa de rede virtual. Saiba mais: Visão geral da injeção de rede virtual para SSIS IR Injeção de rede virtual padrão vs. expressa para SSIS IR Injeção expressa de rede virtual para SSIS IR |
| Segurança | Melhoria da integração do Azure Key Vault | A integração do Key Vault agora tem menus suspensos para que os usuários possam selecionar os valores secretos no serviço vinculado. Esse recurso aumenta a produtividade porque os usuários não são obrigados a digitar os segredos, o que pode resultar em erro humano. |
| Suporte para identidade gerenciada atribuída pelo usuário no Data Factory | A segurança das credenciais é crucial para qualquer empresa. A equipe do Data Factory está comprometida em tornar o processo de engenharia de dados seguro, mas simples para os engenheiros de dados. A identidade gerenciada atribuída pelo usuário (visualização) agora tem suporte em todos os conectores e serviços vinculados que dão suporte à autenticação baseada no Azure AD. Mais informações |
Setembro de 2021
| Categoria de serviço | Melhorias no serviço | Detalhes |
| Integração e entrega contínuas | Recursos expandidos de CI/CD | Agora você pode criar uma nova ramificação do Git com base em qualquer outra ramificação no Data Factory. Mais informações |
| Movimento de dados | Amazon Relational Database Service (RDS) para fontes Oracle | O conector de códigos-fonte do Amazon RDS for Oracle agora está disponível no Data Factory e no Azure Synapse. Mais informações |
| Origens do Amazon RDS para SQL Server | O conector de fontes do Amazon RDS para SQL Server agora está disponível no Data Factory e no Azure Synapse. Mais informações | |
| Suporte a cópia paralela do Banco de Dados do Azure para PostgreSQL | O conector do Banco de Dados do Azure para PostgreSQL agora dá suporte a operações de cópia paralela. Mais informações | |
| Fluxo de dados | Usar o Data Lake Storage Gen2 para executar comandos de pré e pós-processamento | Os comandos de pré e pós-processamento do Hadoop Distributed File System agora podem ser executados usando coletores do Data Lake Storage Gen2 em fluxos de dados. Mais informações |
| Editar propriedades de fluxo de dados para instâncias existentes do IR do Azure | O IR do Azure foi atualizado para permitir a edição de propriedades de fluxo de dados para IRs existentes. Agora você pode modificar as propriedades de computação do fluxo de dados sem precisar criar um novo IR do Azure. Mais informações | |
| Configuração TTL para o Azure Synapse para melhorar o tempo de inicialização de execução das atividades de pipeline | O Azure Synapse adicionou TTL ao IR do Azure para permitir que suas atividades de pipeline de fluxo de dados comecem a ser executadas em segundos, o que minimiza muito o tempo de execução de seus pipelines de fluxo de dados. Mais informações | |
| Integration runtime (Runtime de integração) | GA de rede virtual gerenciada pelo Data Factory | Agora você pode provisionar o IR do Azure como parte de uma rede virtual gerenciada e usar pontos de extremidade privados para se conectar com segurança a armazenamentos de dados com suporte. O tráfego de dados passa pelos Links Privados do Azure, que fornecem conectividade segura para a fonte de dados. Também impede a exfiltração de dados para a Internet pública. Mais informações |
| Orquestração | Operacionalizar e fornecer SLA para pipelines de dados | A nova métrica Elapsed Time Pipeline Run, combinada com alertas do Data Factory, permite que os desenvolvedores de pipeline de dados forneçam SLAs melhor aos seus clientes. Agora você pode nos dizer por quanto tempo um pipeline deve ser executado, e nós o notificaremos proativamente quando o pipeline for executado por mais tempo do que o esperado. Mais informações |
| Atividade de falha (visualização pública) | A nova atividade Fail permite que você lance um erro em um pipeline intencionalmente por qualquer motivo. Por exemplo, você pode usar a atividade Falha se uma atividade Pesquisa não retornar dados correspondentes ou se uma atividade personalizada terminar com um erro interno. Mais informações |
Agosto de 2021
| Categoria de serviço | Melhorias no serviço | Detalhes |
| Integração e entrega contínuas | Melhorias de CI/CD com suporte ao GitHub no Azure Government e no Microsoft Azure operado pela 21Vianet | Adicionámos suporte para o GitHub no Azure para o Governo dos EUA e Azure operado pela 21Vianet. Mais informações |
| Movimento de dados | A API do Azure Cosmos DB para conector MongoDB suporta as versões 3.6 e 4.0 no Data Factory | O conector Data Factory Azure Cosmos DB API for MongoDB agora oferece suporte às versões de servidor 3.6 e 4.0. Mais informações |
| Aprimore o uso da instrução COPY para carregar dados no Azure Synapse | O conector Data Factory Azure Synapse agora oferece suporte à cópia em estágios e à fonte de cópia com *.* como wildcardFilename para a instrução COPY. Mais informações | |
| Fluxo de dados | Os pontos de extremidade REST estão disponíveis como fonte e coletor no fluxo de dados | Os fluxos de dados no Data Factory e no Azure Synapse agora oferecem suporte a pontos de extremidade REST como fonte e coletor com suporte total para cargas úteis JSON e XML. Mais informações |
| Integration runtime (Runtime de integração) | A ferramenta de diagnóstico está disponível para IR auto-hospedado | Uma ferramenta de diagnóstico para IR auto-hospedado é projetada para fornecer uma melhor experiência do usuário e ajudar os usuários a encontrar problemas potenciais. A ferramenta executa uma série de cenários de teste na máquina de IR auto-hospedada. Todos os cenários têm casos típicos de verificação de saúde para problemas comuns. Mais informações |
| Orquestração | Gatilho de evento personalizado com opção de filtragem avançada GA | Agora você pode criar um gatilho que responde a um tópico personalizado postado na Grade de Eventos do Azure. Você também pode usar filtragem avançada para obter controle preciso sobre quais eventos responder. Mais informações |
Julho de 2021
| Categoria de serviço | Melhorias no serviço | Detalhes |
| Movimento de dados | Obtenha pipelines de ingestão de dados orientados por metadados na ferramenta Data Factory Copy Data em 10 minutos (visualização pública) | Agora você pode criar pipelines de cópia de dados em grande escala com uma abordagem orientada por metadados na ferramenta Copiar dados (visualização pública) em 10 minutos. Mais informações |
| Fluxo de dados | Novas funções de mapa adicionadas em funções de transformação de fluxo de dados | Um novo conjunto de funções de transformação de fluxo de dados permite que os engenheiros de dados gerem, leiam e atualizem facilmente tipos de dados de mapas e estruturas de mapas complexas. Mais informações |
| Integration runtime (Runtime de integração) | Cinco novas regiões estão disponíveis na rede virtual gerenciada pelo Data Factory (visualização pública) | Cinco novas regiões, China East2, China North2, US Government Arizona, US Government Texas e US Government Virginia, estão disponíveis na rede virtual gerenciada pelo Data Factory (visualização pública). |
| Produtividade dos programadores | Melhorias na página inicial do Data Factory | A página inicial do Data Factory foi redesenhada com melhores recursos de contraste e refluxo. Algumas seções são introduzidas na página inicial para ajudá-lo a melhorar a produtividade em sua jornada de integração de dados. Mais informações |
| Nova página inicial do Data Factory Studio | A página de destino do painel Data Factory no portal do Azure. Mais informações |
Junho de 2021
| Categoria de serviço | Melhorias no serviço | Detalhes |
| Movimento de dados | Nova experiência do usuário com a ferramenta Data Factory Copy Data | A ferramenta Copiar dados redesenhada está agora disponível com uma experiência melhorada de ingestão de dados. Mais informações |
| MongoDB e MongoDB Atlas são suportados como fonte e coletor | Essa melhoria suporta a cópia de dados entre qualquer armazenamento de dados suportado e o banco de dados MongoDB ou MongoDB Atlas. Mais informações | |
| O Always Encrypted tem suporte para o Banco de Dados SQL, a Instância Gerenciada do SQL e os conectores do SQL Server como origem e coletor | O Always Encrypted está disponível no Data Factory para Banco de Dados SQL, Instância Gerenciada SQL e conectores do SQL Server para a atividade de Cópia. Mais informações | |
| A configuração de metadados personalizados é suportada na atividade de cópia ao afundar para o Data Lake Storage Gen2 ou Blob Storage | Quando você grava no Data Lake Storage Gen2 ou no Armazenamento de Blobs, a atividade Copiar oferece suporte à configuração de metadados personalizados ou ao armazenamento das informações modificadas pela última vez do arquivo de origem como metadados. Mais informações | |
| Fluxo de dados | O SQL Server agora tem suporte como fonte e coletor em fluxos de dados | O SQL Server agora tem suporte como fonte e coletor em fluxos de dados. Siga o link para obter instruções sobre como configurar sua rede usando o recurso de rede virtual gerenciada pelo Azure IR para conversar com suas instâncias locais e baseadas em VM na nuvem do SQL Server. Mais informações |
| Reutilização rápida do Cluster de Fluxo de Dados agora habilitada por padrão para todos os novos IRs do Azure | O popular recurso de reutilização de inicialização rápida de fluxo de dados agora está disponível para o Data Factory. Todos os novos RIs do Azure agora têm a reutilização rápida habilitada por padrão. Mais informações | |
| Atividade do Power Query (pré-visualização pública) | Agora você pode criar mapeamentos de campo complexos para seu coletor do Power Query usando a disputa de dados do Data Factory. O coletor agora está configurado no pipeline na atividade Power Query (visualização pública) para acomodar essa atualização. Mais informações | |
| Interface do usuário de monitoramento de fluxos de dados atualizada no Data Factory | O Data Factory tem uma nova atualização para a interface do usuário de monitoramento para facilitar a visualização do fluxo de dados, as execuções de trabalho ETL e a identificação rápida de áreas para ajuste de desempenho. Mais informações | |
| SQL Server Integration Services | Execute quaisquer instruções ou scripts SQL em qualquer lugar em três etapas com o SSIS no Data Factory | Esta postagem fornece três etapas para executar quaisquer instruções SQL ou scripts em qualquer lugar com o SSIS no Data Factory.
|