Quando usar o Azure Data Factory
Nesta unidade, discutiremos como determinar se o Azure Data Factory é uma solução de integração de dados adequada a para sua organização. Avaliaremos o Azure Data Factory em relação aos seguintes critérios:
- Requisitos de integração de dados
- Recursos de codificação
- Suporte a várias fontes de dados
- Infraestrutura sem servidor
Critérios de decisão
Para determinar se você deve usar o Azure Data Factory, use os critérios descritos na tabela a seguir.
| Critérios | Análise |
|---|---|
| Você precisa da integração de dados? | Se a sua organização trabalha com Big Data ou é uma organização tradicional de armazenamento de dados relacionais, você pode estar interessado na solução de integração de dados. |
| Você tem os recursos de codificação necessários? | Nem todos que trabalham com os dados têm experiência em codificação. Alguns podem preferir trabalhar com ferramentas gráficas que fornecem visualizações que ajudam a criar as tarefas que funcionarão com os dados de origem. |
| Você precisa trabalhar com várias fontes de dados? | Algumas organizações podem armazenar os dados brutos em uma variedade de sistemas diferentes, tanto locais quanto baseados em nuvem. Uma solução de análise de dados precisa ser capaz de se conectar facilmente a várias fontes de dados. |
| Você pode criar, gerenciar e manter componentes de integração de dados separados? | Sem um serviço gerenciado para análise de dados, as empresas precisam criar componentes personalizados de movimentação de dados. Como alternativa, elas podem criar serviços personalizados para integrar as fontes de dados e o processamento. Integrar e manter esses sistemas pode ser caro e difícil. Além disso, nem todos esses sistemas terão o monitoramento, os alertas e os controles que um serviço totalmente gerenciado oferece. |
Aplicar os critérios
Examine as perguntas a seguir ao considerar o Azure Data Factory como a sua solução de integração de dados.
Você precisa da integração de dados?
Se a sua organização for pequena e funcionar com fontes de dados limitadas, talvez você não precise de um serviço de integração de dados. No entanto, se a sua organização trabalha com Big Data ou é uma organização de data warehouse relacional tradicional, você pode se beneficiar de uma solução de integração de dados. Considere os seguintes pontos:
- As organizações de Big Data dependem de tecnologias para administrar grandes quantidades de dados diversificados. Para elas, o Azure Data Factory fornece um meio para criar e executar pipelines na nuvem. Esses pipelines podem acessar serviços de dados locais e na nuvem. Esses pipelines normalmente funcionam com tecnologias como o Azure Synapse Analytics, Blobs do Azure, Azure Data Lake, Azure HDInsight, Azure Databricks e Azure Machine Learning.
- As organizações de data warehousing relacionais normalmente dependem de tecnologias como SQL Server. O SSIS geralmente é usado para criar pacotes SSIS. Nessas organizações, o Azure Data Factory fornece a capacidade de executar pacotes SSIS no Azure, possibilitando que elas acessem serviços de dados locais e na nuvem.
Você tem os recursos de codificação necessários?
Se a sua organização não tem os recursos de codificação necessários para criar as atividades necessárias, considere o Azure Data Factory. O Azure Data Factory fornece um processo de baixo código/nenhum código para trabalhar com as fontes de dados e as atividades relacionadas. Por exemplo, a ferramenta de criação e monitoramento do Azure Data Factory permite que você crie pipelines graficamente arrastando e soltando atividades em uma superfície de design. A captura de tela a seguir descreve a interface em que um engenheiro de dados está criando um pipeline com várias atividades:
Você precisa trabalhar com várias fontes de dados?
Se a sua organização tiver um requisito para acessar dados em várias localizações e de várias fontes, você precisará considerar uma solução de integração de dados que forneça esse suporte. O Azure Data Factory usa conectores para se integrar a fontes de dados diferentes. Atualmente, há mais de 90 fontes de dados com suporte. Além disso, o Azure Data Factory dá suporte a opções extensíveis que acessam fontes de dados adicionais.
Você pode criar, gerenciar e manter componentes de integração de dados separados?
Pode ser extremamente complexo e demorado criar e gerenciar a própria solução de integração de dados baseada em servidor. Se você estiver executando conteúdo dessa solução no datacenter da sua organização, não precisará considerar o Azure Data Factory. No entanto, há vantagens em usar uma solução sem servidor totalmente gerenciada para a integração de dados. Entre os principais benefícios estão:
- A capacidade de escalar conforme necessário para dar suporte a cargas de trabalho adicionais.
- Não é necessário implantar, configurar e manter servidores para hospedar as suas cargas de trabalho de integração de dados.
Resumo
Em resumo, considere usar o Azure Data Factory quando você atender a um ou mais dos seguintes critérios:
- Os seus engenheiros de dados não têm o tempo necessário para criar o código para executar tarefas de análise de dados.
- Você tem várias fontes de dados em localizações diferentes.
- Você deseja aproveitar uma solução baseada em nuvem totalmente gerenciada.