Introdução
Muitas organizações trabalham com grandes quantidades de dados. Esse Big Data geralmente pode ser bruto, não organizado e armazenado em uma variedade de localizações, como sistemas relacionais, não relacionais e outros tipos de armazenamento. Um desafio significativo para essas organizações é organizar esse Big Data e transformá-lo em insights empresariais acionáveis.
O Microsoft Azure Data Factory é um serviço de nuvem gerenciado que você pode usar para criar insights empresariais acionáveis por meio dos seus dados não organizados. Ele pode ajudar você a gerenciar projetos complexos de ETL (extração, transformação e carregamento), de extração-carregamento-transformação e de integração de dados.
Cenário de exemplo
Vamos imaginar que você trabalhe para uma empresa de jogos, na qual você coleta logs de dados que são gerados durante as sessões de jogos. Se você pudesse analisar esses dados de log, você poderia obter insights sobre preferências do cliente, dados demográficos e comportamento de uso. As pessoas na sua equipe de vendas expressaram um interesse em oportunidades de venda conjunta e venda cruzada e desejam saber se esses logs de dados podem conter informações úteis. As equipes técnicas e de desenvolvimento estão interessadas em aprender sobre possíveis problemas com a experiência de jogo e como novos recursos podem ajudar a resolver esses problemas.
O problema é que, para analisar com êxito os dados nos logs, você também precisa referenciar dados armazenados localmente. Esses dados incluem informações do cliente, informações de jogos e informações da campanha de marketing. A empresa armazenou os seus dados de log de jogos em um armazenamento de dados na nuvem e deseja que você use todos os dados locais também.
Para avançar com a análise de dados, uma etapa crucial é combinar os dados locais com os dados adicionais dos logs de jogos. O plano é processar os dados combinados usando o Azure Analysis Services. Em seguida, os dados transformados serão publicados em um data warehouse de nuvem e visualizados usando o Power BI e outras ferramentas. O Azure Data Factory pode ajudar você a atingir essa meta.
O que faremos?
Neste módulo, você descobrirá como o Azure Data Factory pode ajudar você a orquestrar o seu Big Data. Você avaliará se o Azure Data Factory pode ajudar você a integrar as suas fontes de dados. Você também descreverá como o Azure Data Factory pode ingerir dados de fontes de dados locais, de várias nuvens e de SaaS (software como serviço).
Qual é a meta principal?
Ao final deste módulo, você terá aprendido mais sobre como determinar se o Azure Data Factory pode ajudar você a criar e agendar fluxos de trabalho orientados a dados para ingerir dados de diferentes armazenamentos de dados. Você avaliará se o Azure Data Factory pode ajudar na criação de processos complexos de ETL para transformar esses dados visualmente com serviços de computação ou com fluxos de dados.