Funções nos dados
Contar uma história com os dados é um percurso que, normalmente, não começa consigo. Os dados têm de vir de algum lugar. Reunir os dados num local utilizável por si requer um esforço que está provavelmente fora do seu alcance, especialmente tendo em consideração a empresa.
As aplicações e os projetos atuais podem ser grandes e complexos e, muitas vezes, implicam a utilização de competências e conhecimentos de vários indivíduos. Cada pessoa contribui com talento e experiência únicos, ao partilhar o esforço de trabalhar em conjunto e coordenar tarefas e responsabilidades para que um projeto passe do conceito à produção.
Não há muito tempo, funções como analistas de negócio e programadores de business intelligence eram o padrão para a compreensão e o processamento de dados. No entanto, a excessiva expansão do tamanho e dos diferentes tipos de dados levou a que estas funções evoluíssem para conjuntos de competências mais especializadas que modernizam e simplificam os processos de análise e engenharia de dados.
As secções seguintes realçam as diferentes funções nos dados e as responsabilidades específicas no espectro geral da deteção e compreensão dos dados:
Analista de negócio
Analista de dados
Engenheiro de dados
Cientista de dados
Administrador da base de dados
Analista de negócio
Embora existam algumas semelhanças entre um analista de dados e um analista de negócio, a principal diferença entre as duas funções é o que estes fazem com os dados. Um analista de negócio está mais próximo da empresa e é perito em interpretar os dados que provêm da visualização. Muitas vezes, as funções de analista de dados e analista de negócio podem ser da responsabilidade de uma só pessoa.
Analista de dados
Um analista de dados permite que as empresas maximizem o valor dos seus ativos de dados através de ferramentas de visualização e geração de relatórios, como o Microsoft Power BI. Os analistas de dados são responsáveis pela análise para otimização, limpeza e transformação dos dados. As suas responsabilidades incluem também a conceção e criação de modelos semânticos dimensionáveis e eficazes, bem como a ativação e implementação das capacidades de análise avançada em relatórios para análise. Um analista de dados trabalha com os intervenientes adequados para identificar dados apropriados e necessários, e requisitos de geração de relatórios. Depois, tem a tarefa de transformar dados não processados em informações relevantes e significativas.
Um analista de dados também é responsável pela gestão de recursos do Power BI, incluindo relatórios, dashboards, áreas de trabalho e os modelos semânticos subjacentes que são utilizados nos relatórios. Têm a tarefa de implementar e configurar procedimentos de segurança adequados, em conjunto com os requisitos dos intervenientes, para garantir a segurança de todos os ativos do Power BI e dos respetivos dados.
Os analistas de dados trabalham com engenheiros de dados para determinar e localizar origens de dados adequadas que cumprem os requisitos dos intervenientes. Além disso, os analistas de dados trabalham com o engenheiro de dados e o administrador da base de dados para garantir que têm o acesso adequado às origens de dados necessárias. O analista de dados trabalha também com o engenheiro de dados para identificar novos processos ou melhorar os processos existentes para recolher dados para análise.
Engenheiro de dados
Os engenheiros de dados aprovisionam e configuram tecnologias de plataformas de dados no local e na cloud. Estes gerem e protegem o fluxo dos dados estruturados e não estruturados de múltiplas origens. As plataformas de dados que utilizam podem incluir bases de dados relacionais, bases de dados não relacionais, fluxos de dados e arquivos de ficheiros. Os engenheiros de dados também garantem que os serviços de dados se integram de forma segura e totalmente integrada nas plataformas de dados.
As principais responsabilidades dos engenheiros de dados incluem a utilização de serviços de dados e ferramentas no local e na cloud para ingestão, saída e transformação de dados de múltiplas origens. Os engenheiros de dados colaboram com os intervenientes da empresa para identificar e cumprir os requisitos de dados. Criam e implementam soluções.
Embora exista algum alinhamento nas tarefas e responsabilidades de um engenheiro de dados e de um administrador da base de dados, o âmbito de trabalho de um engenheiro de dados vai muito além da manutenção de uma base de dados e do servidor onde está alojada e provavelmente não inclui a gestão global de dados operacionais.
Um engenheiro de dados pode contribuir de forma significativa para projetos de business intelligence e de ciência de dados. Quando o engenheiro de dados reúne dados, muitas vezes descrito como data wrangling, os projetos são movidos mais rapidamente, uma vez que os cientistas de dados se podem concentrar nas suas próprias áreas de trabalho.
Enquanto analista de dados, trabalhará em estreita colaboração com um engenheiro de dados para garantir que pode aceder à variedade de origens de dados estruturadas e não estruturadas, uma vez que irão apoiá-lo na otimização de modelos semânticos, que são normalmente servidos a partir de um armazém de dados moderno ou data lake.
Os administradores da base de dados e os profissionais de business intelligence podem transitar para uma função de engenheiro de dados. Precisam de conhecimentos nas ferramentas e tecnologias utilizadas para processar grandes quantidades de dados.
Cientista de dados
Os cientistas de dados realizam análises avançadas para extrair o valor dos dados. O seu trabalho pode variar desde análises descritivas a análises preditivas. As análises descritivas avaliam os dados através de um processo conhecido como análise de dados exploratória (EDA). As análises preditivas são utilizadas na aprendizagem automática para aplicar técnicas de modelação capazes de detetar anomalias ou padrões. Estas análises são uma parte importante dos modelos de previsão.
As análises descritiva e preditiva são apenas aspetos parciais do trabalho do cientista de dados. Alguns cientistas de dados podem trabalhar nos domínios da aprendizagem profunda, ao desempenhar experiências iterativas para resolver um problema de dados complexo através da utilização de algoritmos personalizados.
A crença geral sugere que a maioria do trabalho num projeto de ciência de dados é despendida no processo de data wrangling e na engenharia de funcionalidades. Os cientistas de dados podem acelerar o processo de experimentação quando os engenheiros de dados utilizam as suas competências para realizar o processo de data wrangling com êxito.
À primeira vista, poderia parecer que um cientista de dados e um analista de dados realizam um trabalho muito diferente um do outro, mas não é o caso. Um cientista de dados analisa dados para determinar as perguntas que precisam de respostas e, muitas vezes, concebe uma hipótese ou uma experimentação e recorre ao analista de dados para o ajudar na visualização e na geração de relatórios de dados.
Administrador da base de dados
Um administrador da base de dados implementa e gere os aspetos operacionais das soluções de plataformas de dados híbridas e nativas na cloud que são baseadas nos serviços de dados do Microsoft Azure e no Microsoft SQL Server. Um administrador de base de dados é responsável pela disponibilidade geral e pelo desempenho consistente e otimizações das soluções de base de dados. Trabalha com os intervenientes para identificar e implementar as políticas, as ferramentas e os processos para cópias de segurança de dados e planos de recuperação.
A função do administrador da base de dados é diferente da função do engenheiro de dados. Um administrador da base de dados monitoriza e gere o estado de funcionamento geral de uma base de dados e o hardware em que se encontra, enquanto um engenheiro de dados está envolvido no processo de data wrangling. Ou seja, na ingestão, transformação, validação e limpeza de dados para satisfazer necessidades e requisitos empresariais.
O administrador da base de dados também é responsável pela gestão da segurança global dos dados, ao conceder e restringir o acesso e os privilégios de utilizador aos dados, conforme as necessidades e os requisitos empresariais.