Democratizar dados com invenção digitalDemocratize data with digital invention

O carvão, o petróleo e o potencial humano foram os três ativos mais consequentes durante a revolução industrial.Coal, oil, and human potential were the three most consequential assets during the industrial revolution. Estes ativos construíram empresas, mudaram os mercados e acabaram por mudar as nações.These assets built companies, shifted markets, and ultimately changed nations. Na economia digital, existem três ativos igualmente importantes: dados, dispositivos e potencial humano.In the digital economy, there are three equally important assets: data, devices, and human potential. Cada um destes ativos tem um grande potencial de inovação.Each of these assets holds great innovation potential. Para qualquer esforço de inovação na era moderna, os dados são o novo petróleo.For any innovation effort in the modern era, data is the new oil.

Em todas as empresas hoje em dia, existem bolsas de dados que poderiam ser usadas para encontrar e atender as necessidades dos clientes de forma mais eficaz.Across every company today, there are pockets of data that could be used to find and meet customer needs more effectively. Infelizmente, o processo de extração desses dados para impulsionar a inovação tem sido, desde há muito, dispendioso e moroso.Unfortunately, the process of mining that data to drive innovation has long been costly and time-consuming. Muitas das soluções mais valiosas para as necessidades dos clientes não são satisfeitas porque as pessoas certas não conseguem aceder aos dados de que necessitam.Many of the most valuable solutions to customer needs go unmet because the right people can't access the data they need.

A democratização dos dados é o processo de colocar estes dados nas mãos certas para impulsionar a inovação.Democratization of data is the process of getting this data into the right hands to drive innovation. Este processo pode assumir várias formas, mas geralmente incluem soluções para dados brutos ingeridos ou integrados, centralização de dados, partilha de dados e segurança de dados.This process can take several forms, but they generally include solutions for ingested or integrated raw data, centralization of data, sharing data, and securing data. Quando estes métodos são bem sucedidos, os especialistas em toda a empresa podem usar os dados para testar hipóteses.When these methods are successful, experts around the company can use the data to test hypotheses. Em muitos casos, as equipas de adoção em nuvem podem construir com empatia do cliente usando apenas dados, e rapidamente atender às necessidades dos clientes existentes.In many cases, cloud adoption teams can build with customer empathy using only data, and rapidly addressing existing customer needs.

Processo de democratização de dadosProcess of democratizing data

As fases seguintes orientarão as decisões e abordagens necessárias para a adoção de uma solução que democratize os dados.The following phases will guide the decisions and approaches required to adopt a solution that democratizes data. Nem todas as fases serão necessariamente necessárias para construir uma solução específica.Not every phase will necessarily be required to build a specific solution. No entanto, deve avaliar cada fase quando estiver a construir uma solução para uma hipótese do cliente.However, you should evaluate each phase when you're building a solution to a customer hypothesis. Cada um fornece uma abordagem única à criação de soluções inovadoras.Each provides a unique approach to the creation of innovative solutions.

Processo de democratização de dados

Partilhar dadosShare data

Quando constrói com empatia do cliente,todos os processos elevam a necessidade do cliente sobre uma solução técnica.When you build with customer empathy, all processes elevate customer need over a technical solution. Como democratizar os dados não é exceção, começamos por partilhar dados.Because democratizing data is no exception, we start by sharing data. Para democratizar os dados, deve incluir uma solução que partilhe dados com um consumidor de dados.To democratize data, it must include a solution that shares data with a data consumer. O consumidor de dados pode ser um cliente direto ou um representante que toma decisões para os clientes.The data consumer could be a direct customer or a proxy who makes decisions for customers. Os consumidores de dados aprovados podem analisar, interrogar e reportar dados centralizados, sem o apoio do pessoal de TI.Approved data consumers can analyze, interrogate, and report on centralized data, with no support from IT staff.

Muitas inovações bem sucedidas foram lançadas como um produto mínimo viável (MVP) que fornece processos manuais e baseados em dados em nome do cliente.Many successful innovations have been launched as a minimum viable product (MVP) that deliver manual, data-driven processes on behalf of the customer. Neste modelo de concierge, um colaborador é o consumidor de dados.In this concierge model, an employee is the data consumer. Aquele empregado usa dados para ajudar o cliente.That employee uses data to aid the customer. Cada vez que o cliente ativa o suporte manual, uma hipótese pode ser testada e validada.Each time the customer engages manual support, a hypothesis can be tested and validated. Esta abordagem é muitas vezes um meio eficaz em termos de custos para testar uma hipótese focada no cliente antes de investir fortemente em soluções integradas.This approach is often a cost effective means of testing a customer-focused hypothesis before you invest heavily in integrated solutions.

As principais ferramentas para a partilha direta de dados com os consumidores de dados incluem relatórios de autosserviço ou dados incorporados noutras experiências, utilizando ferramentas como o Power BI.The primary tools for sharing data directly with data consumers include self-service reporting or data embedded within other experiences, using tools like Power BI.

Nota

Antes de partilhar dados, certifique-se de ter lido as seguintes secções.Before you share data, make sure you've read the following sections. A partilha de dados pode exigir a governação para fornecer proteção para os dados partilhados.Sharing data might require governance to provide protection for the shared data. Além disso, esses dados podem estar espalhados por várias nuvens e podem requerer centralização.Also, that data might be spread across multiple clouds and could require centralization. Grande parte dos dados pode mesmo residir dentro de aplicações, o que requer a recolha de dados antes de poder partilhá-lo.Much of the data might even reside within applications, which will require data collection before you can share it.

Reger os dadosGovern data

A partilha de dados pode produzir rapidamente um MVP que pode utilizar nas conversas com os clientes.Sharing data can quickly produce an MVP that you can use in customer conversations. No entanto, para transformar esses dados partilhados em conhecimento útil e accível, é geralmente necessário um pouco mais.However, to turn that shared data into useful and actionable knowledge, a bit more is generally required. Depois de uma hipótese ter sido validada através da partilha de dados, a próxima fase de desenvolvimento é tipicamente a governação de dados.After a hypothesis has been validated through data sharing, the next phase of development is typically data governance.

A governação dos dados é um tema amplo que pode exigir o seu próprio quadro dedicado.Data governance is a broad topic that could require its own dedicated framework. Este grau de granularidade está fora do âmbito do Quadro de Adoção de Nuvens.That degree of granularity is outside the scope of the Cloud Adoption Framework. No entanto, existem vários aspetos da governação de dados que deve considerar assim que a hipótese do cliente for validada.However, there are several aspects of data governance that you should consider as soon as the customer hypothesis is validated. Por exemplo:For example:

  • Os dados partilhados são sensíveis?Is the shared data sensitive? Os dados devem ser classificados antes de serem partilhados publicamente para proteger os interesses dos clientes e da empresa.Data should be classified before being shared publicly to protect the interests of customers and the company.
  • Se os dados forem sensíveis, foi protegido?If the data is sensitive, has it been secured? A proteção de dados sensíveis deve ser um requisito para quaisquer dados democratizados.Protection of sensitive data should be a requirement for any democratized data. O exemplo da carga de trabalho focada na segurança de soluções de dados fornece algumas referências para a obtenção de dados.The example workload focused on securing data solutions provides a few references for securing data.
  • Os dados estão catalogados?Is the data cataloged? A captura de detalhes sobre os dados partilhados ajudará na gestão de dados a longo prazo.Capturing details about the data being shared will aid in long-term data management. Ferramentas para documentar dados, como o Azure Data Catalog, podem tornar este processo muito mais fácil na nuvem.Tools for documenting data, like Azure Data Catalog, can make this process much easier in the cloud. Orientações sobre a anotação de dados e a documentação de fontes de dados podem ajudar a acelerar o processo.Guidance regarding the annotation of data and the documentation of data sources can help accelerate the process.

Quando a democratização dos dados é importante para uma hipótese centrada no cliente, certifique-se de que a governação dos dados partilhados está algures no plano de libertação.When democratization of data is important to a customer-focused hypothesis, make sure the governance of shared data is somewhere in the release plan. Isto ajudará a proteger os clientes, os consumidores de dados e a empresa.This will help protect customers, data consumers, and the company.

Centralizar os dadosCentralize data

Quando os dados são perturbados num ambiente de TI, as oportunidades de inovar podem ser extremamente limitadas, dispendiosas e demoradas.When data is disrupted across an IT environment, opportunities to innovate can be extremely constrained, expensive, and time-consuming. A nuvem oferece novas oportunidades para centralizar dados através de silos de dados.The cloud provides new opportunities to centralize data across data silos. Quando a centralização de múltiplas fontes de dados é necessária para construir com empatia do cliente,a nuvem pode acelerar o teste de hipóteses.When centralization of multiple data sources is required to build with customer empathy, the cloud can accelerate the testing of hypotheses.

Atenção

A centralização dos dados representa um ponto de risco em qualquer processo de inovação.Centralization of data represents a risk point in any innovation process. Quando a centralização de dados é um pico técnico,e não uma fonte de valor do cliente, sugerimos que atrase a centralização até que as hipóteses do cliente sejam validadas.When data centralization is a technical spike, and not a source of customer value, we suggest that you delay centralization until the customer hypotheses have been validated.

Se for necessária centralização de dados, deve primeiro definir a loja de dados adequada para os dados centralizados.If centralization of data is required, you should first define the appropriate data store for the centralized data. É uma boa prática estabelecer um armazém de dados na nuvem.It's a good practice to establish a data warehouse in the cloud. Esta opção escalável fornece uma localização central para todos os seus dados.This scalable option provides a central location for all your data. Este tipo de solução está disponível em processamento analítico online (OLAP) ou em grandes opções de dados.This type of solution is available in online analytical processing (OLAP) or big data options.

As arquiteturas de referência para OLAP e soluções de big data podem ajudá-lo a escolher a solução mais relevante em Azure.The reference architectures for OLAP and big data solutions can help you choose the most relevant solution in Azure. Se for necessária uma solução híbrida, a arquitetura de referência para alargar os dados no local também pode ajudar a acelerar o desenvolvimento da solução.If a hybrid solution is required, the reference architecture for extending on-premises data can also help accelerate solution development.

Importante

Dependendo da necessidade do cliente e da solução alinhada, uma abordagem mais simples pode ser suficiente.Depending on the customer need and the aligned solution, a simpler approach may be sufficient. O arquiteto da nuvem deve desafiar a equipa a considerar soluções de baixo custo que possam resultar numa validação mais rápida da hipótese do cliente, especialmente durante o desenvolvimento precoce.The cloud architect should challenge the team to consider lower cost solutions that could result in faster validation of the customer hypothesis, especially during early development. A secção seguinte sobre a recolha de dados abrange alguns cenários que podem sugerir uma solução diferente para a sua situação.The following section on collecting data covers some scenarios that might suggest a different solution for your situation.

Recolher dadosCollect data

Quando precisa de dados para ser centralizado para responder a uma necessidade do cliente, é muito provável que também tenha de recolher os dados de várias fontes e movê-lo para a loja de dados centralizada.When you need data to be centralized to address a customer need, it's very likely that you'll also have to collect the data from various sources and move it into the centralized data store. As duas formas primárias de recolha de dados são a integração e a ingestão.The two primary forms of data collection are integration and ingestion.

Integração: Os dados que residem numa loja de dados existente podem ser integrados na loja de dados centralizada utilizando técnicas tradicionais de movimento de dados.Integration: Data that resides in an existing data store can be integrated into the centralized data store by using traditional data movement techniques. Isto é especialmente comum para cenários que envolvem armazenamento de dados multicloud.This is especially common for scenarios that involve multicloud data storage. Estas técnicas envolvem extrair os dados da loja de dados existente e, em seguida, carregá-los na loja de dados central.These techniques involve extracting the data from the existing data store and then loading it into the central data store. Em algum momento deste processo, os dados são tipicamente transformados para serem mais utilizáveis e relevantes na loja central.At some point in this process, the data is typically transformed to be more usable and relevant in the central store.

As ferramentas baseadas em nuvem transformaram estas técnicas em ferramentas pay-per-use, reduzindo a barreira à entrada para recolha e centralização de dados.Cloud-based tools have turned these techniques into pay-per-use tools, reducing the barrier to entry for data collection and centralization. Ferramentas como o Azure Database Migration Service e a Azure Data Factory são dois exemplos.Tools like Azure Database Migration Service and Azure Data Factory are two examples. A arquitetura de referência para a Data Factory com uma loja de dados OLAP é um exemplo de uma dessas soluções.The reference architecture for Data Factory with an OLAP data store is an example of one such solution.

Ingestão: Alguns dados não residem numa loja de dados existente.Ingestion: Some data doesn't reside in an existing data store. Quando estes dados transitórios são uma principal fonte de inovação, você vai querer considerar abordagens alternativas.When this transient data is a primary source of innovation, you'll want to consider alternative approaches. Os dados transitórios podem ser encontrados numa variedade de fontes existentes, como aplicações, APIs, fluxos de dados, dispositivos IoT, uma blockchain, uma cache de aplicação, em conteúdo sonoro, ou mesmo em ficheiros planos.Transient data can be found in a variety of existing sources like applications, APIs, data streams, IoT devices, a blockchain, an application cache, in media content, or even in flat files.

Pode integrar estas várias formas de dados numa loja central de dados numa solução OLAP ou big data.You can integrate these various forms of data into a central data store on an OLAP or big data solution. No entanto, para as iterações precoces do ciclo de aprendizagem de medidas de construção, uma solução de processamento transacional online (OLTP) pode ser mais do que suficiente para validar uma hipótese do cliente.However, for early iterations of the build-measure-learn cycle, an online transactional processing (OLTP) solution might be more than sufficient to validate a customer hypothesis. As soluções OLTP não são a melhor opção para qualquer cenário de reporte.OLTP solutions aren't the best option for any reporting scenario. No entanto, quando se constrói com empatia do cliente,é mais importante concentrarmo-nos nas necessidades dos clientes do que nas decisões técnicas de ferramentas.However, when you're building with customer empathy, it's more important to focus on customer needs than on technical tooling decisions. Após a hipótese do cliente ser validada à escala, poderá ser necessária uma plataforma mais adequada.After the customer hypothesis is validated at scale, a more suitable platform might be required. A arquitetura de referência nas lojas de dados OLTP pode ajudá-lo a determinar qual a loja de dados mais adequada para a sua solução.The reference architecture on OLTP data stores can help you determine which data store is most appropriate for your solution.

Virtualizar: A integração e a ingestão de dados podem, por vezes, atrasar a inovação.Virtualize: Integration and ingestion of data can sometimes slow innovation. Quando já existe uma solução para a virtualização de dados, pode representar uma abordagem mais razoável.When a solution for data virtualization is already available, it might represent a more reasonable approach. A ingestão e integração podem duplicar os requisitos de armazenamento e desenvolvimento, adicionar latência de dados, aumentar a área de superfície de ataque, desencadear problemas de qualidade e aumentar os esforços de governação.Ingestion and integration can both duplicate storage and development requirements, add data latency, increase attack surface area, trigger quality issues, and increase governance efforts. A virtualização de dados é uma alternativa mais contemporânea que deixa os dados originais num único local e cria consultas de passagem ou cache dos dados de origem.Data virtualization is a more contemporary alternative that leaves the original data in a single location and creates pass-through or cached queries of the source data.

SQL Server 2017 e Azure SQL Data Warehouse suportam o PolyBase,que é a abordagem à virtualização de dados mais utilizada no Azure.SQL Server 2017 and Azure SQL Data Warehouse both support PolyBase, which is the approach to data virtualization most commonly used in Azure.

Passos seguintesNext steps

Com uma estratégia para democratizar os dados em vigor, irá a seguir avaliar abordagens para envolver os clientes através de aplicações.With a strategy for democratizing data in place, you'll next want to evaluate approaches to engaging customers through applications.