Democratize dados com a invenção digitalDemocratize data with digital invention

Carvão, petróleo e potencial humano foram os três ativos mais CONSEQÜENCIAIS durante a revolução industrial.Coal, oil, and human potential were the three most consequential assets during the industrial revolution. Esses ativos criaram empresas, mercados deslocados e, em última análise, Nações alteradas.These assets built companies, shifted markets, and ultimately changed nations. Na economia digital, há três ativos igualmente importantes: dados, dispositivos e potencial humano.In the digital economy, there are three equally important assets: data, devices, and human potential. Cada um desses ativos tem grande potencial de inovação.Each of these assets holds great innovation potential. Para qualquer esforço de inovação na era moderna, os dados são o novo óleo.For any innovation effort in the modern era, data is the new oil.

Em toda a empresa hoje, há bolsos de dados que poderiam ser usados para encontrar e atender às necessidades do cliente com mais eficiência.Across every company today, there are pockets of data that could be used to find and meet customer needs more effectively. Infelizmente, o processo de mineração de dados para impulsionar a inovação tem sido muito dispendioso e demorado.Unfortunately, the process of mining that data to drive innovation has long been costly and time-consuming. Muitas das soluções mais valiosas para os clientes vão desaparecer, pois as pessoas certas não podem acessar os dados de que precisam.Many of the most valuable solutions to customer needs go unmet because the right people can't access the data they need.

Democratization de dados é o processo de obter esses dados em mãos à direita para impulsionar a inovação.Democratization of data is the process of getting this data into the right hands to drive innovation. Esse processo pode usar várias formas, mas geralmente inclui soluções para dados brutos ingeridos ou integrados, centralização de dados, compartilhamento de dados e proteção de dados.This process can take several forms, but they generally include solutions for ingested or integrated raw data, centralization of data, sharing data, and securing data. Quando esses métodos são bem-sucedidos, os especialistas em toda a empresa podem usar os dados para testar as mesmas.When these methods are successful, experts around the company can use the data to test hypotheses. Em muitos casos, as equipes de adoção de nuvem podem criar com empatia de clientes usando apenas dados e endereçando rapidamente as necessidades existentes do cliente.In many cases, cloud adoption teams can build with customer empathy using only data, and rapidly addressing existing customer needs.

Processo de dados do democratizandoProcess of democratizing data

As fases a seguir guiarão as decisões e as abordagens necessárias para adotar uma solução que democratiza dados.The following phases will guide the decisions and approaches required to adopt a solution that democratizes data. Nem toda fase será necessariamente necessária para criar uma solução específica.Not every phase will necessarily be required to build a specific solution. No entanto, você deve avaliar cada fase quando estiver criando uma solução para uma hipótese do cliente.However, you should evaluate each phase when you're building a solution to a customer hypothesis. Cada uma delas fornece uma abordagem exclusiva para a criação de soluções inovadoras.Each provides a unique approach to the creation of innovative solutions.

Processo para dados do democratizando

Compartilhar dadosShare data

Quando você cria com o cliente empatia, todos os processos elevam a necessidade do cliente sobre uma solução técnica.When you build with customer empathy, all processes elevate customer need over a technical solution. Como os dados de democratizando não são exceção, começamos compartilhando dados.Because democratizing data is no exception, we start by sharing data. Para democratize dados, ele deve incluir uma solução que compartilha dados com um consumidor de dados.To democratize data, it must include a solution that shares data with a data consumer. O consumidor de dados pode ser um cliente direto ou um proxy que toma decisões para os clientes.The data consumer could be a direct customer or a proxy who makes decisions for customers. Os consumidores de dados aprovados podem analisar, interrogar e relatar dados centralizados, sem nenhum suporte da equipe de ti.Approved data consumers can analyze, interrogate, and report on centralized data, with no support from IT staff.

Muitas inovações bem-sucedidas foram iniciadas como um MVP (produto viável) mínimo que fornece processos manuais controlados por dados em nome do cliente.Many successful innovations have been launched as a minimum viable product (MVP) that deliver manual, data-driven processes on behalf of the customer. Neste modelo do concierge, um funcionário é o consumidor de dados.In this concierge model, an employee is the data consumer. Esse funcionário usa dados para auxiliar o cliente.That employee uses data to aid the customer. Cada vez que o cliente envolve o suporte manual, uma hipótese pode ser testada e validada.Each time the customer engages manual support, a hypothesis can be tested and validated. Essa abordagem geralmente é um meio econômico de testar uma hipótese com foco no cliente antes de investir pesadamente em soluções integradas.This approach is often a cost effective means of testing a customer-focused hypothesis before you invest heavily in integrated solutions.

As principais ferramentas para compartilhar dados diretamente com consumidores de dados incluem relatórios de autoatendimento ou dados inseridos em outras experiências, usando ferramentas como Power bi.The primary tools for sharing data directly with data consumers include self-service reporting or data embedded within other experiences, using tools like Power BI.

Observação

Antes de compartilhar dados, verifique se você leu as seções a seguir.Before you share data, make sure you've read the following sections. O compartilhamento de dados pode exigir governança para fornecer proteção para os dados compartilhados.Sharing data might require governance to provide protection for the shared data. Além disso, esses dados podem ser distribuídos em várias nuvens e podem exigir centralização.Also, that data might be spread across multiple clouds and could require centralization. Grande parte dos dados pode até residir em aplicativos, o que exigirá a coleta de dados antes que você possa compartilhá-lo.Much of the data might even reside within applications, which will require data collection before you can share it.

Controlar os dadosGovern data

O compartilhamento de dados pode produzir rapidamente um MVP que você pode usar em conversas de clientes.Sharing data can quickly produce an MVP that you can use in customer conversations. No entanto, para transformar esses dados compartilhados em conhecimento útil e acionável, geralmente é necessário um pouco mais.However, to turn that shared data into useful and actionable knowledge, a bit more is generally required. Depois que uma hipótese foi validada por meio do compartilhamento de dados, a próxima fase de desenvolvimento normalmente é a governança de dados.After a hypothesis has been validated through data sharing, the next phase of development is typically data governance.

A governança de dados é um tópico abrangente que pode exigir sua própria estrutura dedicada.Data governance is a broad topic that could require its own dedicated framework. Esse grau de granularidade está fora do escopo da estrutura de adoção da nuvem.That degree of granularity is outside the scope of the Cloud Adoption Framework. No entanto, há vários aspectos do controle de dados que você deve considerar assim que a hipótese do cliente é validada.However, there are several aspects of data governance that you should consider as soon as the customer hypothesis is validated. Por exemplo: For example:

  • Os dados compartilhados são confidenciais?Is the shared data sensitive? Os dados devem ser classificados antes de serem compartilhados publicamente para proteger os interesses dos clientes e da empresa.Data should be classified before being shared publicly to protect the interests of customers and the company.
  • Se os dados forem confidenciais, eles foram protegidos?If the data is sensitive, has it been secured? A proteção de dados confidenciais deve ser um requisito para qualquer dado de democratizado.Protection of sensitive data should be a requirement for any democratized data. A carga de trabalho de exemplo focada na proteção de soluções de dados fornece algumas referências para proteger os dados.The example workload focused on securing data solutions provides a few references for securing data.
  • Os dados estão catalogados?Is the data cataloged? Capturar detalhes sobre os dados que estão sendo compartilhados ajudará no gerenciamento de dados de longo prazo.Capturing details about the data being shared will aid in long-term data management. As ferramentas para documentar dados, como o catálogo de dados do Azure, podem tornar esse processo muito mais fácil na nuvem.Tools for documenting data, like Azure Data Catalog, can make this process much easier in the cloud. A orientação sobre a anotação de dados e a documentação das fontes de dados pode ajudar a acelerar o processo.Guidance regarding the annotation of data and the documentation of data sources can help accelerate the process.

Quando democratization de dados é importante para uma hipótese voltada para o cliente, verifique se a governança de dados compartilhados está em algum lugar no plano de lançamento.When democratization of data is important to a customer-focused hypothesis, make sure the governance of shared data is somewhere in the release plan. Isso ajudará a proteger clientes, consumidores de dados e a empresa.This will help protect customers, data consumers, and the company.

Centralizar dadosCentralize data

Quando os dados são interrompidos em um ambiente de ti, as oportunidades de inovação podem ser extremamente restritas, caras e demoradas.When data is disrupted across an IT environment, opportunities to innovate can be extremely constrained, expensive, and time-consuming. A nuvem fornece novas oportunidades para centralizar dados entre silos de dados.The cloud provides new opportunities to centralize data across data silos. Quando a centralização de várias fontes de dados é necessária para criar com o cliente empatia, a nuvem pode acelerar o teste de hipóteses.When centralization of multiple data sources is required to build with customer empathy, the cloud can accelerate the testing of hypotheses.

Cuidado

A centralização de dados representa um ponto de risco em qualquer processo de inovação.Centralization of data represents a risk point in any innovation process. Quando a centralização de dados é um aumento técnico, e não uma fonte de valor do cliente, sugerimos que você adie a centralização até que as subformas do cliente tenham sido validadas.When data centralization is a technical spike, and not a source of customer value, we suggest that you delay centralization until the customer hypotheses have been validated.

Se a centralização dos dados for necessária, primeiro defina o armazenamento de dados apropriado para os dados centralizados.If centralization of data is required, you should first define the appropriate data store for the centralized data. É uma boa prática estabelecer um data warehouse na nuvem.It's a good practice to establish a data warehouse in the cloud. Essa opção escalonável fornece um local central para todos os seus dados.This scalable option provides a central location for all your data. Esse tipo de solução está disponível em opções OLAP (processamento analítico online) ou Big Data.This type of solution is available in online analytical processing (OLAP) or big data options.

As arquiteturas de referência para as soluções OLAP e Big data podem ajudá-lo a escolher a solução mais relevante no Azure.The reference architectures for OLAP and big data solutions can help you choose the most relevant solution in Azure. Se uma solução híbrida for necessária, a arquitetura de referência para estender dados locais também poderá ajudar a acelerar o desenvolvimento da solução.If a hybrid solution is required, the reference architecture for extending on-premises data can also help accelerate solution development.

Importante

Dependendo da necessidade do cliente e da solução alinhada, uma abordagem mais simples pode ser suficiente.Depending on the customer need and the aligned solution, a simpler approach may be sufficient. O arquiteto de nuvem deve desafiar a equipe para considerar soluções de menor custo que poderiam resultar em uma validação mais rápida da hipótese do cliente, especialmente durante o desenvolvimento antecipado.The cloud architect should challenge the team to consider lower cost solutions that could result in faster validation of the customer hypothesis, especially during early development. A seção a seguir sobre a coleta de dados abrange alguns cenários que podem sugerir uma solução diferente para sua situação.The following section on collecting data covers some scenarios that might suggest a different solution for your situation.

Coletar dadosCollect data

Quando você precisa que os dados sejam centralizados para atender a uma necessidade do cliente, é muito provável que você também precise coletar os dados de várias fontes e movê-los para o armazenamento de dados centralizado.When you need data to be centralized to address a customer need, it's very likely that you'll also have to collect the data from various sources and move it into the centralized data store. As duas formas primárias de coleta de dados são integração e ingestão.The two primary forms of data collection are integration and ingestion.

Integração: Os dados que residem em um repositório de dados existente podem ser integrados ao armazenamento de dados centralizado usando técnicas tradicionais de movimentação de dados.Integration: Data that resides in an existing data store can be integrated into the centralized data store by using traditional data movement techniques. Isso é especialmente comum para cenários que envolvem o armazenamento de dados de nuvem.This is especially common for scenarios that involve multicloud data storage. Essas técnicas envolvem extrair os dados do armazenamento de dados existente e, em seguida, carregá-los no armazenamento de dados central.These techniques involve extracting the data from the existing data store and then loading it into the central data store. Em algum momento nesse processo, os dados normalmente são transformados para serem mais utilizáveis e relevantes no armazenamento central.At some point in this process, the data is typically transformed to be more usable and relevant in the central store.

As ferramentas baseadas em nuvem transformaram essas técnicas em ferramentas de pagamento por uso, reduzindo a barreira de entrada para a coleta e a centralização de dados.Cloud-based tools have turned these techniques into pay-per-use tools, reducing the barrier to entry for data collection and centralization. Ferramentas como o serviço de migração de banco de dados do Azure e Azure Data Factory são dois exemplos.Tools like Azure Database Migration Service and Azure Data Factory are two examples. A arquitetura de referência para Data Factory com um armazenamento de dados OLAP é um exemplo de uma dessas soluções.The reference architecture for Data Factory with an OLAP data store is an example of one such solution.

Ingestão: Alguns dados não residem em um repositório de dados existente.Ingestion: Some data doesn't reside in an existing data store. Quando esses dados transitórios são uma fonte primária de inovação, você desejará considerar abordagens alternativas.When this transient data is a primary source of innovation, you'll want to consider alternative approaches. Dados transitórios podem ser encontrados em uma variedade de fontes existentes, como aplicativos, APIs, fluxos de dados, dispositivos IoT, um blockchain, um cache de aplicativos, no conteúdo de mídia ou até mesmo em arquivos simples.Transient data can be found in a variety of existing sources like applications, APIs, data streams, IoT devices, a blockchain, an application cache, in media content, or even in flat files.

Você pode integrar essas várias formas de dados em um armazenamento de dados central em uma solução OLAP ou Big Data.You can integrate these various forms of data into a central data store on an OLAP or big data solution. No entanto, para iterações iniciais do ciclo de compilação-medida-aprendizado, uma solução OLTP (processamento transacional online) pode ser mais do que suficiente para validar uma hipótese do cliente.However, for early iterations of the build-measure-learn cycle, an online transactional processing (OLTP) solution might be more than sufficient to validate a customer hypothesis. As soluções OLTP não são a melhor opção para qualquer cenário de relatório.OLTP solutions aren't the best option for any reporting scenario. No entanto, quando você está criando com o cliente empatia, é mais importante concentrar-se nas necessidades do cliente do que nas decisões técnicas de ferramentas.However, when you're building with customer empathy, it's more important to focus on customer needs than on technical tooling decisions. Depois que a hipótese do cliente é validada em escala, uma plataforma mais adequada pode ser necessária.After the customer hypothesis is validated at scale, a more suitable platform might be required. A arquitetura de referência em armazenamentos de dados OLTP pode ajudá-lo a determinar qual armazenamento de dados é mais apropriado para sua solução.The reference architecture on OLTP data stores can help you determine which data store is most appropriate for your solution.

Virtualização: A integração e a ingestão de dados pode, às vezes, diminuir a inovação.Virtualize: Integration and ingestion of data can sometimes slow innovation. Quando uma solução para virtualização de dados já está disponível, ela pode representar uma abordagem mais razoável.When a solution for data virtualization is already available, it might represent a more reasonable approach. A ingestão e a integração podem duplicar os requisitos de armazenamento e desenvolvimento, adicionar latência de dados, aumentar a área da superfície de ataque, disparar problemas de qualidade e aumentar os esforços de governança.Ingestion and integration can both duplicate storage and development requirements, add data latency, increase attack surface area, trigger quality issues, and increase governance efforts. A virtualização de dados é uma alternativa mais contemporânea que deixa os dados originais em um único local e cria consultas de passagem ou em cache dos dados de origem.Data virtualization is a more contemporary alternative that leaves the original data in a single location and creates pass-through or cached queries of the source data.

SQL Server 2017 e o Azure SQL Data Warehouse dão suporte ao polybase, que é a abordagem para a virtualização de dados mais comumente usada no Azure.SQL Server 2017 and Azure SQL Data Warehouse both support PolyBase, which is the approach to data virtualization most commonly used in Azure.

Próximas etapasNext steps

Com uma estratégia para dados de democratizando em vigor, você vai querer avaliar abordagens para envolver clientes por meio de aplicativos.With a strategy for democratizing data in place, you'll next want to evaluate approaches to engaging customers through applications.