Tutorial: analisar relatórios de inventário de blobs

  • Artigo

Ao entender como os blobs e contêineres são armazenados, organizados e usados na produção, você pode otimizar melhor as compensações entre custo e desempenho.

Este tutorial mostra como gerar e visualizar estatísticas como crescimento de dados ao longo do tempo, dados adicionados ao longo do tempo, número de arquivos modificados, tamanhos de instantâneo de blob, padrões de acesso em cada camada e como os dados são distribuídos atualmente e ao longo do tempo (por exemplo: dados entre camadas, tipos de arquivo, em contêineres e tipos de blob).

Neste tutorial, você aprenderá como:

  • Gerar um relatório de inventário de blobs
  • Configurar um workspace do Synapse
  • Configurar o Synapse Studio
  • Gerar dados analíticos no Synapse Studio
  • Visualizar os resultados no Power BI

Pré-requisitos

Gerar um relatório de inventário

Habilite os relatórios de inventário de blobs para a sua conta de armazenamento. Consulte Habilitar relatórios de inventário de blobs do Armazenamento do Azure.

Talvez seja necessário aguardar até 24 horas depois de habilitar os relatórios de inventário para que o seu primeiro relatório seja gerado.

Configurar um workspace do Synapse

  1. Crie um workspace do Azure Synapse. Consulte Criar um workspace do Azure Synapse.

    Observação

    Como parte da criação do workspace, você criará uma conta de armazenamento que tenha um namespace hierárquico. O Azure Synapse armazena tabelas do Spark e logs de aplicativos para essa conta. O Azure Synapse refere-se a essa conta como a conta de armazenamento primária. Para evitar confusão, este artigo usa o termo conta de relatório de inventário para se referir à conta que contém relatórios de inventários.

  2. No workspace do Synapse, atribua a função Colaborador à identidade de usuário. Consulte RBAC do Azure: função Proprietário do workspace.

  3. Para conceder ao workspace do Synapse a permissão para acessar os relatórios de inventário na conta de armazenamento, navegue até a conta de relatório de inventário e atribua a função Colaborador de Dados de Blob de Armazenamento à identidade gerenciada do sistema do workspace. Confira Atribuir funções do Azure usando o portal do Azure.

  4. Navegue até a conta de armazenamento primária e atribua a função Colaborador do Armazenamento de Blobs à sua identidade de usuário.

Configurar o Synapse Studio

  1. Abra o workspace do Synapse no Synapse Studio. Consulte Abrir o Synapse Studio.

  2. No Synapse Studio, verifique se sua identidade foi atribuída à função Administrador do Synapse. Consulte RBAC do Synapse: função Administrador do Synapse para o workspace.

  3. Crie um Pool do Apache Spark. Consulte Criar um pool do Apache Spark sem servidor.

Configurar e executar o notebook de exemplo

Nesta seção, você vai gerar dados estatísticos que visualizará em um relatório. Para simplificar este tutorial, esta seção usa um arquivo de configuração de exemplo e um notebook PySpark de exemplo. O notebook contém uma coleção de consultas que são executadas no Azure Synapse Studio.

Modificar e carregar o arquivo de configuração de exemplo

  1. Baixe o arquivo BlobInventoryStorageAccountConfiguration.json.

  2. Atualize os seguintes espaços reservados desse arquivo:

    • Defina storageAccountName como o nome da sua conta de relatório de inventário.

    • Defina destinationContainer como o nome do contêiner que contém os relatórios de inventário.

    • Defina blobInventoryRuleName como o nome da regra de relatório de inventário que gerou os resultados que você gostaria de analisar.

    • Defina accessKey como a chave da conta de relatório de inventário.

  3. Carregue esse arquivo no contêiner em sua conta de armazenamento primária que você especificou ao criar o workspace do Synapse.

Importar o notebook PySpark de exemplo

  1. Baixe o notebook de exemplo ReportAnalysis.ipynb.

    Observação

    Salve esse arquivo com a extensão .ipynb.

  2. Abra o workspace do Synapse no Synapse Studio. Consulte Abrir o Synapse Studio.

  3. No Synapse Studio, selecione a guia Desenvolver.

  4. Selecione o sinal de adição (+) para adicionar um item.

  5. Selecione Importar, navegue até o arquivo de exemplo que você baixou, selecione-o e escolha Abrir.

    A caixa de diálogo Propriedades é exibida.

  6. Na caixa de diálogo Propriedades, selecione o link Configurar sessão.

    Captura de tela da caixa de diálogo Importar propriedades

    A caixa de diálogo Configurar sessão é aberta.

  7. Na lista suspensa Anexar a da caixa de diálogo Configurar sessão, selecione o pool do Spark criado anteriormente neste artigo. Em seguida, selecione o botão Aplicar.

Modificar o notebook Python

  1. Na primeira célula do notebook Python, defina o valor da variável storage_account como o nome da conta de armazenamento primária.

  2. Atualize o valor da variável container_name para o nome do contêiner nessa conta que você especificou ao criar o workspace do Synapse.

  3. Clique no botão Publicar.

Executar o notebook PySpark

  1. No notebook PySpark, selecione Executar tudo.

    Levará alguns minutos para iniciar a sessão do Spark e mais alguns minutos para processar os relatórios de inventário. A primeira execução poderá demorar um pouco se houver vários relatórios de inventário a serem processados. As execuções subsequentes só processarão os novos relatórios de inventário criados desde a última execução.

    Observação

    Se você fizer alterações no notebook em execução, publique essas alterações usando o botão Publicar.

  2. Para verificar se o notebook foi executado com êxito, selecione a guia Dados.

    Um banco de dados chamado reportdata deve aparecer na guia Workspace do painel Dados. Se esse banco de dados não aparecer, talvez seja necessário atualizar a página da Web.

    Captura de tela do painel Dados que mostra o banco de dados reportdata

    O banco de dados contém um conjunto de tabelas. Cada tabela contém informações obtidas ao executar as consultas no notebook PySpark.

  3. Para examinar o conteúdo de uma tabela, expanda a pasta Tabelas do banco de dados reportdata. Em seguida, clique com o botão direito do mouse em uma tabela, escolha Selecionar script SQL e Selecionar as PRIMEIRAS 100 linhas.

    Captura de tela da opção de menu para criar um novo script sql

  4. Você pode modificar a consulta conforme necessário e, em seguida, selecionar Executar para exibir os resultados.

    Captura de tela do editor de consultas e dos resultados da consulta

Visualizar os dados

  1. Baixe o arquivo de relatório de exemplo ReportAnalysis.pbit.

  2. Abra o Power BI Desktop. Para obter diretrizes de instalação, consulte Obter Power BI Desktop.

  3. No Power BI, selecione Arquivo, Abrir relatório e Procurar relatórios.

  4. Na caixa de diálogo Abrir, altere o tipo de arquivo para arquivos de modelo do Power BI (*.pbit).

    Captura de tela do tipo de arquivos de modelo do Power BI que aparece na caixa de diálogo Abrir

  5. Navegue até o local do arquivo ReportAnalysis.pbit que você baixou e selecione Abrir.

    A caixa de diálogo exibida solicita que você forneça o nome do workspace do Synapse e o nome da base de dados.

  6. Na caixa de diálogo, defina o campo synapse_workspace_name como o nome do workspace e defina o campo database_name como reportdata. Em seguida, selecione o botão Carregar.

    Captura de tela da caixa de diálogo de configuração de relatório

    Aparece um relatório que fornece visualizações dos dados recuperados pelo notebook. As imagens a seguir mostram os tipos de gráficos e gráficos que aparecem neste relatório.

    Captura de tela da guia visão geral do relatório

    Captura de tela da guia análise detalhada do relatório

    Captura de tela da guia detalhamento do relatório

Próximas etapas