Conjuntos de dados grandes no Power BI PremiumLarge datasets in Power BI Premium

Os conjuntos de dados do Power BI podem armazenar dados em um cache de memória altamente compactado para proporcionar um desempenho de consulta otimizado, permitindo uma interatividade do usuário mais rápida.Power BI datasets can store data in a highly compressed in-memory cache for optimized query performance, enabling fast user interactivity. Com as funcionalidades Premium, conjuntos de dados grandes que passam do limite padrão podem ser habilitados com a configuração Formato de armazenamento de conjunto de dados grande.With Premium capacities, large datasets beyond the default limit can be enabled with the Large dataset storage format setting. Quando estiver habilitado, o tamanho do conjunto de dados será limitado pelo tamanho da capacidade Premium ou pelo tamanho máximo definido pelo administrador.When enabled, dataset size is limited by the Premium capacity size or the maximum size set by the administrator.

Conjuntos de dados grandes podem ser habilitados para todas as SKUs Premium P e Embedded A.Large datasets can be enabled for all Premium P SKUs and Embedded A SKUs. O limite de tamanho do conjunto de dados grande no Premium é comparável ao Azure Analysis Services em termos de limitações de tamanho do modelo de dados.The large dataset size limit in Premium is comparable to Azure Analysis Services, in terms of data model size limitations.

Embora seja necessário que os conjuntos de dados cresçam além de 10 GB, a habilitação da configuração Formato de armazenamento de conjunto de dados grande tem benefícios adicionais.While required for datasets to grow beyond 10 GB, enabling the Large dataset storage format setting has additional benefits. Se você estiver planejando usar as ferramentas baseadas no ponto de extremidade XMLA para operações de gravação do conjunto de dados, verifique se a configuração está habilitada, mesmo para conjuntos de dados que você não caracteriza necessariamente como um conjunto de dados grande.If you're planning to use XMLA endpoint based tools for dataset write operations, be sure to enable the setting, even for datasets that you wouldn't necessarily characterize as a large dataset. Quando habilitado, o formato de armazenamento de conjunto de dados grande pode melhorar o desempenho de operações de gravação do XMLA.When enabled, the large dataset storage format can improve XMLA write operations performance.

Os conjuntos de dados grandes no serviço não afetam o tamanho de upload do modelo do Power BI Desktop, que ainda está limitado a 10 GB.Large datasets in the service do not affect the Power BI Desktop model upload size, which is still limited to 10 GB. Em vez disso, os conjuntos de dados podem crescer além desse limite no serviço na atualização.Instead, datasets can grow beyond that limit in the service on refresh.

Importante

O Power BI Premium dá suporte a grandes conjuntos de dados.Power BI Premium does support large datasets. Habilite a opção Formato de armazenamento de conjunto de dados grande para usar conjuntos de dados no Power BI Premium maiores que o limite padrão.Enable the Large dataset storage format option to use datasets in Power BI Premium that are larger than the default limit.

Habilitar conjuntos de dados grandesEnable large datasets

As etapas aqui descrevem como habilitar grandes conjuntos de dados em um novo modelo publicado no serviço.Steps here describe enabling large datasets for a new model published to the service. Para conjuntos de dados existentes, apenas a etapa três é necessária.For existing datasets, only step three is necessary.

  1. Crie um modelo no Power BI Desktop.Create a model in Power BI Desktop. Se o seu conjunto de dados for maior e consumir mais memória progressivamente, configure a Atualização incremental.If your dataset will become larger and progressively consume more memory, be sure to configure Incremental refresh.

  2. Publique o modelo como um conjunto de dados para o serviço.Publish the model as a dataset to the service.

  3. Em serviço > conjunto de dados > Configurações, expanda Formato de armazenamento de conjunto de dados grande, clique no controle deslizante Ativado e em Aplicar.In the service > dataset > Settings, expand Large dataset storage format, click the slider to On, and then click Apply.

    Controle deslizante Habilitar conjuntos de dados grandes

  4. Invoque uma atualização para carregar dados históricos com base na política de atualização incremental.Invoke a refresh to load historical data based on the incremental refresh policy. A primeira atualização pode demorar um pouco para carregar o histórico.The first refresh could take a while to load the history. As atualizações subsequentes devem ser mais rápidas, dependendo da política de atualização incremental.Subsequent refreshes should be faster, depending on your incremental refresh policy.

Definir o formato de armazenamento padrãoSet default storage format

Todos os conjuntos de dados criados em um workspace atribuído à capacidade Premium podem ter o formato de armazenamento de conjunto de dados grande habilitado por padrão.All new datasets created in a workspace assigned to Premium capacity can have the large dataset storage format enabled by default.

  1. No workspace, clique em Configurações > Premium.In the workspace, click Settings > Premium.

  2. Em Formato de armazenamento padrão, selecione Formato de armazenamento de conjunto de dados grande e clique em Salvar.In Default storage format, select Large dataset storage format, and then click Save.

    Habilitar o formato de armazenamento padrão

Habilitar com o PowerShellEnable with PowerShell

Você também pode habilitar o formato de armazenamento de conjunto de dados grande usando o PowerShell.You can also enable large dataset storage format by using PowerShell. Você deve ter privilégios de administrador de workspace e administrador de capacidade para executar os cmdlets do PowerShell.You must have capacity admin and workspace admin privileges to run the PowerShell cmdlets.

  1. Localize a ID do conjunto de dados (GUID).Find the dataset ID (GUID). Na guia Conjunto de dados do workspace, nas configurações do conjunto de dados, você pode ver a ID na URL.On the Datasets tab for the workspace, under the dataset settings, you can see the ID in the URL.

    GUID do conjunto de dados

  2. Em um prompt de administrador do PowerShell, instale o módulo MicrosoftPowerBIMgmt.From a PowerShell admin prompt, install the MicrosoftPowerBIMgmt module.

    Install-Module -Name MicrosoftPowerBIMgmt
    
  3. Execute os cmdlets a seguir para entrar e verificar o modo de armazenamento do conjunto de dados.Run the following cmdlets to sign in and check the dataset storage mode.

    Login-PowerBIServiceAccount
    
    (Get-PowerBIDataset -Scope Organization -Id <Dataset ID> -Include actualStorage).ActualStorage
    

    A resposta deve ser a seguinte.The response should be the following. O modo de armazenamento é ABF (arquivo de backup do Analysis Services), que é o padrão.The storage mode is ABF (Analysis Services backup file), which is the default.

    Id                   StorageMode
    
    --                   -----------
    
    <Dataset ID>         Abf
    
  4. Execute os cmdlets a seguir para definir o modo de armazenamento.Run the following cmdlets to set the storage mode. Pode levar alguns segundos para converter em Arquivos Premium.It can take a few seconds to convert to Premium Files.

    Set-PowerBIDataset -Id <Dataset ID> -TargetStorageMode PremiumFiles
    
    (Get-PowerBIDataset -Scope Organization -Id <Dataset ID> -Include actualStorage).ActualStorage
    

    A resposta deve ser a seguinte.The response should be the following. O modo de armazenamento agora está definido como Arquivos Premium.The storage mode is now set to Premium Files.

    Id                   StorageMode
    
    --                   -----------
    
    <Dataset ID>         PremiumFiles
    

Você pode verificar o status das conversões de conjunto de dados de arquivos Premium usando o cmdlet Get-PowerBIWorkspaceMigrationStatus.You can check the status of dataset conversions to and from Premium Files by using the Get-PowerBIWorkspaceMigrationStatus cmdlet.

Remoção de conjunto de dadosDataset eviction

O Power BI usa o gerenciamento de memória dinâmica para remover conjuntos de dados inativos da memória.Power BI uses dynamic memory management to evict inactive datasets from memory. O Power BI remove conjuntos de dados para que possa carregar outros conjuntos de dados para atender a consultas de usuário.Power BI evicts datasets so it can load other datasets to address user queries. O gerenciamento de memória dinâmica permite que a soma dos tamanhos do conjunto de dados seja significativamente maior do que a memória disponível na capacidade, mas um único conjunto de dados deve caber na memória.Dynamic memory management allows the sum of dataset sizes to be significantly greater than the memory available on the capacity, but a single dataset must fit into memory. Para obter mais informações sobre o gerenciamento de memória dinâmica, confira Como as capacidades funcionam.For more info on dynamic memory management, see How capacities function.

Você deve considerar o impacto da remoção em modelos grandes.You should consider the impact of eviction on large models. Apesar dos tempos de carregamento de conjuntos de dados relativamente rápidos, ainda poderá haver um atraso perceptível para os usuários se eles precisarem aguardar o recarregamento de grandes conjuntos de dados removidos.Despite relatively fast dataset load times, there could still be a noticeable delay for users if they have to wait for large evicted datasets to be reloaded. Por esse motivo, em sua forma atual, o recurso de modelos grandes é recomendado principalmente para as capacidades dedicadas para os requisitos de BI empresarial, em vez daquelas capacidades combinadas com requisitos de BI de autoatendimento.For this reason, in its current form, the large models feature is recommended primarily for capacities dedicated to enterprise BI requirements rather than capacities mixed with self-service BI requirements. As capacidades dedicadas aos requisitos de BI empresarial têm menor probabilidade de dispararem com frequência a remoção e precisam recarregar os conjuntos de dados.Capacities dedicated to enterprise BI requirements are less likely to frequently trigger eviction and need to reload datasets. As capacidades de BI de autoatendimento, por outro lado, podem ter muitos conjuntos de dados pequenos que são carregados com mais frequência para dentro e para fora de memória.Capacities for self-service BI on the other hand can have many small datasets that are more frequently loaded in and out of memory.

Como verificar o tamanho do conjunto de dadosChecking dataset size

Depois de carregar dados históricos, você pode usar SSMS por meio do ponto de extremidade XMLA para verificar o tamanho estimado do conjunto de dados na janela de propriedades do modelo.After loading historical data, you can use SSMS through the XMLA endpoint to check the estimated dataset size in the model properties window.

Tamanho estimado do conjunto de dados

Você também pode verificar o tamanho do conjunto de dados executando as consultas DMV a seguir do SSMS.You can also check the dataset size by running the following DMV queries from SSMS. Some as colunas DICTIONARY_SIZE e USED_SIZE para a saída para ver o tamanho do conjunto de dados em bytes.Sum the DICTIONARY_SIZE and USED_SIZE columns from the output to see the dataset size in bytes.

SELECT * FROM SYSTEMRESTRICTSCHEMA
($System.DISCOVER_STORAGE_TABLE_COLUMNS,
 [DATABASE_NAME] = '<Dataset Name>') //Sum DICTIONARY_SIZE (bytes)

SELECT * FROM SYSTEMRESTRICTSCHEMA
($System.DISCOVER_STORAGE_TABLE_COLUMN_SEGMENTS,
 [DATABASE_NAME] = '<Dataset Name>') //Sum USED_SIZE (bytes)

Limitações e consideraçõesLimitations and considerations

Tenha em mente as seguintes restrições ao usar conjuntos de dados grandes:Keep in mind the following restrictions when using large datasets:

  • Novos workspaces são necessários: Conjuntos de dados grandes só funcionam com Novos workspaces.New workspaces are required: Large datasets only work with New workspaces.

  • Baixar para o Power BI Desktop: se um conjunto de dados for armazenado em Arquivos Premium, Baixar como um arquivo .pbix falhará.Download to Power BI Desktop: If a dataset is stored on Premium Files, downloading as a .pbix file will fail.

  • Regiões com suporte: Há suporte para conjuntos de dados grandes em todas as regiões do Azure compatíveis com o Armazenamento de Arquivos Premium.Supported regions: Large datasets are supported in all Azure regions that support Premium Files Storage. Confira mais informações em Produtos disponíveis por região e veja a tabela na seção a seguir.To learn more, see Products available by region, and consult the table in the following section.

  • Como definir o tamanho máximo do conjunto de dados: o tamanho máximo do conjunto de dados poderá ser definido pelos administradores.Setting maximum dataset size: Maximum dataset size can be set by administrators. O valor máximo poderá ser definido de 0,1 GB até a capacidade máxima do SKU.Maximum value can be set from 0.1 GB up to the maximum capacity of the SKU.

Disponibilidade de regiãoRegion availability

Os conjuntos de dados grandes no Power BI estão disponíveis somente em determinadas regiões do Azure que dão suporte ao Armazenamento de Arquivos Premium do Azure.Large datasets in Power BI are only available in certain Azure regions that support Azure Premium Files Storage.

A lista a seguir informa as regiões onde os conjuntos de dados grandes no Power BI estão disponíveis.The following list provides regions where large datasets in Power BI are available. As regiões que não estão na lista a seguir não têm suporte para modelos grandes:Regions not in the following list are not supported for large models:

Região do AzureAzure region Abreviação da região do AzureAzure region abbreviation
Leste da AustráliaAustralia East australiaeastaustraliaeast
Australia SoutheastAustralia Southeast australiasoutheastaustraliasoutheast
Leste do CanadáCanada East canadaeastcanadaeast
Canadá CentralCanada Central canadacentralcanadacentral
Índia CentralCentral India centralindiacentralindia
Centro dos EUACentral US centraluscentralus
Leste da ÁsiaEast Asia eastasiaeastasia
Leste dos EUAEast US eastuseastus
Leste dos EUA 2East US 2 eastus2eastus2
Japan EastJapan East japaneastjapaneast
Oeste do JapãoJapan West japanwestjapanwest
Coreia CentralKorea Central koreacentralkoreacentral
Sul da CoreiaKorea South koreasouthkoreasouth
Centro-Norte dos EUANorth Central US northcentralusnorthcentralus
Norte da EuropaNorth Europe northeuropenortheurope
Centro-Sul dos Estados UnidosSouth Central US southcentralussouthcentralus
Sudeste AsiáticoSoutheast Asia southeastasiasoutheastasia
Sul do Reino UnidoUK South uksouthuksouth
Oeste do Reino UnidoUK West ukwestukwest
Europa OcidentalWest Europe westeuropewesteurope
Oeste da ÍndiaWest India westindiawestindia
Oeste dos EUAWest US westuswestus
Oeste dos EUA 2West US 2 westus2westus2

Próximas etapasNext steps

Os links a seguir fornecem informações que podem ser úteis para trabalhar com modelos grandes:The following links provide information that can be useful for working with large models:

O Power BI introduziu o Power BI Premium Gen2 como uma oferta de versão prévia, o que aprimora a experiência do Power BI Premium com melhorias no seguinte:Power BI has introduced Power BI Premium Gen2 as a preview offering, which improves the Power BI Premium experience with improvements in the following:

  • DesempenhoPerformance
  • Licenças por usuárioPer-user licensing
  • Escala maiorGreater scale
  • Métricas aprimoradasImproved metrics
  • Dimensionamento automáticoAutoscaling
  • Redução da sobrecarga de gerenciamentoReduced management overhead

Para saber mais sobre o Power BI Premium Gen2, confira Power BI Premium Geração 2 (versão prévia).For more information about Power BI Premium Gen2, see Power BI Premium Generation 2 (preview).