Grands jeux de données dans Power BI Premium

Les jeux de données Power BI peuvent stocker des données dans un cache en mémoire fortement compressé pour des performances optimisées des requêtes, ce qui permet une interactivité rapide des utilisateurs. Avec les capacités Premium, les grands jeux de données au-delà de la limite par défaut peuvent être activés avec le paramètre Format de stockage des grands jeux de données. Quand ce paramètre est activé, la taille du jeu de données est limitée par la taille de capacité Premium ou la taille maximale définie par l’administrateur.

Les grands jeux de données peuvent être activés pour toutes les références SKU Premium P et A Embedded et avec le modèle PPU (Premium par utilisateur). La limite de taille des grands jeux de données dans Premium est comparable à celle d’Azure Analysis Services, en termes de limitations de taille des modèles de données.

L’activation du paramètre Format de stockage de jeu de données volumineux est nécessaire pour permettre aux jeux de données de dépasser 10 Go, mais elle offre également d’autres avantages. Si vous prévoyez d’utiliser des outils basés sur un point de terminaison XMLA pour les opérations d’écriture des jeux de données, veillez à activer ce paramètre, même pour les jeux de données que vous ne classeriez pas nécessairement en tant que grands jeux de données. Quand ce paramètre est activé, le format de stockage des grands jeux de données peut améliorer les performances des opérations d’écriture de XMLA.

Les jeux de données volumineux dans le service n’affectent pas la taille de chargement du modèle Power BI Desktop, qui est toujours limitée à 10 Go. Au lieu de cela, les jeux de données peuvent dépassent cette limite dans le service lors de l’actualisation.

Important

Power BI Premium prend en charge les jeux de données volumineux. Activez l’option Format de stockage des grands jeux de données pour utiliser dans Power BI Premium des jeux de données plus volumineux que la limite par défaut.

Activer les grands jeux de données

Les étapes ci-dessous décrivent l’activation des grands jeux de données pour un nouveau modèle publié sur le service. Pour les jeux de données existants, seule l’étape 3 est nécessaire.

  1. Créez un modèle de données dans Power BI Desktop. Si votre jeu de données va devenir plus grand et consommer progressivement plus de mémoire, veillez à configurer Actualisation incrémentielle.

  2. Publiez le modèle en tant que jeu de données sur le service.

  3. Dans le jeu de données de > service >Paramètres, développez le format de stockage de jeux de données volumineux, définissez le curseur sur Activé, puis sélectionnez Appliquer.

    Enable large dataset slider

  4. Appelez une actualisation pour charger les données d’historique en fonction de la stratégie d’actualisation incrémentielle. La première actualisation peut prendre un certain temps pour charger l’historique. Les actualisations suivantes doivent être plus rapides, selon votre stratégie d’actualisation incrémentielle.

Définir le format de stockage par défaut

Tous les nouveaux jeux de données créés dans un espace de travail affecté à la capacité Premium peuvent avoir le format de stockage des grands jeux de données activé par défaut.

  1. Dans l’espace de travail, sélectionnez Paramètres>Premium.

  2. Dans le format de stockage par défaut, sélectionnez Grand format de stockage du jeu de données, puis sélectionnez Enregistrer.

    Enable default storage format

Activer avec PowerShell

Vous pouvez aussi activer le format de stockage des grands jeux de données en utilisant PowerShell. Vous devez disposer de privilèges d’administrateur de capacité et d’administrateur d’espace de travail pour exécuter les applets de commande PowerShell.

  1. Recherchez l’ID de jeu de données (GUID). Sous l’onglet Jeux de données de l’espace de travail, sous les paramètres du jeu de données, vous pouvez voir l’ID dans l’URL.

    Dataset GUID

  2. À partir d’une invite d’administrateur PowerShell, installez le module MicrosoftPowerBIMgmt.

    Install-Module -Name MicrosoftPowerBIMgmt
    
  3. Exécutez les applets de commande suivantes pour vous connecter et vérifier le mode de stockage du jeu de données.

    Login-PowerBIServiceAccount
    
    (Get-PowerBIDataset -Scope Organization -Id <Dataset ID> -Include actualStorage).ActualStorage
    

    La réponse doit être la suivante. Le mode de stockage est ABF (fichier de sauvegarde Analysis Services), qui est la valeur par défaut.

    Id                   StorageMode
    
    --                   -----------
    
    <Dataset ID>         Abf
    
  4. Exécutez les applets de commande suivantes pour définir le mode de stockage. La conversion en fichiers Premium peut prendre quelques secondes.

    Set-PowerBIDataset -Id <Dataset ID> -TargetStorageMode PremiumFiles
    
    (Get-PowerBIDataset -Scope Organization -Id <Dataset ID> -Include actualStorage).ActualStorage
    

    La réponse doit être la suivante. Le mode de stockage est maintenant défini sur les fichiers Premium.

    Id                   StorageMode
    
    --                   -----------
    
    <Dataset ID>         PremiumFiles
    

Vous pouvez vérifier l’état des conversions de jeu de données vers et depuis les fichiers Premium à l’aide de l’applet de commande Get-PowerBIWorkspaceMigrationStatus.

Éviction de jeux de données

L’éviction du jeu de données est une fonctionnalité Premium qui permet d’augmenter considérablement la somme des tailles de jeu de données que la mémoire disponible pour la taille de référence SKU achetée de la capacité. Un jeu de données unique est toujours limité aux limites de mémoire de la référence SKU. Power BI utilise la gestion de mémoire dynamique pour supprimer les jeux de données inactifs de la mémoire. Les jeux de données sont supprimés afin que Power BI puissent charger d’autres jeux de données pour répondre aux requêtes utilisateur. Pour plus d’informations sur la gestion de mémoire dynamique, consultez Fonctionnement des capacités.

Notes

Si vous devez attendre qu’un jeu de données supprimé soit rechargé, vous pouvez rencontrer un délai notable.

Chargement à la demande

La charge à la demande est activée par défaut pour les jeux de données volumineux et peut fournir un temps de chargement considérablement amélioré des jeux de données supprimés. Avec la charge à la demande, vous bénéficiez des avantages suivants lors des requêtes et actualisations suivantes :

  • Les pages de données pertinentes sont chargées à la demande (paginées en mémoire).

  • Les jeux de données supprimés sont rapidement mis à disposition pour les requêtes.

Le chargement à la demande affiche des informations supplémentaires de vue de gestion dynamique (DMV) qui peuvent être utilisées pour identifier les modèles d’utilisation et comprendre l’état de vos modèles. Par exemple, vous pouvez vérifier les statistiques température et dernier accès pour chaque colonne du jeu de données, en exécutant la requête DMV suivante à partir de SQL Server Management Studio (SSMS) :

Select * from SYSTEMRESTRICTSCHEMA ($System.DISCOVER_STORAGE_TABLE_COLUMN_SEGMENTS, [DATABASE_NAME] = '<Dataset Name>')

Vérification de la taille du jeu de données

Après avoir chargé les données d’historique, vous pouvez utiliser SSMS par le biais du point de terminaison XMLA pour vérifier la taille estimée du jeu de données dans la fenêtre des propriétés du modèle.

Estimated dataset size

Vous pouvez également vérifier la taille du jeu de données en exécutant les requêtes DMV suivantes à partir de SSMS. Additionnez les colonnes DICTIONARY_SIZE et USED_SIZE à partir de la sortie pour afficher la taille du jeu de données en octets.

SELECT * FROM SYSTEMRESTRICTSCHEMA
($System.DISCOVER_STORAGE_TABLE_COLUMNS,
 [DATABASE_NAME] = '<Dataset Name>') //Sum DICTIONARY_SIZE (bytes)

SELECT * FROM SYSTEMRESTRICTSCHEMA
($System.DISCOVER_STORAGE_TABLE_COLUMN_SEGMENTS,
 [DATABASE_NAME] = '<Dataset Name>') //Sum USED_SIZE (bytes)

Taille de segment par défaut

Pour les jeux de données utilisant le format de stockage de grands jeux de données, Power BI définit automatiquement la taille de segment par défaut sur 8 millions lignes pour trouver un bon équilibre entre les besoins en mémoire et les performances des requêtes pour les grandes tables. C’est la même taille de segment que dans Azure Analysis Services. L’alignement des tailles de segments permet de garantir des caractéristiques de performances comparables lors de la migration d’un grand modèle de données depuis Azure Analysis Services vers Power BI.

Observations et limitations

Gardez à l’esprit les restrictions suivantes lors de l’utilisation de grands jeux de données :

  • Les nouveaux espaces de travail sont obligatoires : Les grands jeux de données fonctionnent seulement avec les nouveaux espaces de travail.

  • Télécharger sur Power BI Desktop : si un jeu de données est stocké dans des fichiers Premium, le téléchargement en tant que fichier. pbix échoue.

  • Régions prises en charge : des jeux de données volumineux sont disponibles dans les régions Azure qui prennent en charge Azure Premium Files Stockage. Passez en revue le tableau dans la disponibilité des régions pour afficher la liste de toutes les régions prises en charge.

  • Définition de la taille maximale du jeu de données : la taille maximale du jeu de données peut être définie par les administrateurs. Pour plus d’informations, consultez Mémoire maximale dans les jeux de données.

  • Actualisation de jeux de données volumineux : les jeux de données qui sont proches de la moitié de la taille de la capacité (par exemple, un jeu de données de 12 Go sur une taille de capacité de 25 Go) peuvent dépasser la mémoire disponible pendant les actualisations. À l’aide de l’API REST d’actualisation améliorée ou du point de terminaison XMLA, vous pouvez effectuer des actualisations de données affinées afin que la mémoire nécessaire à l’actualisation puisse être réduite pour s’adapter à la taille de votre capacité.

  • Jeux de données Push : les jeux de données Push ne prennent pas en charge le format de stockage de jeux de données volumineux.

  • Pro n’est pas pris en charge : les jeux de données volumineux ne sont pas pris en charge dans Pro espaces de travail. Si un espace de travail est migré de Premium vers Pro, tous les jeux de données avec le paramètre de format de stockage de jeu de données volumineux ne seront pas chargés.

  • Vous ne pouvez pas utiliser les API REST pour modifier les paramètres d’un espace de travail afin d’autoriser les nouveaux jeux de données à utiliser le format de stockage de jeux de données volumineux par défaut.

Disponibilité des régions

Les jeux de données volumineux dans Power BI sont disponibles uniquement dans les régions Azure qui prennent en charge Azure Premium Files Stockage.

La liste suivante contient les régions où les grands jeux de données dans Power BI sont disponibles. Les régions qui ne figurent pas dans la liste suivante ne sont pas prises en charge pour les modèles volumineux.

Notes

Une fois qu’un jeu de données volumineux est créé dans un espace de travail, il doit rester dans cette région. Vous ne pouvez pas réaffecter un espace de travail avec un jeu de données volumineux à une capacité Premium dans une autre région.

Région Azure Abréviation des régions Azure
Australie Est australiaeast
Australie Sud-Est australiasoutheast
Est du Canada canadaeast
Centre du Canada canadacentral
Inde Centre centralindia
USA Centre centralus
Asie Est eastasia
USA Est eastus
USA Est 2 eastus2
France Centre francecentral
France Sud francesouth
Japon Est japaneast
OuJapon Est japanwest
Centre de la Corée KoreaCentral
Corée du Sud KoreaSouth
Centre-Nord des États-Unis northcentralus
Europe Nord northeurope
États-Unis - partie centrale méridionale southcentralus
Asie Sud-Est southeastasia
Suisse Nord switzerlandnorth
Suisse Ouest suissewest
Sud du Royaume-Uni uksouth
Ouest du Royaume-Uni ukwest
Europe Ouest westeurope
Inde Ouest westindia
USA Ouest westus
USA Ouest 2 westus2

Étapes suivantes

Les liens suivants fournissent des informations qui peuvent être utiles pour travailler avec des modèles volumineux :