Composants de Parallel Data Warehouse - Analytics Platform System

Cet article explique les logiciels de l’appliance et les composants logiciels non-appliances du système de plateforme Analytics.

Logiciel d’appliance - Traitement des requêtes et Stockage données utilisateur

Nœud de contrôle

Moteur MPP
Le moteur MPP est le cerveau du système de traitement massivement parallèle (MPP). Elle effectue les opérations suivantes :

• Crée des plans de requête parallèles et coordonne l’exécution des requêtes parallèles sur les nœuds de calcul.

• Stocke et coordonne les métadonnées et les données de configuration pour toutes les bases de données.

• Gère l’authentification et l’autorisation de base de données PDW SQL Server.

• Effectue le suivi de l’état matériel et logiciel.

Service de déplacement des données (DMS)

Data Movement Service (DMS) fait partie de la « sauce secrète » de PDW. Elle effectue les opérations suivantes :

• Transfère des données vers et depuis les nœuds PDW SQL Server.

• Traite les opérations de requête qui nécessitent le transfert de données entre les nœuds.

• Améliore les performances des requêtes en optimisant les vitesses de transfert de données.

Console Administration

La console Administration est une application web qui présente l’état, l’intégrité et les informations de performances de l’appliance.

Gestionnaire de configuration

Configuration Manager (dwconfig.exe), est l’outil que les administrateurs de l’appliance utilisent pour configurer le système de plateforme Analytics.

Contrôler les bases de données de nœud

SQL Server gère toutes les bases de données sur le nœud Contrôle.

• La base de données Shell gère les métadonnées de toutes les bases de données utilisateur distribuées.

• TempDB contient les métadonnées de toutes les tables temporaires utilisateur sur l’appliance.

• Master est la table maître pour SQL Server sur le nœud Contrôle.

Nœud de calcul

Les nœuds de calcul sont des unités de traitement et de stockage parallèles des données. Ils disposent d’un stockage attaché direct et utilisent SQL Server pour gérer les données utilisateur.

Service de déplacement des données (DMS)

Le service de déplacement des données (DMS) s’exécute sur chaque nœud de calcul pour effectuer les opérations suivantes :

• Dans le cadre du traitement des requêtes parallèles, DMS transfère des données vers et à partir d’autres nœuds ordinateurs et du nœud Contrôle.

• DMS, en cours d’exécution sur chaque nœud de calcul, reçoit des chargements de données en parallèle. Les données sont chargées en parallèle directement à partir du serveur de chargement vers les nœuds de calcul

• DMS transfère les données de chaque nœud de calcul directement vers le serveur de sauvegarde.

• À l’aide de PolyBase, DMS transfère des données vers et depuis un cluster Hadoop externe ou Stockage Azure Blob.

Bases de données de nœud de calcul

Chaque nœud de calcul exécute une instance de SQL Server pour traiter les requêtes et gérer les données utilisateur.

Appliance Fabric

L’infrastructure de l’appliance fournit le système d’exploitation, les services et l’infrastructure réseau de l’appliance.

Contrôleur de domaine

Services de domaine Active Directory (AD) (DS)
Analytics Platform System effectue l’authentification entre les nœuds du système de plateforme Analytics et gère l’authentification des connexions d’authentification Windows SQL Server PDW.

Service DNS
Le service DNS (Domain Name Service) Windows résout les noms de domaine en adresses IP pour l’appliance système de plateforme Analytics.

Services de déploiement Windows

Le service de déploiement Windows (WDS) déploie le système d’exploitation Windows Server sur l’appliance. Il est déployé sur chaque ordinateur hôte et machine virtuelle sur l’appliance.

Le service DHCP crée des adresses IP afin que les hôtes du domaine de l’appliance puissent rejoindre le réseau de l’appliance sans avoir d’adresse IP préconfigurée.

Virtual Machine Manager

Analytics Platform System utilise la virtualisation pour obtenir une haute disponibilité. Virtual Machine Manager héberge System Center pour déployer le système d’exploitation sur les hôtes physiques.

Windows Server Update Services (WSUS) pour appliquer ou supprimer des Mises à jour Windows sur tous les ordinateurs hôtes et machines virtuelles.

Windows Server

Tous les ordinateurs hôtes et machines virtuelles de l’appliance exécutent le système d’exploitation Windows Server.

Clustering de basculement

Le clustering de basculement Windows permet de redémarrer les processus sur un hôte passif en cas d’échec d’un hôte.

Espaces de stockage

Windows espaces de stockage gère les données utilisateur en tant que pool de stockage pour un petit groupe de nœuds de calcul. Si un nœud de calcul échoue, les données sont toujours accessibles via un autre nœud de calcul du groupe.

Hyper-V

Microsoft Hyper-V Server fournit une solution de virtualisation simple et fiable. Analytics Platform System utilise des virtualisations pour équilibrer les ressources du processeur et fournir une haute disponibilité pour les nœuds PDW et les composants de l’infrastructure de l’appliance.

Données non relationnelles

La technologie PolyBase intègre des données PDW SQL Server avec des données Hadoop externes. Les données Hadoop peuvent être stockées sur l’une de ces sources de données Hadoop :

• Hortonworks Hadoop Distribution

• Distribution Cloudera de Hadoop

• Données HDInsight stockées sur Stockage Azure Blob

Outils de requête

Les requêtes sont écrites avec Transact-SQL modifiée pour s’adapter à la nature MPP des requêtes. Toutes les requêtes sont envoyées au nœud Contrôle, qui génère un plan de requête parallèle pour exécuter la requête sur les nœuds de calcul.

Outils SQL Server Data Tools (SSDT)

SQL Server Data Tools s’exécute à l’intérieur de Visual Studio et est notre outil d’interface graphique graphique recommandé pour envoyer des requêtes à SQL Server PDW. Il est similaire à SQL Server Management Studio en vous permettant de parcourir un explorateur d’objets.

Si vous n’avez pas encore Visual Studio, vous pouvez télécharger gratuitement les outils dont vous avez besoin.

outil de requête en ligne de commande sqlcmd

sqlcmd est l’outil en ligne de commande SQL Server pour exécuter des instructions Transact-SQL et des commandes système. Il fonctionne avec SQL Server PDW et est notre outil en ligne de commande recommandé pour interroger SQL Server PDW. Avec sqlcmd, vous pouvez exécuter des instructions Transact-SQL de manière interactive à partir de la ligne de commande, en tant que fichier de commandes ou à partir de Windows PowerShell.

Integration Services

Vous pouvez utiliser Integration Services pour interroger SQL Server PDW.

Serveur lié

À l’aide d’une connexion de serveur lié SQL Server, vous pouvez utiliser SQL Server pour envoyer des instructions Transact-SQL à SQL Server PDW.

Outils décisionnels

Analysis Services

SQL Server PDW est une source de données valide pour les bases de données Analysis Services et les modèles Excel PowerPivot. À l’aide du fournisseur OLE DB, vous pouvez configurer un cube Analysis Services pour utiliser le stockage DE TRAITEMENT analytique en ligne multidimensionnel (MOLAP) ou de traitement analytique en ligne relationnel (ROLAP).

Générateur de rapports

Vous pouvez utiliser SQL Server PDW comme source de données SQL Server pour les rapports que vous développez pour Reporting Services à l’aide de SQL Server Générateur de rapports. Vous pouvez également utiliser SQL Server PDW comme source SQL Server pour les modèles de rapport. À l’aide du Gestionnaire de rapports ou de l’API du serveur de rapports, vous pouvez générer un modèle à partir d’une base de données SQL Server PDW.

Power Pivot pour Excel

Vous pouvez vous connecter à SQL Server PDW avec PowerPivot pour Excel, un téléchargement gratuit qui étend considérablement les fonctionnalités d’analyse des données d’Excel.

Chargement des outils

Integration Services

Installez des adaptateurs de destination spécifiques à PDW (Analytics Platform System) qui vous permettent d’utiliser SQL Server Integration Services pour charger des données dans le système de plateforme Analytics (PDW).

chargeur de ligne de commande dwloader

dwloader est un outil de chargement en ligne de commande qui charge les données en parallèle de votre serveur de chargement vers les nœuds de calcul PDW SQL Server.

Intégration de PolyBase pour Hadoop

Avec la technologie PolyBase, vous pouvez charger des données non relationnelles à partir d’un cluster Hadoop dans une table relationnelle dans SQL Server PDW. Les données Hadoop peuvent se trouver dans un cluster Hadoop externe ou dans Stockage Blob Azure.

Sauvegarde et restauration de base de données

SQL Server PDW utilise des commandes de sauvegarde et de restauration de base de données Transact-SQL pour sauvegarder et restaurer des bases de données utilisateur, en parallèle, vers et depuis un serveur de sauvegarde. SQL Server PDW écrit la sauvegarde dans un répertoire dans un partage de fichiers Windows, puis restaure également les données à partir d’un partage de fichiers Windows.

Pour plus d’informations, consultez Plan for Backup and Loading Hardware and Backup and Restore Overview

Copie de table distante

La fonctionnalité Copie de table distante vous permet de copier des tables de bases de données PDW SQL Server vers des bases de données SMP SQL Server distantes (non-appliances). Cela active les scénarios hub-and-spoke pour SQL Server PDW.

Surveillance

Analytics Platform System a plusieurs façons de surveiller l’activité de l’appliance

Console Administration

La console Administration vous permet d’afficher l’état actuel de l’intégrité de l’appliance. Cela s’exécute en tant qu’application web sur le nœud Contrôle et est accessible via https.

Pour plus d’informations, consultez Surveiller l’appliance à l’aide de la console Administration (système de plateforme Analytique)

Vues du système

La console Administration est basée sur les requêtes d’affichage système. Vous pouvez interroger individuellement les vues système pour obtenir les informations spécifiques dont vous avez besoin.

Pour plus d’informations, consultez Surveiller l’appliance à l’aide des vues système (système de plateforme Analytics)

System Center Operations Manager

Il existe des packs d’administration System Center Operations Manager (SCOM) pour SQL Server PDW.

Pour configurer l’appliance pour SCOM, consultez Surveiller l’appliance à l’aide de System Center Operations Manager (Analytics Platform System)