New-AzureHDInsightStreamingMapReduceJobDefinition
Définit une nouvelle tâche MapReduce de streaming.
Notes
Les cmdlets mentionnées dans cette documentation servent à gérer les ressources Azure héritées qui utilisent les API Gestion des services. Pour ce qui est des cmdlets permettant de gérer des ressources Azure Resource Manager, consultez le Module Az PowerShell.
Syntax
New-AzureHDInsightStreamingMapReduceJobDefinition
[-Arguments <String[]>]
[-CmdEnv <String[]>]
[-Combiner <String>]
[-Defines <Hashtable>]
[-Files <String[]>]
[-InputPath <String>]
[-JobName <String>]
[-Mapper <String>]
[-OutputPath <String>]
[-Reducer <String>]
[-StatusFolder <String>]
[-Profile <AzureSMProfile>]
[<CommonParameters>] Description
Cette version d’Azure PowerShell HDInsight est déconseillée. Ces applets de commande seront supprimées le 1er janvier 2017. Utilisez la version plus récente d’Azure PowerShell HDInsight.
Pour plus d’informations sur l’utilisation du nouveau HDInsight pour créer un cluster, consultez Créer des clusters Linux dans HDInsight à l’aide d’Azure PowerShell (https://azure.microsoft.com/en-us/documentation/articles/hdinsight-hadoop-create-linux-clusters-azure-powershell/). Pour plus d’informations sur l’envoi de travaux à l’aide d’Azure PowerShell et d’autres approches, consultez Envoyer des tâches Hadoop dans HDInsight (https://azure.microsoft.com/en-us/documentation/articles/hdinsight-submit-hadoop-jobs-programmatically/). Pour obtenir des informations de référence sur Azure PowerShell HDInsight, consultez les applets de commande Azure HDInsight.
L’applet de commande New-AzureHDInsightStreamingMapReduceJobDefinition définit un nouvel objet de définition de travail qui représente les paramètres d’un travail de streaming Hadoop.
Exemples
Exemple 1 : Créer une définition de travail MapReduce en streaming
PS C:\>$StreamingWordCount = New-AzureHDInsightStreamingMapReduceJobDefinition -Files "/Example/Apps/WordCount.exe", "/Example/Apps/Cat.exe" -InputPath "/Example/Data/Gutenberg/Davinci.txt" -OutputPath "/Example/Data/StreamingOutput/WordCount.txt" -Mapper "Cat.exe" -Reducer "WordCount.exe"Cette commande crée la définition de travail MapReduce de streaming spécifiée, puis la stocke dans la variable $StreamingWordCount.
Paramètres
-Arguments
Spécifie un tableau d’arguments pour un travail Hadoop. Les arguments sont passés sous la forme d’arguments de ligne de commande à chaque tâche.
| Type: | String[] |
| Aliases: | Args |
| Position: | Named |
| Default value: | None |
| Required: | False |
| Accept pipeline input: | False |
| Accept wildcard characters: | False |
-CmdEnv
Spécifie un tableau de variables d’environnement de ligne de commande à définir lorsqu’un travail s’exécute sur des nœuds de données.
| Type: | String[] |
| Position: | Named |
| Default value: | None |
| Required: | False |
| Accept pipeline input: | False |
| Accept wildcard characters: | False |
-Combiner
Spécifie un nom de fichier Combineur.
| Type: | String |
| Position: | Named |
| Default value: | None |
| Required: | False |
| Accept pipeline input: | False |
| Accept wildcard characters: | False |
-Defines
Spécifie les valeurs de configuration Hadoop à définir lors de l’exécution du travail.
| Type: | Hashtable |
| Aliases: | Params |
| Position: | Named |
| Default value: | None |
| Required: | False |
| Accept pipeline input: | False |
| Accept wildcard characters: | False |
-Files
Spécifie un tableau de fichiers requis pour un travail.
| Type: | String[] |
| Position: | Named |
| Default value: | None |
| Required: | False |
| Accept pipeline input: | False |
| Accept wildcard characters: | False |
-InputPath
Spécifie le chemin d’accès WASB aux fichiers d’entrée.
| Type: | String |
| Aliases: | Input |
| Position: | Named |
| Default value: | None |
| Required: | False |
| Accept pipeline input: | False |
| Accept wildcard characters: | False |
-JobName
Spécifie le nom de la nouvelle définition de travail MapReduce. Ce paramètre est facultatif.
| Type: | String |
| Aliases: | Name |
| Position: | Named |
| Default value: | None |
| Required: | False |
| Accept pipeline input: | False |
| Accept wildcard characters: | False |
-Mapper
Spécifie un nom de fichier Mapper.
| Type: | String |
| Position: | Named |
| Default value: | None |
| Required: | False |
| Accept pipeline input: | False |
| Accept wildcard characters: | False |
-OutputPath
Spécifie le chemin WASB de la sortie du travail.
| Type: | String |
| Aliases: | Output |
| Position: | Named |
| Default value: | None |
| Required: | False |
| Accept pipeline input: | False |
| Accept wildcard characters: | False |
-Profile
Spécifie le profil Azure à partir duquel cette applet de commande lit. Si vous ne spécifiez pas de profil, cette applet de commande lit le profil par défaut local.
| Type: | AzureSMProfile |
| Position: | Named |
| Default value: | None |
| Required: | False |
| Accept pipeline input: | False |
| Accept wildcard characters: | False |
-Reducer
Spécifie un nom de fichier Reducer.
| Type: | String |
| Position: | Named |
| Default value: | None |
| Required: | False |
| Accept pipeline input: | False |
| Accept wildcard characters: | False |
-StatusFolder
Spécifie le dossier qui contient les sorties standard et les sorties d’erreur pour le travail, y compris son code de sortie et ses journaux de tâches.
| Type: | String |
| Position: | Named |
| Default value: | None |
| Required: | False |
| Accept pipeline input: | False |
| Accept wildcard characters: | False |