New-AzHDInsightStreamingMapReduceJobDefinition

  • Referentie
Module:
Az.HDInsight

Hiermee maakt u een Streaming MapReduce-taakobject.

Syntax

New-AzHDInsightStreamingMapReduceJobDefinition
   [-Arguments <String[]>]
   [-File <String>]
   [-Files <String[]>]
   [-StatusFolder <String>]
   [-CommandEnvironment <Hashtable>]
   [-Defines <Hashtable>]
   -InputPath <String>
   [-Mapper <String>]
   [-OutputPath <String>]
   [-Reducer <String>]
   [-DefaultProfile <IAzureContextContainer>]
   [<CommonParameters>]

Description

De cmdlet New-AzHDInsightStreamingMapReduceJobDefinition definieert een Streaming MapReduce-taakobject voor gebruik met een Azure HDInsight-cluster.

Voorbeelden

Voorbeeld 1: Een Streaming MapReduce-taakdefinitie maken

# Cluster info
$clusterName = "your-hadoop-001"
$clusterCreds = Get-Credential

# Streaming MapReduce job details
$statusFolder = "tempStatusFolder/"
$query = "SHOW TABLES"

New-AzHDInsightStreamingMapReduceJobDefinition -StatusFolder $statusFolder -File $query `
        | Start-AzHDInsightJob `
            -ClusterName $clusterName `
            -ClusterCredential $clusterCreds

Met deze opdracht maakt u een Streaming MapReduce-taakdefinitie.

Parameters

-Arguments

Hiermee geeft u een matrix van argumenten voor de taak. De argumenten worden doorgegeven als opdrachtregelargumenten aan elke taak.

Type:String[]
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-CommandEnvironment

Hiermee geeft u een matrix van opdrachtregelomgevingsvariabelen die moeten worden ingesteld wanneer een taak wordt uitgevoerd op werkknooppunten.

Type:Hashtable
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-DefaultProfile

De referenties, het account, de tenant en het abonnement dat wordt gebruikt voor communicatie met Azure

Type:IAzureContextContainer
Aliases:AzContext, AzureRmContext, AzureCredential
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-Defines

Hiermee geeft u Hadoop-configuratiewaarden op die moeten worden ingesteld voor wanneer de taak wordt uitgevoerd.

Type:Hashtable
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-File

Hiermee geeft u het pad naar een bestand dat een query bevat die moet worden uitgevoerd. U kunt deze parameter gebruiken in plaats van de queryparameter .

Type:String
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-Files

Hiermee geeft u een verzameling bestanden op die zijn gekoppeld aan een Hive-taak.

Type:String[]
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-InputPath

Hiermee geeft u het pad naar de invoerbestanden.

Type:String
Position:Named
Default value:None
Required:True
Accept pipeline input:False
Accept wildcard characters:False

-Mapper

Hiermee geeft u een Mapper-bestandsnaam.

Type:String
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-OutputPath

Hiermee geeft u het pad voor de taakuitvoer.

Type:String
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-Reducer

Hiermee geeft u een Reducer-bestandsnaam.

Type:String
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-StatusFolder

Hiermee geeft u de locatie op van de map die standaarduitvoer en foutuitvoer voor een taak bevat.

Type:String
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

Invoerwaarden

None

Uitvoerwaarden

AzureHDInsightStreamingMapReduceJobDefinition