다음을 통해 공유

New-AzureHDInsightMapReduceJobDefinition

  • 참조
모듈:
Azure

새 MapReduce 작업을 정의합니다.

참고

이 설명서에서 참조하는 cmdlet은 Service Management API를 사용하는 레거시 Azure 리소스를 관리하기 위한 것입니다. Azure Resource Manager 리소스를 관리하는 cmdlet은 Az PowerShell 모듈을 참조하세요.

Syntax

New-AzureHDInsightMapReduceJobDefinition
   [-Arguments <String[]>]
   -ClassName <String>
   [-Defines <Hashtable>]
   [-Files <String[]>]
   -JarFile <String>
   [-JobName <String>]
   [-LibJars <String[]>]
   [-StatusFolder <String>]
   [-Profile <AzureSMProfile>]
   [<CommonParameters>]

Description

이 버전의 Azure PowerShell HDInsight는 더 이상 사용되지 않습니다. 이러한 cmdlet은 2017년 1월 1일까지 제거됩니다. 최신 버전의 Azure PowerShell HDInsight를 사용하세요.

새 HDInsight를 사용하여 클러스터를 만드는 방법에 대한 자세한 내용은 Azure PowerShell(https://azure.microsoft.com/en-us/documentation/articles/hdinsight-hadoop-create-linux-clusters-azure-powershell/)을 사용하여 HDInsight에서 Linux 기반 클러스터 만들기를 참조하세요. Azure PowerShell 및 기타 방법을 사용하여 작업을 제출하는 방법에 대한 자세한 내용은 HDInsight에서 Hadoop 작업 제출(https://azure.microsoft.com/en-us/documentation/articles/hdinsight-submit-hadoop-jobs-programmatically/)을 참조하세요. Azure PowerShell HDInsight에 대한 참조 정보는 Azure HDInsight Cmdlet을 참조 하세요.

New-AzureHDInsightMapReduceJobDefinition cmdlet은 Azure HDInsight 클러스터에서 실행할 새 MapReduce 작업을 정의합니다.

예제

예제 1: MapReduce 작업 정의, 작업 실행 및 출력 가져오기

PS C:\>$SubId = (Get-AzureSubscription -Current).SubscriptionId
PS C:\> $ClusterName = "MyCluster"
PS C:\> $WordCountJob = New-AzureHDInsightMapReduceJobDefinition -JarFile "/Example/Apps/Hadoop-examples.jar" -ClassName "WordCount" -Defines @{ "mapred.map.tasks" = "3" } -Arguments "/Example/Data/Gutenberg/Davinci.txt", "/Example/Output/WordCount"
PS C:\> $WordCountJob | Start-AzureHDInsightJob -Cluster $ClusterName
    | Wait-AzureHDInsightJob -Subscription $SubId -WaitTimeoutInSeconds 3600
    | Get-AzureHDInsightJobOutput -Cluster $ClusterName -Subscription $SubId -StandardError

첫 번째 명령은 현재 구독의 ID를 가져오고 $SubId 변수에 저장합니다.

두 번째 명령은 이름 MyCluster를 $Clustername 변수에 할당합니다.

세 번째 명령은 New-AzureHDInsightMapReduceJobDefinition cmdlet을 사용하여 MapReduce 작업 정의를 만든 다음 $WordCountJob 변수에 저장합니다.

네 번째 명령은 다음 cmdlet을 사용하여 일련의 작업을 수행합니다.

  • 시작-AzureHDInsightJob 을 사용하여 $ClusterName 작업을 시작합니다.
  • Wait-AzureHDInsightJob 은 작업이 완료될 때까지 기다렸다가 완료 진행률을 표시합니다.
  • Get-AzureHDInsightJobOutput 을 사용하여 작업 출력을 가져옵니다.

매개 변수

-Arguments

Hadoop 작업에 대한 인수 배열을 지정합니다. 인수는 각 작업에 명령줄 인수로 전달됩니다.

Type:String[]
Aliases:Args
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-ClassName

JAR(Java Archive) 파일에서 작업 클래스의 이름을 지정합니다.

Type:String
Aliases:Class
Position:Named
Default value:None
Required:True
Accept pipeline input:False
Accept wildcard characters:False

-Defines

작업이 실행되면 설정할 Hadoop 구성 값을 지정합니다.

Type:Hashtable
Aliases:Params
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-Files

작업에 필요한 WASB 파일의 배열을 지정합니다.

Type:String[]
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-JarFile

MapReduce 작업의 코드 및 종속성을 포함하는 JAR 파일의 정규화된 이름을 지정합니다.

Type:String
Aliases:Jar
Position:Named
Default value:None
Required:True
Accept pipeline input:False
Accept wildcard characters:False

-JobName

MapReduce 작업의 이름을 지정합니다. 이 매개 변수는 선택 사항입니다. 이 매개 변수를 지정하지 않으면 ClassName 매개 변수의 값이 사용됩니다.

Type:String
Aliases:Name
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-LibJars

작업의 LibJar 참조 배열을 지정합니다.

Type:String[]
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-Profile

이 cmdlet이 읽는 Azure 프로필을 지정합니다. 프로필을 지정하지 않으면 이 cmdlet은 로컬 기본 프로필에서 읽습니다.

Type:AzureSMProfile
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-StatusFolder

종료 코드 및 작업 로그를 포함하여 작업에 대한 표준 출력 및 오류 출력이 포함된 폴더의 위치를 지정합니다.

Type:String
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False