Share via

New-AzureHDInsightSqoopJobDefinition

  • 참조
모듈:
Azure

새 Sqoop 작업을 정의합니다.

참고

이 설명서에서 참조하는 cmdlet은 Service Management API를 사용하는 레거시 Azure 리소스를 관리하기 위한 것입니다. Azure Resource Manager 리소스를 관리하는 cmdlet은 Az PowerShell 모듈을 참조하세요.

Syntax

New-AzureHDInsightSqoopJobDefinition
   [-Command <String>]
   [-File <String>]
   [-Files <String[]>]
   [-StatusFolder <String>]
   [-Profile <AzureSMProfile>]
   [<CommonParameters>]

Description

이 버전의 Azure PowerShell HDInsight는 더 이상 사용되지 않습니다. 이러한 cmdlet은 2017년 1월 1일까지 제거됩니다. 최신 버전의 Azure PowerShell HDInsight를 사용하세요.

새 HDInsight를 사용하여 클러스터를 만드는 방법에 대한 자세한 내용은 Azure PowerShell(https://azure.microsoft.com/en-us/documentation/articles/hdinsight-hadoop-create-linux-clusters-azure-powershell/)을 사용하여 HDInsight에서 Linux 기반 클러스터 만들기를 참조하세요. Azure PowerShell 및 기타 방법을 사용하여 작업을 제출하는 방법에 대한 자세한 내용은 HDInsight에서 Hadoop 작업 제출(https://azure.microsoft.com/en-us/documentation/articles/hdinsight-submit-hadoop-jobs-programmatically/)을 참조하세요. Azure PowerShell HDInsight에 대한 참조 정보는 Azure HDInsight Cmdlet을 참조 하세요.

New-AzureHDInsightSqoopJobDefinition cmdlet은 Azure HDInsight 클러스터에서 실행할 Sqoop 작업을 만듭니다.

Sqoop은 Hadoop 클러스터와 관계형 데이터베이스 간에 데이터를 전송하는 도구입니다. Sqoop을 사용하여 SQL Server 데이터베이스에서 HDFS(Hadoop 분산 파일 시스템)로 데이터를 가져오고, Hadoop MapReduce를 사용하여 데이터를 변환한 다음, HDFS에서 SQL Server 데이터베이스로 데이터를 다시 내보낼 수 있습니다.

예제

예제 1: 데이터 가져오기

PS C:\>$SqoopJobDef = New-AzureHDInsightSqoopJobDefinition -Command "import --connect jdbc:sqlserver://<SQLDatabaseServerName>.database.windows.net:1433;username=<SQLDatabasUsername>@<SQLDatabaseServerName>; password=<SQLDatabasePassword>; database=<SQLDatabaseDatabaseName> --table <TableName> --target-dir wasb://<ContainerName>@<WindowsAzureStorageAccountName>.blob.core.windows.net/<Path>"

이 명령은 AzureSQL Server 데이터베이스에서 HDInsight 클러스터로 테이블의 모든 행을 가져온 다음 작업 정의를 $SqoopJobDef 변수에 저장하는 Sqoop 작업을 정의합니다.

매개 변수

-Command

Sqoop 명령 및 해당 인수를 지정합니다.

Type:String
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-File

실행할 명령이 포함된 스크립트 파일의 경로를 지정합니다. 스크립트 파일은 WASB에 있어야 합니다.

Type:String
Aliases:QueryFile
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-Files

작업에 필요한 WASB 파일의 컬렉션을 지정합니다.

Type:String[]
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-Profile

이 cmdlet이 읽는 Azure 프로필을 지정합니다. 프로필을 지정하지 않으면 이 cmdlet은 로컬 기본 프로필에서 읽습니다.

Type:AzureSMProfile
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-StatusFolder

종료 코드 및 작업 로그를 포함하여 작업에 대한 표준 출력 및 오류 출력이 포함된 폴더의 위치를 지정합니다.

Type:String
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False