Azure Data Lake Analytics 태스크

  • 아티클

적용 대상: Azure Data Factory의 SQL Server SSIS Integration Runtime

Data Lake Analytics 작업을 사용하여 Azure Data Lake Analytics 서비스에 U-SQL 작업을 제출할 수 있습니다. 이 작업은 Azure용 SSIS(SQL Server Integration Services) 기능 팩의 구성 요소입니다.

일반적인 배경은 Azure Data Lake Analytics를 참조 하세요.

Important

Azure Data Lake Analytics는 2024년 2월 29일에 사용 중지됩니다. 이 공지 사항을 통해 자세히 알아보세요.

작업 구성

패키지에 Data Lake Analytics 작업을 추가하려면 SSIS 도구 상자에서 디자이너 캔버스로 작업을 끌어옵니다. 그런 후 태스크를 두 번 클릭하거나 태스크를 마우스 오른쪽 단추로 클릭하고 편집을 선택합니다. Azure Data Lake Analytics 태스크 편집기 대화 상자가 열립니다. SSIS 디자이너를 통해 또는 프로그래밍 방식으로 속성을 설정할 수 있습니다.

일반 페이지 구성

일반 페이지를 사용하여 작업을 구성하고 태스크가 제출하는 U-SQL 스크립트를 제공합니다. U-SQL 언어에 대한 자세한 내용은 U-SQL 언어 참조를 참조하세요.

기본 구성

작업의 이름과 설명을 지정할 수 있습니다.

U-SQL 구성

U-SQL 구성에는 두 개의 설정인 SourceType 및 SourceType 값을 기반으로 하는 동적 옵션이 있습니다.

SourceType은 U-SQL 스크립트의 원본을 지정합니다. SSIS 패키지 실행 중에 Data Lake Analytics 계정에 스크립트가 제출됩니다. 이 속성의 옵션은 다음과 같습니다.

값 설명
DirectInput 인라인 편집기를 통해 U-SQL 스크립트를 지정합니다. 이 값을 선택하면 동적 옵션인 USQLStatement가 표시됩니다.
파일커넥트ion U-SQL 스크립트를 포함하는 로컬 .usql 파일을 지정합니다. 이 옵션을 선택하면 동적 옵션인 File커넥트ion이 표시됩니다.
변수 U-SQL 스크립트를 포함하는 SSIS 변수를 지정합니다. 이 값을 선택하면 동적 옵션인 SourceVariable이 표시됩니다.

SourceType 동적 옵션은 U-SQL 쿼리에 대한 스크립트 콘텐츠를 지정합니다.

SourceType 동적 옵션
SourceType = DirectInput 옵션 상자에 직접 제출할 U-SQL 쿼리를 입력하거나 찾아보기 단추(...)를 선택하여 U-SQL 쿼리 입력 대화 상자에 U-SQL 쿼리를 입력합니다.
SourceType = File커넥트ion 기존 파일 연결 관리자를 선택하거나 <새 연결...>을 선택하여 새 파일 연결을 만듭니다. 관련 내용은 파일 연결 관리자 및 파일 연결 관리자 편집기를 참조하세요.
SourceType = Variable 기존 변수를 선택하거나 <새 변수...>를 선택하여 새 변수를 만듭니다. 관련 내용은 Integration Services(SSIS) 변수 및 변수 추가를 참조하세요.

작업 구성

작업 구성은 U-SQL 작업 제출 속성을 지정합니다.

  • AzureDataLakeAnalytics커넥트ion: U-SQL 스크립트가 제출되는 Data Lake Analytics 계정을 지정합니다. 정의된 연결 관리자 목록에서 연결을 선택합니다. 새 연결을 만들려면 <새 연결...>을 선택합니다. 관련 내용은 Azure Data Lake Analytics 연결 관리자를 참조하세요.

  • JobName: U-SQL 작업의 이름을 지정합니다.

  • AnalyticsUnits: U-SQL 작업의 분석 단위 수를 지정합니다.

  • 우선 순위: U-SQL 작업의 우선 순위를 지정합니다. 이 항목은 0~1000 사이의 값으로 설정할 수 있습니다. 숫자가 낮을수록 우선 순위가 높습니다.

  • RuntimeVersion: U-SQL 작업의 Data Lake Analytics 런타임 버전을 지정합니다. 기본적으로 "기본값"으로 설정됩니다. 일반적으로 이 속성을 변경할 필요가 없습니다.

  • 동기: 부울 값은 태스크가 작업 실행이 완료되기를 기다리는지 여부를 지정합니다. 값이 true로 설정되면 작업이 완료된 후 태스크가 성공으로 표시됩니다. 값이 false로 설정되면 작업이 준비 단계를 통과한 후 작업이 성공으로 표시됩니다.

    값 설명
    True 작업 결과는 U-SQL 작업 실행 결과를 기반으로 합니다. 작업 성공 > 태스크 성공. 작업 실패 > 태스크 실패. 태스크 성공 또는 실패 > 태스크 완료.
    False 태스크 결과는 U-SQL 작업 제출 및 준비 결과를 기반으로 합니다. 작업 제출 성공 및 준비 단계 통과 > 태스크 성공. 작업 제출 실패 또는 준비 단계에서 작업 실패 > 태스크 실패. 태스크 성공 또는 실패 > 태스크 완료.

  • 제한 시간: 작업 실행에 대한 제한 시간(초)을 지정합니다. 작업이 시간 초과되면 취소되고 실패한 것으로 표시됩니다. Synchronous가 false로 설정되면 이 속성을 사용할 수 없습니다.

매개 변수 매핑 페이지 구성

Azure Data Lake Analytics 태스크 편집기 대화 상자의 매개 변수 매핑 페이지를 사용하여 U-SQL 스크립트의 매개 변수(U-SQL 변수)에 변수를 매핑합니다.

  • 변수 이름: 추가를 선택하여 매개 변수 매핑을 추가한 후 목록에서 시스템 또는 사용자 정의 변수를 선택합니다. 또는 <새 변수...>를 선택하여 변수 추가 대화 상자에서 새 변수를 추가할 수 있습니다. 관련 내용은 Integration Services(SSIS) 변수를 참조하세요.

  • 매개 변수 이름: U-SQL 스크립트에서 매개 변수/변수 이름을 제공합니다. 매개 변수 이름이 @Param1과 같이 @ 기호로 시작하는지 확인합니다.

다음은 U-SQL 스크립트에 매개 변수를 전달하는 방법의 예입니다.

샘플 U-SQL 스크립트

@searchlog =
    EXTRACT UserId          int,
            Start           DateTime,
            Region          string,
            Query           string,
            Duration        int,
            Urls            string,
            ClickedUrls     string
    FROM @in
    USING Extractors.Tsv(nullEscape:"#NULL#");

@rs1 =
    SELECT Start, Region, Duration
    FROM @searchlog
WHERE Region == "en-gb";

@rs1 =
    SELECT Start, Region, Duration
    FROM @rs1
    WHERE Start <= DateTime.Parse("2012/02/19");

OUTPUT @rs1   
    TO @out
      USING Outputters.Tsv(quoting:false, dateTimeFormat:null);

입력 및 출력 경로는 @in 및 @out 매개 변수에 정의됩니다. U-SQL 스크립트에서 @in 및 @out 매개 변수의 값은 매개 변수 매핑 구성을 통해 동적으로 전달됩니다.

변수 이름 매개 변수 이름
사용자: Variable1 @in
사용자: Variable2 @out

식 페이지 구성

일반 페이지 구성의 모든 속성을 속성 식으로 할당하여 런타임에 속성을 동적으로 업데이트할 수 있습니다. 자세한 내용은 패키지에서 속성 식 사용을 참조하세요.

참고 항목