Azure Data Factory의 비용 관리 계획

적용 대상: Azure Data Factory Azure Synapse Analytics

팁

기업용 올인원 분석 솔루션인 Microsoft Fabric의 Data Factory를 사용해 보세요. Microsoft Fabric은 데이터 이동부터 데이터 과학, 실시간 분석, 비즈니스 인텔리전스 및 보고에 이르기까지 모든 것을 다룹니다. 무료로 새 평가판을 시작하는 방법을 알아봅니다!

이 문서에서는 Azure Data Factory에 대한 비용을 계획하고 관리하는 방법을 설명합니다.

먼저 ETL 프로젝트를 시작할 때 Azure 가격 책정 및 파이프라인별 사용량 및 가격 계산기를 조합하여 Azure Data Factory 비용을 계획하는 데 도움을 준 후 서비스에 대한 리소스를 추가하여 비용을 예측합니다. 그런 다음 Azure 리소스를 추가할 때 예상 비용을 검토합니다. Azure Data Factory 리소스 사용을 시작한 후 Cost Management 기능을 사용하여 예산을 설정하고 비용을 모니터링합니다. 예측 비용을 검토하고 지출 추세를 식별하여 작업할 수 있는 영역을 식별할 수도 있습니다. Azure Data Factory에 대한 비용은 Azure 청구서에서 월별 비용의 일부에 불과합니다. 이 문서에서는 데이터 팩터리의 비용을 계획하고 관리하는 방법만 설명합니다. 타사 서비스를 포함하여 Azure 구독에서 사용되는 모든 Azure 서비스 및 리소스에 대해 요금이 청구됩니다.

필수 조건

Cost Management에서의 비용 분석은 대부분의 Azure 계정 유형을 지원하지만 일부는 지원하지 않습니다. 지원되는 계정 유형의 전체 목록을 보려면 Cost Management 데이터 이해를 참조하세요. 비용 데이터를 보려면 최소한 Azure 계정에 대한 읽기 권한이 있어야 합니다. Azure Cost Management 데이터에 액세스하는 방법에 대한 정보는 데이터에 대한 액세스 할당을 참조하세요.

Azure Data Factory를 사용하기 전에 비용 예측

ADF 가격 계산기를 사용하여 Azure Data Factory에서 ETL 워크로드를 실행하는 데 드는 예상 비용을 가져옵니다. 계산기를 사용하려면 활동 실행 횟수, 데이터 통합 단위 수, Data Flow에 사용되는 컴퓨팅 유형, 코어 수, 인스턴스 수, 실행 기간 등의 세부 정보를 입력해야 합니다.

가격 계산기에 대한 일반적인 질문 중 하나는 입력으로 사용해야 하는 값입니다. 개념 증명 단계에서는 샘플 데이터 세트를 사용하여 평가판 실행을 수행하여 다양한 ADF 미터의 사용량을 이해할 수 있습니다. 그런 다음, 샘플 데이터 세트의 사용량을 기반으로 전체 데이터 세트의 사용량 및 운영화 일정을 예상할 수 있습니다.

참고 항목

아래 예에 사용된 가격 책정은 가상의 가격 책정이며 실제 가격 책정을 의미하지는 않습니다.

예를 들어 AWS S3에서 Azure Data Lake Gen2로 매일 1TB의 데이터를 이동해야 한다고 가정해 보겠습니다. 100GB의 데이터를 이동하는 POC를 수행하여 데이터 수집 처리량을 측정하고 해당 청구 사용량을 이해할 수 있습니다.

다음은 복사 활동 실행 세부 정보 샘플입니다. 실제 진행 속도는 특정 데이터 세트의 모양, 네트워크 속도, S3 계정의 송신 제한, ADLS Gen2 수신 제한 및 기타 요인에 따라 달라질 수 있습니다.

파이프라인 실행 수준의 사용량 모니터링을 사용하여 해당 데이터 이동 미터 사용량을 확인할 수 있습니다.

따라서 한 달 동안 하루에 1TB를 이동하는 데 걸리는 총 DIU 시간은 다음과 같습니다.

1.2667(DIU-hours) * (1TB/100GB) * 30(한 달의 일) = 380 DIU 시간

이제 30개의 활동 실행 및 380 DIU 시간을 ADF 가격 계산기에 연결하여 월별 청구서의 예상을 얻을 수 있습니다.

Azure Data Factory에 대한 전체 청구 모델 이해

Azure Data Factory는 새 리소스를 배포할 때 비용이 발생하는 Azure 인프라에서 실행됩니다. 다른 추가 인프라 비용이 발생할 수 있음을 이해하는 것이 중요합니다.

Azure Data Factory 요금 청구 방법

Azure Data Factory는 클라우드 규모를 위해 빌드된 서버리스 및 탄력적 데이터 통합 서비스입니다. 최대 부하에 대해 계획해야 하는 고정 크기 컴퓨팅이 없습니다. 대신, 요청 시 작업별로 할당할 리소스의 양을 지정하여 확장성이 훨씬 더 큰 ETL 프로세스를 설계할 수 있습니다. 또한 ADF는 사용량 기반 요금제에 따라 청구됩니다. 즉, 사용하는 요금제에 대해서만 요금을 지불합니다.

Azure Data Factory 리소스를 만들거나 사용하는 경우 다음 미터에 대한 요금이 청구될 수 있습니다.

• 오케스트레이션 활동 실행 - 작업이 실행하는 오케스트레이션 수에 따라 요금이 청구됩니다.
• DIU(데이터 통합 단위) 시간 - Azure Integration Runtime에서 실행되는 복사 작업의 경우 사용된 DIU 수 및 실행 기간에 따라 요금이 청구됩니다.
• vCore 시간 - 데이터 흐름 실행 및 디버깅의 경우 컴퓨팅 유형, vCore 수 및 실행 기간에 따라 요금이 청구됩니다.

청구 주기가 끝날 때 각 측정 단위의 요금이 합산됩니다. 청구서 또는 청구서에 Azure Data Factory 관련 모든 비용에 대한 섹션이 표시됩니다. 각 측정 단위에 대한 별도의 줄 항목이 있습니다.

Azure Data Factory에서 발생할 수 있는 기타 비용

ADF(Azure Data Factory)에 대해 리소스를 만들면 다른 Azure 서비스에 대한 리소스도 생성됩니다. 다음이 포함됩니다.

• 파이프라인 작업 실행
• 외부 파이프라인 작업 실행
• 데이터 팩터리 아티팩트의 생성/편집/검색/모니터링
• 인스턴스 유형 및 기간을 기반으로 하는 SSIS IR(Integration Runtime) 기간

참고 항목

ADF 및 기타 Azure 리소스에 동일한 태그를 할당하고 동일한 범주에 넣어 통합 청구를 볼 수 있습니다. ADF 태그는 ADF 태그에 있는 모든 SSIS IR에서 상속됩니다. ADF 태그를 변경하는 경우 새 태그를 상속하려면 ADF 태그의 모든 SSIS IR을 중지하고 다시 시작해야 합니다. SSIS IR 다시 구성 섹션을 참조하세요.

Azure Data Factory에서 Azure 선불 사용

Azure 선불 크레딧을 사용하여 Azure Data Factory 요금을 지불할 수 있습니다. 단, Azure 선불 크레딧을 사용하여 Azure Marketplace에 있는 항목을 포함한 타사 제품 및 서비스에 대한 요금을 지불할 수는 없습니다.

비용 모니터링

Azure Data Factory 비용은 공장, 파이프라인, 파이프라인 실행 및 활동 실행 수준에서 모니터링할 수 있습니다.

비용 분석을 통해 팩터리 수준에서 비용 모니터링

Data Factory에서 Azure 리소스를 사용하면 비용이 발생합니다. Azure 리소스 사용량 단위 비용은 시간 간격(초, 분, 시간 및 일) 또는 단위 사용량(바이트, 메가바이트 등)에 따라 달라집니다. Data Factory 사용이 시작되면 비용이 발생하고 비용 분석에서 비용을 확인할 수 있습니다.

비용 분석을 사용하면 서로 다른 시간 간격에 대한 그래프 및 테이블의 Data Factory 비용을 볼 수 있습니다. 몇 가지 예로 일, 현재 달과 이전 달 및 연도에 따라 확인할 수 있습니다. 예산 및 예상 비용에 대한 비용도 조회할 수 있습니다. 시간이 지남에 따라 더 긴 보기로 전환하면 지출 추세를 파악하는 데 도움이 됩니다. 그리고 과도한 지출이 발생한 위치를 확인할 수 있습니다. 예산을 만든 경우 초과된 부분도 쉽게 확인할 수 있습니다.

비용 분석에서 Data Factory 비용을 보려면 다음을 수행합니다.

1. Azure Portal에 로그인합니다.
2. Azure Portal에서 범위를 열고 메뉴에서 비용 분석을 선택합니다. 예를 들어, 구독으로 이동하여 목록에서 구독을 선택한 다음, 메뉴에서 비용 분석을 선택합니다. 범위를 선택하여 비용 분석에서 다른 범위로 전환합니다.
3. 기본적으로 서비스 비용은 첫 번째 도넛형 차트에 표시됩니다. Azure Data Factory v2 레이블이 지정된 차트에서 영역을 선택합니다.

실제 월별 비용은 처음에 비용 분석을 열 때 표시됩니다. 다음은 모든 월별 사용 비용을 보여 주는 예제입니다.

• Data Factory와 같은 단일 서비스에 대한 비용을 좁히려면 필터 추가를 선택한 다음 서비스 이름을 선택합니다. 그런 다음, Azure Data Factory v2를 선택합니다.

다음은 Data Factory에 대한 비용을 보여 주는 예제입니다.

앞의 예제에서 서비스에 대한 현재 비용이 표시됩니다. Azure 지역(위치) 및 리소스 그룹별 Data Factory 비용도 표시됩니다. 여기에서 자신의 비용을 살펴볼 수 있습니다.

비용 분석을 통해 파이프라인 수준에서 비용 모니터링

경우에 따라 예를 들어, 환불 목적으로 팩터리 내 운영 요금을 세분화하여 분석해야 할 수 있습니다. Azure 청구 요금 분석 플랫폼을 통합하여 Data Factory는 각 파이프라인에 대한 청구 요금을 분리할 수 있습니다. 팩터리에 대한 Azure Data Factory 세부 청구 보고를 선택하면 앞서 언급한 팩터리 내에서 각 파이프라인의 비용을 더 잘 이해할 수 있습니다.

자세한 청구를 원하는 각 팩터리를 옵트인해야 합니다. 파이프라인별 세부 청구 기능을 켜려면

1. Azure Data Factory 포털로 이동
2. 관리 탭 아래 일반 섹션에서 초기화를 선택합니다.
3. 파이프라인별로 청구 보고서 표시를 선택합니다.
4. 변경 내용 게시

참고 항목

자세한 파이프라인 청구 설정은 팩터리에서 내보낸 ARM 템플릿에 포함되지 않습니다. 즉, CI/CD(연속 통합 및 지속적인 업데이트)는 팩터리의 청구 방식을 덮어쓰지 않습니다. 이를 통해 개발, 테스트 및 프로덕션 공장에 대해 서로 다른 청구 동작을 설정할 수 있습니다.

기능이 사용하도록 설정되면 각 파이프라인의 청구 보고서에 개별 항목이 표시됩니다. 선택한 시간 간격으로 각 파이프라인 비용이 정확하게 표시됩니다. 이를 통해 지출 추세를 식별하고 초과 지출이 발생한 경우 이를 확인할 수 있습니다.

비용 분석의 그래프 도구를 사용하면 위에 표시된 것과 유사한 차트와 추세선을 가져올 수 있지만 개별 파이프라인에 대한 것입니다. 또한 청구 보고서에 팩터리 이름이 포함되어 필요한 경우 적절한 필터링이 가능하므로 팩터리 이름별로 요약 보기를 가져올 수 있습니다.

변경 내용은 오직 청구서 발행 방식에만 영향을 미치며 과거 요금은 변경하지 않습니다. 청구 보고서에 변경 내용이 반영되기까지는 시간이 필요합니다. 일반적으로 변경 내용은 1일 이내에 반영됩니다.

Warning

청구당 설정을 선택하면 팩터리의 각 파이프라인에 대해 하나의 항목이 있습니다. 팩터리에 과도한 양의 파이프라인이 있는 경우 청구 보고서가 상당히 길어지고 복잡해질 수 있으므로 특히 주의하세요.

제한 사항

다음은 파이프라인당 청구 기능의 알려진 제한 사항입니다. 이러한 청구 미터는 그것을 회전시키는 파이프라인 아래에 파일링되지 않고 대신 팩터리에 대한 대체 라인 항목 아래에 파일링됩니다.

• 읽기/쓰기 및 모니터링을 포함한 Data Factory 작업 요금
• Azure Data Factory SSIS(SQL Server Integration Services) 노드 요금
• Azure IR(Azure Integration Runtime)에 대해 구성된 TTL(Time to Live)이 있는 경우 이러한 IR에서 실행되는 데이터 흐름 작업은 개별 파이프라인에 보관되지 않습니다.

Azure Data Factory의 파이프라인 실행 수준에서 사용량 모니터링

파이프라인을 실행할 때는 파이프라인에 있는 활동의 유형, 이동하고 변환하는 데이터의 양 및 변환의 복잡도에 따라, Azure Data Factory에서 서로 다른 청구 미터가 작동합니다.

Azure Data Factory 사용자 환경에서 개별 파이프라인 실행에 대해 다른 미터의 사용량을 볼 수 있습니다. 모니터링 환경을 열려면 Azure Portal의 데이터 팩터리 블레이드에서 모니터 및 관리 타일을 선택합니다. ADF UX에 이미 있는 경우 왼쪽 사이드바에서 모니터 아이콘을 선택합니다. 기본 모니터링 보기는 파이프라인 실행 목록입니다.

파이프라인 이름 옆에 있는 사용량 단추를 클릭하면 파이프라인 내의 모든 활동에서 집계된 파이프라인 실행의 사용량을 보여 주는 팝업 창이 표시됩니다.

파이프라인 실행 사용량 보기에서는 특정 파이프라인 실행의 각 ADF 미터별 사용량을 보여 주지만 사용자에게 청구되는 금액은 보유하고 있는 Azure 계정의 유형과 사용하는 통화의 유형에 따라 달라지므로 실제 청구 금액은 표시되지 않습니다. 지원되는 계정 유형의 전체 목록을 보려면 Cost Management 데이터 이해를 참조하세요.

Azure Data Factory의 작업 실행 수준에서 사용량 모니터링

파이프라인 실행 수준에서 집계된 사용량을 이해한 후에는 파이프라인 내에서 가장 비용이 많이 드는 작업을 추가로 드릴다운하고 식별해야 하는 시나리오가 있습니다.

활동 실행 수준에서 사용량을 확인하려면 데이터 팩터 리 작성자 및 모니터 UI로 이동합니다. 파이프라인 실행 목록이 표시되는 모니터 탭에서 파이프라인 이름 링크를 선택하여 파이프라인 실행의 활동 실행 목록에 액세스합니다. 활동 이름 옆의 출력 단추를 선택하고 JSON 출력에서 billableDuration 속성을 찾습니다.

다음은 복사 활동 실행의 샘플입니다.

다음은 매핑 데이터 흐름 활동 실행의 샘플입니다.

예산 만들기

예산을 만들면 비용을 관리하고 관련자에게 비정상 지출 및 과다 지출 위험을 자동으로 알리는 경고를 만들 수 있습니다. 경고는 예산 및 비용 임계값에 따른 지출을 기준으로 합니다. Azure 구독 및 리소스 그룹에 대한 예산 및 경고가 만들어지므로 전체 비용 모니터링 전략의 일부로 유용합니다.

모니터링에 더 많은 세분성을 제공하려는 경우 Azure의 특정 리소스 또는 서비스에 대한 필터를 사용하여 예산을 만들 수 있습니다. 필터는 추가 비용이 드는 새 리소스를 실수로 만들지 않도록 도움을 줍니다. 예산을 만들 때 사용할 수 있는 필터 옵션에 대한 자세한 내용은 그룹 및 필터 옵션을 참조하세요.

비용 데이터 내보내기

스토리지 계정으로 비용 데이터를 내보낼 수도 있습니다. 이는 비용에 대한 다른 데이터 분석이 필요하거나 다른 사용자가 수행해야 할 때 유용합니다. 예를 들어 재무 팀은 Excel 또는 Power BI를 사용하여 데이터를 분석할 수 있습니다. 매일, 매주 또는 매월 일정으로 비용을 내보내고 사용자 지정 날짜 범위를 설정할 수 있습니다. 비용 데이터를 내보내는 것은 비용 데이터 세트를 검색하는 데 권장되는 방법입니다.

관련 콘텐츠

• Azure Cost Management를 통해 클라우드 투자를 최적화하는 방법에 대해 알아봅니다.
• 비용 분석을 통한 비용 관리에 대해 자세히 알아봅니다.
• 예기치 않은 비용 방지 방법에 대해 알아봅니다.
• Cost Management 단계별 학습 과정을 수강합니다.
• Azure Data Factory 가격 책정 페이지
• 예제를 통해 Azure Data Factory 이해
• Azure Data Factory 가격 계산기