Microsoft Fabric의 데이터 엔지니어 설명서

Microsoft Fabric의 데이터 엔지니어링을 통해 사용자는 조직에서 대량의 데이터를 수집, 저장, 처리 및 분석할 수 있는 인프라 및 시스템을 설계, 빌드 및 기본 수 있습니다.

데이터 엔지니어 정보

개요

• 데이터 엔지니어링이란?
• 레이크하우스란?
• 작업 영역 역할 및 권한

레이크하우스 시작

시작하기

• 레이크하우스 만들기
• 레이크하우스 탐색기 탐색

방법 가이드

• Notebook을 사용하여 레이크하우스로 데이터 가져오기

Notebook 시작

시작하기

• Microsoft Fabric Notebook

방법 가이드

• Notebook 빌드 및 관리
• Notebook을 사용하여 Lakehouse 데이터 탐색
• Notebook 시각화
• Notebook 소스 제어 및 배포
• Notebook에서 MSSparkUtils 사용

GraphQL용 API

개요

• GraphQL용 패브릭 API란?

시작하기

• GraphQL용 API 만들기 및 데이터 추가

방법 가이드

• 관계 관리
• 애플리케이션 연결
• 여러 데이터 원본 쿼리

Delta Lake

개념

• 레이크하우스 및 델타 테이블

방법 가이드

• 델타 최적화 및 V-Order
• 테이블에 로드

Lakehouse 엔드 투 엔드 자습서

개념

• Lakehouse 시나리오 개요

자습서

• 1단계 - 작업 영역 만들기
• 2단계 - 레이크하우스 만들기
• 3단계 - 레이크하우스로 데이터 수집
• 4단계 - 데이터를 델타 테이블로 변환
• 5단계 - 보고서 빌드
• 6단계 - 리소스 정리

Apache Spark

개념

• Apache Spark 작업 정의
• Spark 모니터링 개요
• Apache Spark Advisor

시작하기

• Spark 작업 정의 만들기
• Fabric API를 사용하여 Spark 작업 정의 만들기
• Spark 작업 정의 Git 통합

방법 가이드

• Spark 작업 정의 예약 및 실행
• Spark 애플리케이션 모니터링
• Apache Spark 라이브러리 관리
• 패브릭 MSSparkUtils를 사용하는 방법
• 용량 설정 구성

VS Code 통합

방법 가이드

• VS Code에서 Notebook 사용
• 리소스와 함께 VS Code의 Notebook 사용
• VS Code에서 Spark 작업 정의 사용
• VS Code에서 레이크하우스 살펴보기
• VS Code 웹 환경에서 Notebook 개발

환경 시작

시작하기

• Microsoft Fabric 환경

방법 가이드

• 환경에서 Spark 컴퓨팅 관리
• 환경에서 라이브러리 관리
• 환경 Git 통합 및 배포 파이프라인
• 공용 API를 통해 환경 관리
• 패브릭 환경에서 리소스 관리
• 기존 작업 영역 라이브러리 및 Spark 속성을 환경으로 마이그레이션