Microsoft Fabric 용어

  • 아티클

Synapse Data Warehouse, Synapse 데이터 엔지니어ing, Synapse 데이터 과학, Synapse 실시간 분석, Data Factory 및 Power BI와 관련된 용어를 포함하여 Microsoft Fabric에서 사용되는 용어의 정의를 알아봅니다.

일반 용어

  • 용량: 용량은 지정된 시간에 사용할 수 있는 전용 리소스 집합입니다. 용량은 작업을 수행하거나 출력을 생성하기 위한 리소스의 기능을 정의합니다. 다양한 항목이 특정 시간에 서로 다른 용량을 사용합니다. Fabric은 Fabric SKU 및 평가판을 통해 용량을 제공합니다. 자세한 내용은 용량이란?

  • 환경: 특정 기능을 대상으로 하는 기능 컬렉션입니다. 패브릭 환경에는 Synapse Data Warehouse, Synapse 데이터 엔지니어ing, Synapse 데이터 과학, Synapse 실시간 분석, Data Factory 및 Power BI가 포함됩니다.

  • 항목: 환경 내의 기능 집합 항목입니다. 사용자는 만들고, 편집하고, 삭제할 수 있습니다. 각 항목 유형은 서로 다른 기능을 제공합니다. 예를 들어 데이터 엔지니어 환경에는 lakehouse, Notebook 및 Spark 작업 정의 항목이 포함됩니다.

  • 테넌트: 테넌트는 조직에 대한 패브릭의 단일 인스턴스이며 Microsoft Entra ID와 정렬됩니다.

  • 작업 영역: 작업 영역은 공동 작업을 위해 설계된 단일 환경에서 다양한 기능을 결합하는 항목의 컬렉션입니다. 실행 중인 작업에 용량을 사용하는 컨테이너 역할을 하며 해당 항목에 액세스할 수 있는 사용자에 대한 컨트롤을 제공합니다. 예를 들어 작업 영역에서 사용자는 보고서, Notebook, 의미 체계 모델 등을 만듭니다. 자세한 내용은 작업 영역 문서를 참조 하세요 .

Synapse 데이터 엔지니어링

  • Lakehouse: 레이크하우스는 빅 데이터 처리를 위해 Apache Spark 엔진 및 SQL 엔진에서 사용하는 데이터 레이크를 통해 데이터베이스를 나타내는 파일, 폴더 및 테이블의 컬렉션입니다. 레이크하우스에는 오픈 소스 델타 형식 테이블을 사용하는 경우 ACID 트랜잭션에 대한 향상된 기능이 포함되어 있습니다. Lakehouse 항목은 Microsoft OneLake의 고유한 작업 영역 폴더 내에서 호스트됩니다. 폴더 및 하위 폴더에 구성된 다양한 형식(구조화 및 구조화되지 않은) 파일이 포함됩니다. 자세한 내용은 레이크하우스란?

  • Notebook: Fabric Notebook은 다양한 기능을 갖춘 다 언어 대화형 프로그래밍 도구입니다. 여기에는 코드 및 마크다운 작성, Spark 작업 실행 및 모니터링, 결과 보기 및 시각화, 팀과의 공동 작업 등이 포함됩니다. 데이터 엔지니어와 데이터 과학자가 데이터를 탐색 및 처리하고 코드 및 하위 코드 환경을 모두 사용하여 기계 학습 실험을 빌드하는 데 도움이 됩니다. 오케스트레이션을 위해 파이프라인 작업으로 쉽게 변환할 수 있습니다.

  • Spark 애플리케이션: Apache Spark 애플리케이션은 Spark의 API 언어(Scala, Python, Spark SQL 또는 Java) 또는 Microsoft 추가 언어(C# 또는 F#을 사용하는 .NET) 중 하나를 사용하여 사용자가 작성한 프로그램입니다. 애플리케이션이 실행되면 데이터를 더 빠르게 처리하기 위해 병렬로 실행되는 하나 이상의 Spark 작업으로 나뉩니다. 자세한 내용은 Spark 애플리케이션 모니터링을 참조 하세요.

  • Apache Spark 작업: Spark 작업은 애플리케이션의 다른 작업과 병렬로 실행되는 Spark 애플리케이션의 일부입니다. 작업은 여러 작업으로 구성됩니다. 자세한 내용은 Spark 작업 모니터링을 참조 하세요.

  • Apache Spark 작업 정의: Spark 작업 정의는 Spark 애플리케이션을 실행하는 방법을 나타내는 사용자가 설정한 매개 변수 집합입니다. 이를 통해 Spark 클러스터에 일괄 처리 또는 스트리밍 작업을 제출할 수 있습니다. 자세한 내용은 Apache Spark 작업 정의란?

  • V 순서: 빠른 읽기를 가능하게 하고 비용 효율성과 성능 향상을 제공하는 parquet 파일 형식에 대한 쓰기 최적화입니다. 모든 패브릭 엔진은 기본적으로 v-ordered parquet 파일을 작성합니다.

Data Factory

  • 커넥트or: Data Factory는 다양한 유형의 데이터 저장소에 연결할 수 있는 풍부한 커넥터 집합을 제공합니다. 연결되면 데이터를 변환할 수 있습니다. 자세한 내용은 커넥터를 참조 하세요.

  • 데이터 파이프라인: Data Factory에서 데이터 파이프라인은 데이터 이동 및 변환을 오케스트레이션하는 데 사용됩니다. 이러한 파이프라인은 패브릭의 배포 파이프라인과 다릅니다. 자세한 내용은 Data Factory 개요의 파이프라인을 참조하세요.

  • 데이터 흐름 Gen2: 데이터 흐름은 수백 개의 데이터 원본에서 데이터를 수집하고 데이터를 변환하기 위한 하위 코드 인터페이스를 제공합니다. 패브릭의 데이터 흐름을 데이터 흐름 Gen2라고 합니다. 데이터 흐름 Gen1은 Power BI에 있습니다. Dataflow Gen2는 Azure Data Factory 또는 Power BI의 데이터 흐름에 비해 추가 기능을 제공합니다. Gen1에서 Gen2로 업그레이드할 수 없습니다. 자세한 내용은 Data Factory 개요의 데이터 흐름을 참조하세요.

Synapse 데이터 과학

  • 데이터 랭글러: 데이터 랭글러는 사용자에게 예비 데이터 분석을 수행할 수 있는 몰입형 환경을 제공하는 Notebook 기반 도구입니다. 이 기능은 그리드와 유사한 데이터 디스플레이를 동적 요약 통계 및 일반적인 데이터 클린sing 작업 집합과 결합하며, 모두 몇 가지 선택된 아이콘과 함께 사용할 수 있습니다. 각 작업은 다시 사용할 수 있는 스크립트로 Notebook에 다시 저장할 수 있는 코드를 생성합니다.

  • 실험: 기계 학습 실험은 모든 관련 기계 학습 실행에 대한 조직 및 제어의 기본 단위입니다. 자세한 내용은 Microsoft Fabric의 Machine Learning 실험을 참조 하세요.

  • 모델: 기계 학습 모델은 특정 유형의 패턴을 인식하도록 학습된 파일입니다. 데이터 집합을 통해 모델을 학습시키고 해당 데이터 집합에서 추론하고 학습하는 데 사용하는 알고리즘을 제공합니다. 자세한 내용은 Machine Learning 모델을 참조하세요.

  • 실행: 실행은 모델 코드의 단일 실행에 해당합니다. MLflow에서 추적은 실험 및 실행을 기반으로 합니다.

Synapse 데이터 웨어하우스

  • SQL 분석 엔드포인트: 각 Lakehouse에는 사용자가 TDS를 통해 TSQL을 사용하여 델타 테이블 데이터를 쿼리할 수 있는 SQL 분석 엔드포인트가 있습니다. 자세한 내용은 SQL 분석 엔드포인트를 참조 하세요.

  • Synapse Data Warehouse: Synapse Data Warehouse는 기존 데이터 웨어하우스로 작동하며 엔터프라이즈 데이터 웨어하우스에서 기대하는 전체 트랜잭션 T-SQL 기능을 지원합니다. 자세한 내용은 Synapse Data Warehouse를 참조하세요.

Synapse 실시간 분석

  • KQL 데이터베이스: KQL 데이터베이스는 KQL 쿼리를 실행할 수 있는 형식으로 데이터를 보유합니다. 자세한 내용은 KQL 데이터베이스 쿼리를 참조 하세요.

  • KQL 쿼리 세트: KQL 쿼리 세트는 쿼리를 실행하고, 결과를 보고, 데이터 탐색기 데이터베이스의 데이터에 대한 쿼리 결과를 조작하는 데 사용되는 항목입니다. 쿼리 세트에는 데이터베이스와 테이블, 쿼리 및 결과가 포함됩니다. KQL 쿼리 세트를 사용하면 나중에 사용하도록 쿼리를 저장하거나 쿼리를 내보내고 다른 사용자와 공유할 수 있습니다. 자세한 내용은 KQL 쿼리 세트의 쿼리 데이터를 참조 하세요.

  • 이벤트 스트림: Microsoft Fabric 이벤트 스트림 기능은 코드가 없는 환경을 사용하여 실시간 이벤트를 캡처, 변환 및 대상으로 라우팅할 수 있는 패브릭 플랫폼의 중앙 집중식 위치를 제공합니다. 이벤트 스트림은 변환이 필요할 때 다양한 스트리밍 데이터 원본, 수집 대상 및 이벤트 프로세서로 구성됩니다. 자세한 내용은 Microsoft Fabric 이벤트 스트림을 참조 하세요.

OneLake

  • 바로 가기: 바로 가기는 다른 파일 저장소 위치를 가리키는 OneLake 내의 포함된 참조입니다. 직접 복사하지 않고도 기존 데이터에 연결할 수 있는 방법을 제공합니다. 자세한 내용은 OneLake 바로 가기를 참조 하세요.

관련 콘텐츠