다음을 통해 공유

에너지용 Azure Data Manager에 EDS(외부 데이터 원본)를 등록하는 방법

  • 아티클

이 문서에서는 에너지에 대한 Azure Data Manager에 EDS(외부 데이터 원본)를 등록하는 방법을 설명합니다. EDS를 사용하면 외부 데이터 원본에서 데이터(메타데이터)를 가져오고 수집할 수 있습니다. 또한 요청 시 대량 데이터를 검색할 수 있습니다.

필수 조건

  • API 컬렉션 및 환경 파일을 다운로드하여 API 테스트 클라이언트(예: Postman)로 가져옵니다. 데이터 원본에 따라 환경에서 적절하게 수정합니다.
  • 데이터 원본 등록에 대한 자세한 내용은 osdu-eds-data-supplier-enablement-guide의 섹션 2.2를 참조하세요.
  • EDS_Documentation-1.0.docx 커넥트 cSRE(원본 레지스트리 항목) 및 커넥트ion CSDJ(원본 데이터 작업) 섹션 을 검토하여 데이터 원본 등록에 사용되는 다양한 매개 변수를 이해합니다.
  • EDS를 실행하려면 사용자가 권한 그룹의 구성원 service.eds.user 이어야 합니다. 또한 비밀 서비스에 액세스하려면 사용자는 다음 권한의 멤버여야 합니다. service.secret.viewerservice.secret.editorservice.secret.admin

EDS 가져오기 및 수집 워크플로

다음 컬렉션에서 API를 실행하여 일정에 따라 EDS Fetch 및 수집 워크플로를 실행하는 외부 데이터 원본을 등록합니다.

  1. 001: Pre-req: Validate Schema Registration
  2. 002: Pre-req: Validate Reference Data
  3. 003: Secret Service
  4. 004: Pre-req: Add Source Registry

데이터 등록에 성공하면 데이터가 정기적으로 외부 원본에서 가져오고 에너지용 Azure Data Manager에 추가됩니다.

검색 서비스를 사용하여 수집된 데이터를 검색할 수 있습니다.

문제 해결

Log Analytics 작업 영역에서 아래 Kusto 쿼리를 실행하여 데이터 원본 등록과 관련된 문제를 식별할 수 있습니다.

OEPAirFlowTask 
| where DagName == "eds_ingest"        
| where LogLevel == "ERROR" // ERROR/DEBUG/INFO/WARNING

OEPAirFlowTask 
| where DagName == "eds_scheduler"        
| where LogLevel == "ERROR" // ERROR/DEBUG/INFO/WARNING

주문형 대량 데이터 검색

getRetrievalInstructions API를 005: Dataset Service collection 사용하여 요청 시 외부 데이터 원본에서 대량 데이터를 검색합니다.

참조