การรวมกระแสข้อมูลและ Azure Data Lake (ตัวอย่าง)Dataflows and Azure Data Lake integration (Preview)

ตามค่าเริ่มต้น ข้อมูลที่ใช้กับ Power BI จะถูกเก็บไว้ในที่เก็บข้อมูลภายในโดย Power BIBy default, data used with Power BI is stored in internal storage provided by Power BI. ด้วยการรวมกันของกระแสข้อมูลและ Azure Data Lake Storage Gen2 (ADLS Gen2) คุณสามารถจัดเก็บกระแสข้อมูลของคุณในบัญชี Azure Data Lake Storage Gen2 ภายในองค์กรของคุณได้With the integration of dataflows and Azure Data Lake Storage Gen2 (ADLS Gen2), you can store your dataflows in your organization's Azure Data Lake Storage Gen2 account.

กระแสข้อมูลในที่เก็บข้อมูล Azure

วิธีที่ทำให้โฟลเดอร์ CDM มีความเกี่ยวข้องกับกระแสข้อมูลHow CDM folders relate to dataflows

ด้วยกระแสข้อมูลผู้ใช้และองค์กรสามารถ รวมข้อมูลจากแหล่งข้อมูลที่แตกต่างกันอย่างสิ้นเชิง และเตรียมข้อมูลนั้นเพื่อทำแบบจำลองWith dataflows, users and organizations can unify data from disparate sources, and prepare it for modeling. ด้วย Common Data Model (CDM), องค์กรสามารถใช้และปรับใช้รูปแบบข้อมูลที่มีความสอดคล้องกันที่สื่อความหมายไปในทางเดียวกันไปทั่วทั้งแอปพลิเคชันWith the Common Data Model (CDM), organizations can use a data format that provides semantic consistency across applications and deployments. และด้วย Azure Data Lake Storage gen2 (ADLS Gen2) ที่มีการควบคุมความสามารถในการเข้าถึง สามารถใช้ได้ด้วยกันกับ data lakes ใน AzureAnd with Azure Data Lake Storage gen2 (ADLS Gen2), fine-grained access and authorization control can be applied to data lakes in Azure. เมื่อรวมกัน องค์ประกอบเหล่านี้จะให้ข้อมูลที่มาจากส่วนกลาง มีโครงสร้างข้อมูล มีการควบคุมการเข้าถึงรายละเอียด และมีความสอดคล้องภายในแอปที่ใช้ร่วมกันทั่วทั้งองค์กรWhen combined, these elements provide compelling centralized data, structured data, fine-grained access control, and semantic consistency for apps and initiaties across the enterprise.

ข้อมูลที่จัดเก็บไว้ในรูปแบบ CDM มีความสอดคล้องภายในแอปและสามารถใช้ร่วมกันทั่วทั้งองค์กรได้Data stored in CDM format provides semantic consistency across applications and deployments in an organization. ด้วยการรวม CDM กับ ADLS Gen2 ความสอดคล้องทางโครงสร้างเดียวกันและสื่อความหมายไปในทางเดียวกันสามารถใช้จัดเก็บข้อมูลใน (ADLS Gen2) โดยใช้โฟลเดอร์ CDM ที่ประกอบด้วยข้อมูลที่เป็นแบบแผนเดียวกันในรูปแบบ CDM มาตรฐานWith CDM integration with ADLS Gen2, the same structural consistency and semantic meaning can be applied to data stored in (ADLS Gen2) by using CDM folders that contain schematized data in standard CDM format. เมตาดาต้ามาตรฐานและข้อมูลอธิบายด้วยตนเองใน Azure Data Lake ช่วยอำนวยความสะดวกในเมตาดาต้าให้ง่ายต่อการค้นหา และ การแปลความระหว่างผู้สร้างข้อมูลและผู้บริโภคเช่น Power BI, Azure Data Factory, Azure Data Lake, Databricks และ Azure Machine Learning ( ML)The standardized metadata and self-describing data in an Azure Data Lake facilitate easy metadata discovery, and interoperation between data producers and consumers such as Power BI, Azure Data Factory, Azure Data Lake, Databricks and Azure Machine Learning (ML).

รูปแบบของที่จัดเก็บกระแสข้อมูลและข้อมูลในโฟลเดอร์ CDM ถูกเก็บในรูปแบบต่อไปนี้:Dataflows store their definition and data in CDM folders, in the following formats:

Model.jsonModel.json

  • ไฟล์เมตาดาต้าModel.jsonประกอบด้วยข้อมูลความหมายเกี่ยวกับระเบียนของเอนทิตี แอตทริบิวต์ และลิงก์ไปยังไฟล์ข้อมูลThe Model.json metadata description file contains semantic information about entity records and attributes, and links to underlying data files. การมีอยู่ของไฟล์ model.json บ่งบอกถึงมาตรฐานตามรูปแบบเมตาดาต้าของ CDM และอาจรวมถึงเอนทิตีมาตรฐานซึ่งมีข้อมูลหลัก ๆ ที่รวบรวมไว้พร้อมความหมายอย่างครบถ้วนที่ซึ่งแอปพลิเคชั่นสามารถนำข้อมูลไปใช้งานได้The existence of the model.json file indicates compliance with CDM metadata format, and may include standard entities which have additional rich out-of-box semantic metadata that applications can use.
  • Power BI ยังเก็บข้อมูลจากแต่ละแหล่งข้อมูลพร้อมกับการแปลงข้อมูลและคิวรีซึ่งสร้างขึ้นโดย Dataflow Editor ในบริการ Power BIPower BI also stores each data source information along with the query and transformations generated by the Dataflow Editor experience in the Power BI service. รหัสผ่านไปยังแหล่งข้อมูลจะไม่จัดเก็บไว้ในไฟล์แบบจำลองPasswords to data sources are not stored in the model file.

ไฟล์ข้อมูลData files

  • ไฟล์ข้อมูลซึ่งรวมไปถึงโฟสเดอร์ CDM ซึ่งถูกจัดเก็บอยู่ในโครงสร้างและเป็นรูปแบบอย่างดี (โฟลเดอร์ย่อยถือเป็นทางเลือกหนึ่งในการเก็บไฟล์ซึ่งจะอธิบายไว้ภายหลัง)เป็นรูปแบบที่อ้างอิงมาจากไฟล์ model.jsonThe data files are included in the CDM folder in well-defined structure and format (subfolders are optional, as described later in this article) and referenced in the model.json file. ขณะนี้ ไฟล์ข้อมูลต้องอยู่ในรูปแบบ.csv ส่วนรูปแบบอื่น ๆ อาจได้ถูกรองรับในการอัปเดตอื่น ๆ ที่ตามมาCurrently, data files must be in .csv format, but additional formats may be supported in subsequent updates.

ไดอะแกรมต่อไปนี้แสดงตัวอย่างโฟลเดอร์ CDM ซึ่งสร้างขึ้นจากกระแสข้อมูล Power BI ที่ประกอบด้วยสามเอนทิตี:The following diagram shows a sample CDM folder, created by a Power BI dataflow, that contains three entities:

กระแสข้อมูลในที่เก็บข้อมูล Azure

ไฟล์เมตาดาต้าหรือ model.json ในรูปภาพก่อนหน้าจะมีตัวชี้ไปยังเอนทิตีข้อมูลไฟล์ทั่วทั้งโฟลเดอร์ CDMThe model.json or metadata file in the previous image would provide pointers to the entity data files throughout the CDM folder.

Power BI จัดระเบียบโฟลเดอร์ CDM ใน data lakePower BI organizes CDM folders in the data lake

ด้วยกระแสข้อมูลจาก Power BI ที่รวมเข้ากันกับ ADLS Gen2 ทำให้ Power BI สามารถสร้างข้อมูลใน data lake ได้With Power BI dataflows and its integration with ADLS Gen2, Power BI can produce data in a data lake. ในฐานะผู้ผลิตข้อมูล Power BI จะต้องสร้างโฟลเดอร์ CDM สำหรับแต่ละ กระแสข้อมูลขึ้นมาซึ่งมีไฟล์ model.json และไฟล์ข้อมูลที่เกี่ยวข้องAs a data producer, Power BI must create a CDM folder for each dataflow containing the model.json file and its associated data files. Power BI จัดเก็บข้อมูลของตัวเองแยกต่างหากจากข้อมูลที่ถูกสร้างอื่น ๆ ใน data lake โดยใช้ระบบไฟล์Power BI stores its data in isolation from other data producers in the data lake by using file systems. คุณสามารถอ่านเพิ่มเติมเกี่ยวกับระบบไฟล์ Azure Data Lake Storage Gen2 และลำดับชั้นของ namespace ได้ในบทความที่อธิบายถึงสิ่งเหล่านี้You can read more about Azure Data Lake Storage Gen2 file system and hierarchical namespace in the article that describes them.

Power BI ใช้โฟลเดอร์ย่อยในการตัดความสับสนให้กับผู้ใช้ออกไปและปรับปรุงการแสดงข้อมูลให้กับภายในองค์กรให้เห็นด้วยบริการ Power BIPower BI uses subfolders for disambiguation, and to provide improved organization of data when presented in the Power BI service. การตั้งชื่อโฟลเดอร์และโครงสร้างแสดงให้เห็นถึงพื้นที่การทำงาน (โฟลเดอร์)และกระแสข้อมูล(โฟลเดอร์ CDM)The folder naming and structure represent workspaces (Folders) and dataflows (CDM Folders). ไดอะแกรมต่อไปนี้แสดงให้เห็นว่า Power BI สามารถแชร์ data lake และข้อมูลอื่น ๆ ถูกจัดโครงสร้างขึ้นมาอย่างไรThe following diagram shows how a data lake shared by Power BI and other data producers may be structured. ในแต่ละบริการ (ในที่นี้หมายถึง Dynamics 365) ซึ่งเป็นไดนามิกสำหรับการเงิน การดำเนินการและ Power BI สามารถสร้างและดูแลระบบไฟล์ของตัวเองได้Each service, in this case Dynamics 365, Dynamics for Finance and Operation, and Power BI, creates and maintains their own filesystem. ขึ้นอยู่กับประสบการณ์การใช้งานในแต่ละบริการ โฟลเดอร์ย่อยจะถูกสร้างขึ้นเพื่อจัดระเบียบโฟลเดอร์ CDM ภายในระบบไฟล์ให้ดียิ่งขึ้นDepending on the experience in each service, subfolders are created to better organize CDM folders within the file system.

กระแสข้อมูลจากบริการต่าง ๆ ในที่เก็บข้อมูล Azure

Power BI ช่วยป้องกันข้อมูลใน data lakePower BI protects data in the data lake

Power BI ใช้โทเค่น Active Directory OAuth Bearer และฟังก์ชั่น POSIX ACLs ซึ่งได้รับมาจาก Azure Data Lake Storage Gen2Power BI uses Active Directory OAuth Bearer tokens and POSIX ACLs functionality provided by Azure Data Lake Storage Gen2. ฟีเจอร์เหล่านี้ทำให้สามารถกำหนดขอบเขตการเข้าถึงไฟล์ของ Power BI ในการจัดการข้อมูลใน data lake และกำหนดขอบเขตของบุคคลอื่นให้เข้าถึงเฉพาะ กระแสข้อมูลหรือโฟลเดอร์ CDM ที่พวกเขาสร้างThese features enable scoping Power BI's access to the file system it manages in the data lake, and also scoping people's access only to dataflows or CDM folders that they create.

ในการสร้างและจัดการโฟลเดอร์ CDM ภายในระบบไฟล์ของ Power BI ผู้สร้างจำเป็นจะต้องอ่าน เขียนและปฏิบัติตามข้อกำหนดภายในระบบไฟล์To create and manage CDM folders within the Power BI file system, read, write and execute permissions to the file system is required. แต่ละกระแสข้อมูลที่ถูกสร้างขึ้นใน Power BI จะถูกเก็บไว้ในโฟลเดอร์ CDM ของตัวเองและเจ้าของกระแสข้อมูลแต่ละคนจะได้รับอนุญาตให้สามารถเข้าถึงเนื้อหาในโฟลเดอร์ CDM ได้ด้วยการอ่านเท่านั้นEach dataflow created in Power BI is stored in its own CDM folder, and the owner of the dataflow is granted read-only access to the CDM folder and its contents. วิธีนี้ช่วยปกป้องความสมบูรณ์ของข้อมูลที่ Power BI สร้าง และผู้ดูแลระบบจะสามารถในการตรวจสอบผู้ใช้ที่เข้าถึงโฟลเดอร์ CDM ได้โดยใช้บันทึกตรวจสอบการใช้งานThis approach protects the integrity of the data Power BI generates, and provides administrators with the ability to monitor which users accessed the CDM folder using audit logs.

การอนุญาตผู้ใช้หรือบริการสำหรับโฟลเดอร์ CDMAuthorizing users or services for CDM folders

การแชร์โฟลเดอร์ CDM กับผู้ใช้ข้อมูล เช่นผู้ใช้หรือบริการที่จำเป็นต้องอ่านข้อมูล สามารถทำได้ง่ายขึ้น ด้วยโทเค็น Active Directory OAuth Bearer และ POSIX ACLsSharing CDM folders with data consumers, such as users or services that need to read the data, is simplified with Active Directory OAuth Bearer tokens and POSIX ACLs. การดำเนินการดังกล่าวทำให้ผู้ดูแลระบบ มีความสามารถในการตรวจสอบผู้ที่เข้าถึงโฟลเดอร์ CDMDoing so provides administrators with the ability to monitor who accessed the CDM folder. เหลือเพียงขั้นตอนสุดท้ายที่ต้องดำเนินการคือการอนุญาตให้เข้าถึง ไดเรกทอรีใช้งานที่คุณเลือก (เช่นกลุ่มผู้ใช้หรือบริการ) ไปยังโฟลเดอร์ CDMThe only action required is to grant access to an Active Directory object of your choice (such as a user group or service) to the CDM Folder. เราขอแนะนำให้ตั้งค่าการเข้าถึงทั้งหมดไปยังโฟลเดอร์ CDM สำหรับข้อมูลประจำตัวใด ๆ นอกเหนือจากผู้ผลิตข้อมูล ได้รับอนุญาตให้เป็นแบบอ่านอย่างเดียวWe recommend that all access to the CDM folder, for any identity other than the data producer, be granted as read-only. การดำเนินการดังกล่าวเป็นการปกป้องความเที่ยงตรงของข้อมูลให้เป็นไปตามเจตนาเดิมของผู้สร้างDoing so protects the integrity of the data that the producer generates.

เมื่อต้องเพิ่มโฟลเดอร์ CDM ไปยัง Power BI ผู้ดำเนินการควร อ่าน การเข้าถึง ACL ทั้งในโฟลเดอร์ CDM และไฟล์หรือโฟลเดอร์อื่น ๆ ภายในนั้นTo add CDM folders to Power BI, the user adding the CDM Folder should have Read Access ACLs on both CDM folder itself and any files or folders within it. นอกเหนือจากนี้ การดำเนินการ เข้าถึง ACLทั้งในโฟลเดอร์ CDM เองและโฟลเดอร์อื่น ๆ ภายในIn addition, Execute Access ACLs on both CDM folder itself and any folders within it. เราขอแนะนำให้ คุณตรวจทานทั้งรายการควบคุมการเข้าถึงไฟล์และไดเรกทอรีและฝึกให้คุ้นเคยกับการใช้งาน Azure Data Lake Storage Gen2บทความสำหรับข้อมูลเพิ่มเติมIt is recommended you review both Access control lists on files and directory and Best practices for using Azure Data Lake Storage Gen2 articles for more information.

แบบฟอร์มอื่นในการขออนุญาตAlternative forms of authorization

บุคคลหรือบริการอื่น ๆ จากภายนอก Power BI สามารถใช้ประโยชน์จากแบบฟอร์มอื่นในการขออนุญาต วิธีการคือผู้ใช้จะต้องได้รับอนุญาตให้ถือคีย์ที่สามารถเข้าถึงข้อมูลภายในบัญชีได้ทั้งหมด และสามารถใช้งานได้อย่างเต็มรูปแบบโดยไม่ถูกจำกัดจากระบบไฟล์หรือโฟลเดอร์ CDMPeople or services outside of Power BI can also leverage alternatives forms of authorization these alternatives permit holders of the key access to all resources in the account, full access to all resources in the lake, and cannot be scoped to file systems or CDM Folders. แม้ว่าบุคคลหรือบริการภายนอกจะได้รับอนุญาตให้เข้ามาโดยง่าย แต่พวกเขาก็ถูกจำกัดความสามารถในการแชร์ข้อมูลสำคัญ ๆ ออกไปจาก data lake และไม่สามารถมอบสิทธิ์การเข้าถึงนี้ให้กับผู้อื่นได้Those alternatives may be simple ways to grant access, but they limit the ability to share specific resources in the data lake, and do not provide users with auditing of who accessed the storage. สำหรับรายละเอียดทั้งหมดเกี่ยวกับสิทธิ์ของผู้ที่ต้องได้รับอนุญาตสามารถเข้าไปดูได้ที่ บทความเกี่ยวกับการควบคุมการเข้าถึงใน Azure Data Lake Storage Gen2Full details of available authorization schemes are provided in the Access control in Azure Data Lake Storage Gen2 article.

ขั้นตอนถัดไปNext steps

บทความนี้ให้ภาพรวมของการรวมกระแสข้อมูล Power BI, โฟลเดอร์ CDM และ Azure Data Lake Storage Gen2This article provided an overview of the integration of Power BI dataflows, CDM folders, and Azure Data Lake Storage Gen2. สำหรับรายละเอียดเพิ่มเติม ดูที่บทความดังต่อไปนี้:For additional information, take a look at the following articles:

สำหรับข้อมูลเพิ่มเติมเกี่ยวกับกระแสข้อมูล, CDM, และ Azure Data Lake Storage Gen2 ดูบทความต่อไปนี้:For more information about dataflows, CDM, and Azure Data Lake Storage Gen2, take a look at the following articles:

สำหรับข้อมูลเกี่ยวกับกระแสข้อมูลโดยรวม ให้อ่านบทความเหล่านี้:For information about dataflows overall, check out these articles:

สำหรับข้อมูลเพิ่มเติมเกี่ยวกับพื้นที่เก็บข้อมูล Azure คุณสามารถอ่านบทความเหล่านี้:For more information about Azure storage, you can read these articles:

สำหรับข้อมูลเพิ่มเติมเกี่ยวกับ Common Data Model สามารถดูได้ในบทความภาพรวม:For more information about the Common Data Model, you can read its overview article:

และคุณสามารถลองถามคำถามในชุมชนของ Power BI ได้เสมอAnd you can always try asking questions of the Power BI Community.