โครงสร้างที่เก็บข้อมูลสําหรับกระแสข้อมูลการวิเคราะห์คืออะไร

  • บทความ

กระแสข้อมูลเชิงวิเคราะห์จัดเก็บข้อมูลและเมตาดาต้าใน Azure Data Lake Storage กระแสข้อมูลใช้ประโยชน์จากโครงสร้างมาตรฐานเพื่อจัดเก็บและอธิบายข้อมูลที่สร้างขึ้นใน lake ซึ่งเรียกว่าโฟลเดอร์ Common Data Model ในบทความนี้ คุณจะได้เรียนรู้เพิ่มเติมเกี่ยวกับมาตรฐานพื้นที่จัดเก็บที่กระแสข้อมูลใช้อยู่เบื้องหลัง

ที่เก็บข้อมูลต้องมีโครงสร้างสําหรับกระแสข้อมูลการวิเคราะห์

ถ้ากระแสข้อมูลเป็นมาตรฐาน ข้อมูลจะถูกเก็บไว้ใน Dataverse ส่วนข้อมูลก็เหมือนกับระบบฐานข้อมูล ซึ่งมีแนวคิดของตาราง มุมมอง และอื่นๆ Dataverse เป็นตัวเลือกการจัดเก็บข้อมูลที่มีโครงสร้างซึ่งใช้โดยกระแสข้อมูลมาตรฐาน

อย่างไรก็ตาม เมื่อกระแส ข้อมูลกําลังวิเคราะห์ ข้อมูลจะถูกเก็บไว้ใน Azure Data Lake Storage ข้อมูลและเมตาดาต้าของกระแสข้อมูลจะถูกเก็บไว้ในโฟลเดอร์ Common Data Model เนื่องจากบัญชีเก็บข้อมูลอาจมีกระแสข้อมูลหลายชุดที่ถูกเก็บไว้ในนั้น ลําดับชั้นของโฟลเดอร์และโฟลเดอร์ย่อยจึงถูกนํามาใช้เพื่อช่วยจัดระเบียบข้อมูล ขึ้นอยู่กับผลิตภัณฑ์ที่สร้างกระแสข้อมูลใน โฟลเดอร์และโฟลเดอร์ย่อยอาจแสดงพื้นที่ทํางาน (หรือสภาพแวดล้อม) จากนั้นโฟลเดอร์ Common Data Model ของกระแสข้อมูล ภายในโฟลเดอร์ Common Data Model ทั้งแบบแผนและข้อมูลของตารางกระแสข้อมูลจะถูกจัดเก็บไว้ โครงสร้างนี้เป็นไปตามมาตรฐานที่กําหนดไว้สําหรับ Common Data Model

กระแสข้อมูลการวิเคราะห์จัดเก็บข้อมูลในโครงสร้าง Common Data Model

โครงสร้างที่เก็บข้อมูล Common Data Model คืออะไร

Common Data Model คือโครงสร้างเมตาดาต้าที่กําหนดไว้เพื่อสร้างความสอดคล้องและความสอดคล้องสําหรับการใช้ข้อมูลในหลายแพลตฟอร์ม Common Data Model ไม่ใช่ที่เก็บข้อมูล ซึ่งเป็นวิธีจัดเก็บและกําหนดข้อมูล

โฟลเดอร์ Common Data Model กําหนดวิธีการจัดเก็บ Schema ของตารางและข้อมูลของตาราง ใน Azure Data Lake Storage ข้อมูลจะถูกจัดระเบียบในโฟลเดอร์ โฟลเดอร์สามารถแสดงพื้นที่ทํางานหรือสภาพแวดล้อมได้ ภายใต้โฟลเดอร์เหล่านั้น โฟลเดอร์ย่อยสําหรับแต่ละกระแสข้อมูลจะถูกสร้างขึ้น

โครงสร้างโฟลเดอร์พื้นที่ทํางาน

มีอะไรอยู่ในโฟลเดอร์กระแสข้อมูล

แต่ละโฟลเดอร์กระแสข้อมูลประกอบด้วยโฟลเดอร์ย่อยสําหรับแต่ละตารางและไฟล์เมตาดาต้าที่ชื่อว่าmodel.json

มีอะไรอยู่ในโฟลเดอร์กระแสข้อมูล

ไฟล์เมตาดาต้า: model.json

ไฟล์ model.json เป็นข้อกําหนดเมตาดาต้าของกระแสข้อมูล นี่คือไฟล์เดียวที่ประกอบด้วยเมตาดาต้ากระแสข้อมูลทั้งหมด ซึ่งรวมถึงรายการของตาราง คอลัมน์ และชนิดข้อมูลของแต่ละตาราง ความสัมพันธ์ระหว่างตาราง และอื่นๆ คุณสามารถส่งออกไฟล์นี้จากกระแสข้อมูลได้อย่างง่ายดายแม้ว่าคุณจะไม่สามารถเข้าถึงโครงสร้างโฟลเดอร์ Common Data Model ได้ก็ตาม

ส่งออกไฟล์ model.json จากกระแสข้อมูล

คุณสามารถใช้ไฟล์ JSON นี้เพื่อโยกย้าย (หรือนําเข้า) กระแสข้อมูลของคุณไปยังพื้นที่ทํางานหรือสภาพแวดล้อมอื่นได้

ย้ายกระแสข้อมูลไปยังพื้นที่ทํางานหรือสภาพแวดล้อมอื่น

หากต้องการเรียนรู้อย่างแม่นยําว่าไฟล์เมตาดาต้า model.json มีอะไรบ้าง ให้ไปที่ไฟล์เมตาดาต้า (model.json) สําหรับ Common Data Model

ไฟล์ข้อมูล

นอกเหนือจากไฟล์เมตาดาต้าแล้ว โฟลเดอร์กระแสข้อมูลยังมีโฟลเดอร์ย่อยอื่น ๆ ด้วย กระแสข้อมูลจัดเก็บข้อมูลสําหรับแต่ละตารางในโฟลเดอร์ย่อยที่มีชื่อของตาราง ข้อมูลสําหรับตารางอาจถูกแยกออกเป็นพาร์ติชันข้อมูลหลายพาร์ติชัน ซึ่งจัดเก็บในรูปแบบ CSV

วิธีการดูหรือเข้าถึงโฟลเดอร์ Common Data Model

หากคุณกําลังใช้กระแสข้อมูลที่ใช้ที่เก็บข้อมูลที่ให้มาโดยผลิตภัณฑ์ที่สร้างขึ้นคุณจะไม่สามารถเข้าถึงโฟลเดอร์เหล่านั้นได้โดยตรง ในกรณีดังกล่าว การรับข้อมูลจากกระแสข้อมูลจําเป็นต้องใช้ตัวเชื่อมต่อกระแสข้อมูล Microsoft Power Platform ที่พร้อมใช้งานในประสบการณ์รับข้อมูลในบริการของ Power BI Power Apps และผลิตภัณฑ์ Dynamics 35 Customer Insights หรือใน Power BI Desktop

เชื่อมต่อไปยังข้อมูลสําหรับกระแสข้อมูลการวิเคราะห์

หากต้องการเรียนรู้วิธีการทํางานของกระแสข้อมูลและการรวม Data Lake Storage ภายใน ให้ไปที่ การรวมกระแสข้อมูลและ Azure Data Lake (ตัวอย่าง)

หากองค์กรของคุณเปิดใช้งานกระแสข้อมูลเพื่อใช้ประโยชน์จากบัญชี Data Lake Storage และเลือกเป็นเป้าหมายการโหลดสําหรับกระแสข้อมูล คุณยังสามารถรับข้อมูลจากกระแสข้อมูลได้โดยใช้ตัวเชื่อมต่อกระแสข้อมูล Power Platform ตามที่กล่าวถึงข้างต้น แต่คุณยังสามารถเข้าถึงโฟลเดอร์ Common Data Model ของกระแสข้อมูลได้โดยตรงผ่านทะเลสาบ แม้แต่ภายนอกเครื่องมือและบริการของ Power Platform การเข้าถึงทะเลสาบเป็นไปได้ผ่านพอร์ทัล Azure, Microsoft Azure Storage Explorer หรือบริการหรือประสบการณ์อื่น ๆ ที่สนับสนุน Azure Data Lake Storage ข้อมูลเพิ่มเติม: เชื่อมต่อ Azure Data Lake Storage Gen2 สำหรับที่เก็บกระแสข้อมูล

เชื่อมต่อไปยัง Data Lake Storage ภายนอก

ขั้นตอนถัดไป