สถาปัตยกรรมโซลูชัน BI ในศูนย์แห่งความเป็นเลิศ (COE)

บทความนี้มุ่งเป้าหมายไปยังผู้เชี่ยวชาญด้านไอทีและผู้จัดการฝ่ายไอที คุณจะได้เรียนรู้เกี่ยวกับสถาปัตยกรรมโซลูชัน BI ใน COE และเทคโนโลยีที่แตกต่างกันในการจ้างงาน เทคโนโลยีประกอบด้วย Azure, Power BI และ Excel พวกเขาสามารถใช้ประโยชน์ร่วมกันเพื่อส่งมอบแพลตฟอร์ม BI บนคลาวด์ที่ปรับขนาดได้และขับเคลื่อนด้วยข้อมูล

การออกแบบแพลตฟอร์ม BI ที่แข็งแกร่งนั้นค่อนข้างเหมือนกับการสร้างบริดจ์ บริดจ์ที่เชื่อมต่อข้อมูลต้นฉบับที่แปลงและเสริมประสิทธิภาพให้กับผู้บริโภคข้อมูล การออกแบบโครงสร้างที่ซับซ้อนนั้นจำเป็นต้องมีความคิดทางวิศวกรรม แม้ว่าจะสามารถเป็นหนึ่งในสถาปัตยกรรมที่สร้างสรรค์และคุ้มค่าที่สุดที่คุณสามารถออกแบบได้ ในองค์กรขนาดใหญ่ สถาปัตยกรรมโซลูชัน BI สามารถประกอบด้วย:

• แหล่งข้อมูล
• การนำเข้าข้อมูล
• ข้อมูลขนาดใหญ่/การเตรียมข้อมูล
• คลังข้อมูล
• แบบจำลองความหมาย BI
• รายงาน

แพลตฟอร์มต้องรองรับความต้องการที่เฉพาะเจาะจง โดยเฉพาะอย่างยิ่ง จะต้องปรับขนาดและดำเนินการเพื่อตอบสนองความคาดหวังของบริการทางธุรกิจและผู้บริโภคข้อมูล ในเวลาเดียวกันจะต้องมีความปลอดภัยตั้งแต่ล่างขึ้นไป และจะต้องมีความยืดหยุ่นเพียงพอที่จะปรับให้เข้ากับการเปลี่ยนแปลง เนื่องจากเป็นความเชื่อมั่นว่าต้องทำให้ข้อมูลใหม่และขอบเขตเนื้อหาขึ้นไปอยู่บนออนไลน์ทันเวลา

เฟรมเวิร์ก

ที่ Microsoft ตั้งแต่เริ่มแรก เราใช้วิธีการที่คล้ายกับระบบโดยลงทุนในการพัฒนาเฟรมเวิร์ก เฟรมเวิร์กทางเทคนิคและกระบวนการทางธุรกิจจะเพิ่มการนำการออกแบบและตรรกะกลับมาใช้ใหม่ และให้ผลลัพธ์ที่สอดคล้องกัน นอกจากนี้ ยังมีความยืดหยุ่นในสถาปัตยกรรมที่ใช้ประโยชน์จากเทคโนโลยีจำนวนมาก และช่วยปรับปรุงและลดค่าใช้จ่ายด้านวิศวกรรมผ่านกระบวนการทำซ้ำ

เราเรียนรู้ว่าเฟรมเวิร์กที่ออกแบบมาอย่างดีช่วยเพิ่มความสามารถที่จะมองเห็นได้ในสายข้อมูล การวิเคราะห์ผลกระทบ การบำรุงรักษาตรรกะทางธุรกิจ การจัดการอนุกรมวิธาน และการปรับปรุงให้การกำกับดูแลมีประสิทธิภาพขึ้น นอกจากนี้ การพัฒนาก็เร็วขึ้นและการทำงานร่วมกันระหว่างทีมใหญ่ก็ยิ่งตอบสนองและมีประสิทธิภาพมากขึ้น

เราจะอธิบายเฟรมเวิร์กของเราหลายอย่างในบทความนี้

แบบจำลองข้อมูล

แบบจำลองข้อมูลช่วยให้คุณสามารถควบคุมวิธีการจัดโครงสร้างและเข้าถึงข้อมูลได้ สำหรับธุรกิจบริการและผู้บริโภคข้อมูล แบบจำลองข้อมูลเป็นอินเทอร์เฟซกับแพลตฟอร์ม BI

แพลตฟอร์ม BI สามารถส่งมอบแบบจำลองที่แตกต่างกันสามแบบ:

• แบบจำลองระดับองค์กร
• แบบจำลองความหมาย BI
• แบบจำลองการเรียนรู้ของเครื่อง (ML)

แบบจำลองระดับองค์กร

แบบจำลองระดับองค์กร มีการสร้างและการบำรุงรักษาโดยสถาปนิกด้านไอที บางครั้งจะเรียกว่าแบบจำลองมิติหรือดาต้ามาร์ท โดยทั่วไป ข้อมูลจะถูกจัดเก็บในรูปแบบเชิงสัมพันธ์เป็นตารางมิติและตารางข้อเท็จจริง ตารางเหล่านี้จัดเก็บข้อมูลที่ได้รับการทำความสะอาดและผสานรวมจากระบบต่างๆ และเป็นแหล่งข้อมูลที่เชื่อถือได้สำหรับการรายงานและการวิเคราะห์

แบบจำลองระดับองค์กรส่งมอบแหล่งข้อมูลที่สอดคล้องกันและเป็นแหล่งเดียวสำหรับการรายงานและ BI พวกเขาจะถูกสร้างขึ้นหนึ่งครั้งและใช้ร่วมกันเป็นมาตรฐานขององค์กร นโยบายการกำกับดูแลทำให้มั่นใจได้ว่าข้อมูลมีความปลอดภัย ดังนั้นการเข้าถึงชุดข้อมูลที่มีความอ่อนไหว เช่น ข้อมูลลูกค้าหรือการเงิน จะถูกจำกัดบนพื้นฐานความต้องการ พวกเขานำหลักการตั้งชื่อมาใช้เพื่อให้มั่นใจถึงความสอดคล้อง ดังนั้นจึงเป็นการสร้างความน่าเชื่อถือของข้อมูลและคุณภาพ

ในแพลตฟอร์ม BI ของระบบคลาวด์ คุณสามารถปรับใช้แบบจำลองระดับองค์กรกับ พูล Synapse SQL ใน Azure Synapse จากนั้นพูล Synapse SQL จะกลายเป็นความจริงเวอร์ชันเดียวที่องค์กรสามารถไว้วางใจได้เพื่อให้ได้ข้อมูลเชิงลึกที่รวดเร็วและมีประสิทธิภาพ

แบบจำลองความหมาย BI

แบบจำลองความหมาย BI จะแสดงถึงเลเยอร์ความหมายเหนือแบบจำลองขององค์กร พวกเขาถูกสร้างและดูแลโดยนักพัฒนา BI และผู้ใช้ทางธุรกิจ นักพัฒนา BI สร้างแบบจำลองความหมาย BI หลักที่แหล่งข้อมูลจากแบบจำลององค์กร ผู้ใช้งานทางธุรกิจสามารถสร้างแบบจำลองขนาดเล็กที่เป็นอิสระได้—หรือ พวกเขาสามารถขยายแบบจำลองความหมาย BI หลักด้วยแหล่งข้อมูลจากแผนกหรือภายนอกได้ แบบจำลองความหมาย BI โดยทั่วไปจะมุ่งเน้นไปที่หัวข้อเดียวและมักจะใช้ร่วมกันอย่างกว้างขวาง

ความสามารถทางธุรกิจไม่ได้เปิดใช้งานโดยข้อมูลเพียงอย่างเดียว แต่เป็นแบบจำลองความหมาย BI ที่อธิบายถึงแนวคิด ความสัมพันธ์ กฎ และมาตรฐาน ด้วยวิธีนี้ พวกเขาจะเป็นตัวแทนโครงสร้างที่ใช้งานง่ายและง่ายต่อการเข้าใจที่กำหนดความสัมพันธ์ของข้อมูลและห่อหุ้มกฎทางธุรกิจให้เป็นการคำนวณ นอกจากนี้ พวกเขายังสามารถบังคับใช้การอนุญาตข้อมูลที่ละเอียด ทำให้มั่นใจได้ว่าบุคคลที่เหมาะสมสามารถเข้าถึงข้อมูลที่ถูกต้องได้ ที่สำคัญคือ พวกเขาเร่งประสิทธิภาพคิวรี ให้การวิเคราะห์เชิงโต้ตอบที่ตอบสนองได้อย่างยอดเยี่ยม แม้ว่าจะมีข้อมูลหลายเทราไบต์ เช่นเดียวกับแบบจำลององค์กร แบบจำลองความหมาย BI ใช้หลักการตั้งชื่อเพื่อให้มั่นใจว่าสอดคล้องกัน

ในแพลตฟอร์ม BI ระบบคลาวด์นักพัฒนา BI สามารถปรับใช้แบบจำลองความหมาย BI เพื่อAzure Analysis Services หรือ Power BI ที่มีความจุระดับพรีเมียม เราขอแนะนำให้ปรับใช้กับ Power BI เมื่อใช้เป็นเลเยอร์การรายงานและการวิเคราะห์ของคุณ ผลิตภัณฑ์เหล่านี้สนับสนุนโหมดการจัดเก็บข้อมูลที่แตกต่างกัน อนุญาตให้ตารางแบบจำลองข้อมูลแคชข้อมูลหรือใช้ DirectQuery ซึ่งเป็นเทคโนโลยีที่ส่งคิวรีผ่านไปยังแหล่งข้อมูลพื้นฐาน DirectQuery เป็นโหมดการจัดเก็บข้อมูลที่สมบูรณ์แบบเมื่อตารางแบบจำลองแสดงถึงปริมาณข้อมูลขนาดใหญ่หรือมีความจำเป็นที่จะให้ผลลัพธ์แบบใกล้เคียงเวลาจริง โหมดการจัดเก็บข้อมูลสองโหมดสามารถรวมกันได้: แบบจำลองแบบรวม ผสานตารางที่ใช้โหมดการจัดเก็บข้อมูลที่แตกต่างกันในแบบจำลองเดียว

สำหรับแบบจำลองที่มีคิวรีสูงมาก คุณสามารถใช้ Azure Load Balancer เพื่อกระจายคิวรีโหลดอย่างเท่าเทียมกันทั่วทั้งสำเนาแบบจำลองอย่างสม่ำเสมอ นอกจากนี้ ยังช่วยให้คุณสามารถปรับขนาดแอปพลิเคชันของคุณและสร้างแบบจำลองความหมาย BI ที่พร้อมใช้งานสูง

แบบจำลองการเรียนรู้ของเครื่อง

แบบจำลองการเรียนรู้ของเครื่อง(ML) ถูกสร้างและดูแลโดยนักวิทยาศาสตร์ด้านข้อมูล ส่วนใหญ่แล้ว พวกเขาถูกพัฒนามาจากแหล่งข้อมูลดิบในที่จัดเก็บข้อมูลดิบ

แบบจำลอง ML ที่ผ่านการฝึกสามารถเปิดเผยรูปแบบภายในข้อมูลของคุณได้ ในหลายสถานการณ์ รูปแบบเหล่านั้นสามารถใช้เพื่อคาดการณ์ที่สามารถใช้เพื่อเพิ่มประสิทธิภาพข้อมูลได้ ตัวอย่างเช่น พฤติกรรมการซื้อสามารถใช้ในการคาดการณ์การเลิกใช้บริการของลูกค้าหรือจัดกลุ่มลูกค้า คุณสามารถเพิ่มผลลัพธ์การคาดการณ์ลงในแบบจำลองระดับองค์กรเพื่อช่วยให้สามารถทำการวิเคราะห์ตามเซกเมนต์ลูกค้าได้

ในแพลตฟอร์ม BI แบบคลาวด์ คุณสามารถใช้ Azure Machine Learning เพื่อฝึก ปรับใช้ ทำให้เป็นอัตโนมัติ จัดการ และติดตามแบบจำลอง ML ได้

คลังข้อมูล

สิ่งที่อยู่ใจกลางของแพลตฟอร์ม BI คือคลังข้อมูล ซึ่งโฮสต์แบบจำลองระดับองค์กรของคุณ นี่เป็นแหล่งข้อมูลได้อนุมัติแล้ว ซึ่งเป็นระบบของระเบียนและเป็นฮับ ซึ่งให้บริการแบบจำลองระดับองค์กรสำหรับการรายงาน BI และวิทยาศาสตร์ข้อมูล

บริการทางธุรกิจจำนวนมากซึ่งรวมถึงแอปพลิเคชันของหน่วยธุรกิจ (LOB) สามารถพึ่งพาคลังข้อมูลในฐานะแหล่งข้อมูลที่เชื่อถือได้และมีการควบคุมภายใต้องค์กร

ที่ Microsoft คลังข้อมูลของเราถูกโฮสต์อยู่ใน Azure Data Lake Storage Gen2 (ADLS Gen2) และ Azure Synapse Analytics

• ADLS Gen2 ทำให้ Azure Storage เป็นรากฐานสำหรับการสร้างที่จัดเก็บข้อมูลดิบระดับองค์กรบน Azure ซึ่งถูกออกแบบมาเพื่อให้บริการข้อมูลหลายเพตาไบต์ ในขณะที่รองรับปริมาณงานหลายร้อยกิกะบิต และยังให้ความจุที่เก็บข้อมูลและทรานแซคชันที่มีค่าใช้จ่ายต่ำ ยิ่งไปกว่านั้น ยังรองรับการเข้าถึงที่รองรับ Hadoop ซึ่งช่วยให้คุณจัดการและเข้าถึงข้อมูลเช่นเดียวกับที่คุณใช้กับ Hadoop Distributed File System (HDFS) ในความเป็นจริง Azure HDInsight, Azure Databricks และ Azure Synapse Analytics สามารถเข้าถึงข้อมูลทั้งหมดที่เก็บอยู่ใน ADLS Gen2 ได้ ดังนั้นในแพลตฟอร์ม BI จึงเป็นทางเลือกที่ดีในการจัดเก็บข้อมูลจากแหล่งข้อมูลดิบ ข้อมูลแบบกึ่งประมวลผลหรือข้อมูลที่มีการจัดรูปแบบ และข้อมูลที่พร้อมใช้งานสำหรับการผลิต เราใช้เพื่อจัดเก็บข้อมูลทางธุรกิจทั้งหมดของเรา
• Azure Synapse Analytics เป็นบริการวิเคราะห์ที่รวบรวมคลังข้อมูลองค์กรและการวิเคราะห์ข้อมูลขนาดใหญ่เข้าด้วยกัน ซึ่งช่วยให้คุณมีอิสระในการคิวรีข้อมูลตามเงื่อนไขของคุณ โดยใช้ทรัพยากรแบบออนดีมานด์หรือทรัพยากรที่จัดสรรแบบไม่มีเซิร์ฟเวอร์ ตามมาตราส่วน Synapse SQL ซึ่งเป็นส่วนประกอบของ Azure Synapse Analytics รองรับการวิเคราะห์ที่ใช้ T-SQL อย่างสมบูรณ์ ดังนั้นจึงเหมาะอย่างยิ่งสำหรับโฮสต์แบบจำลองระดับองค์กรที่ประกอบด้วยตารางมิติและตารางข้อเท็จจริง สามารถโหลดตารางได้อย่างมีประสิทธิภาพจาก ADLS Gen2 โดยใช้คิวรี Polybase T-SQL แบบง่าย จากนั้นคุณมีอำนาจ MPP เพื่อเรียกใช้การวิเคราะห์ประสิทธิภาพสูง

เฟรมเวิร์กกลไกจัดการกฎทางธุรกิจ

เราพัฒนาเฟรมเวิร์ก กลไกจัดการกฎทางธุรกิจ (BRE) เพื่อจัดทำรายการตรรกะทางธุรกิจใดก็ตามที่สามารถนำไปใช้ในชั้นคลังข้อมูล BRE อาจมีความหมายหลายอย่าง แต่ในบริบทของคลังข้อมูล มีประโยชน์สำหรับการสร้างคอลัมน์จากการคำนวณในตารางเชิงสัมพันธ์ คอลัมน์จากการคำนวณเหล่านี้มักจะแสดงเป็นการคำนวณทางคณิตศาสตร์หรือนิพจน์โดยใช้คำสั่งแบบมีเงื่อนไข

ความตั้งใจคือการแยกตรรกะทางธุรกิจออกจากโค้ด BI หลัก ตามแนวปฏิบัติดั้งเดิม กฎทางธุรกิจนั้นมีการเขียนโค้ดแบบตรงไปตรงมาในขั้นตอนการจัดเก็บ SQL ดังนั้นจึงต้องใช้ความพยายามอย่างมากในการดูแลรักษาเมื่อจำเป็นต้องเปลี่ยนธุรกิจ ใน BRE จะมีการกำหนดกฎธุรกิจหนึ่งครั้งและใช้หลายครั้งเมื่อนำไปใช้กับเอนทิตีคลังข้อมูลที่แตกต่างกัน ถ้าตรรกะการคำนวณจำเป็นต้องมีการเปลี่ยนแปลง จะต้องมีการอัปเดตในที่เดียวเท่านั้นและไม่ได้อยู่ในขั้นตอนการจัดเก็บจำนวนมาก นอกจากนี้ยังมีข้อดีอีกอย่างเช่น: เฟรมเวิร์กของ BRE ช่วยเพิ่มความโปร่งใสและความสามารถที่จะมองเห็นไปยังตรรกะทางธุรกิจที่นำไปใช้ ซึ่งสามารถแสดงผ่านชุดรายงานที่สร้างเอกสารการอัปเดตด้วยตนเอง

แหล่งข้อมูล

ในทางปฏิบัติ คลังข้อมูลสามารถรวบรวมข้อมูลจากแหล่งข้อมูลใดก็ตาม ส่วนใหญ่สร้างขึ้นจากแหล่งข้อมูล LOB ทั่วไปซึ่งเป็นฐานข้อมูลเชิงสัมพันธ์ซึ่งจัดเก็บข้อมูลเฉพาะเรื่องสำหรับการขาย การตลาด การเงิน และอื่น ๆ ฐานข้อมูลเหล่านี้สามารถโฮสต์บนคลาวด์หรือสามารถอยู่อยู่ในองค์กรได้ แหล่งข้อมูลอื่นสามารถเป็นไฟล์ได้โดยเฉพาะอย่างยิ่งบันทึกของเว็บหรือแหล่งข้อมูล IOT ที่มาจากอุปกรณ์ ยิ่งไปกว่านั้น ข้อมูลสามารถมีแหล่งที่มาได้จากผู้จำหน่าย Software-as-a-Service (SaaS)

ที่ Microsoft ระบบภายในของเราบางส่วนส่งข้อมูลการดำเนินงานไปยัง ADLS Gen2 โดยตรงโดยใช้รูปแบบไฟล์ดิบ นอกเหนือจากที่จัดเก็บข้อมูลดิบของเราแล้ว ระบบแหล่งข้อมูลอื่น ๆ ประกอบด้วยแอปพลิเคชั่น LOB เชิงสัมพันธ์, เวิร์กบุ๊ก Excel, แหล่งไฟล์อื่น ๆ และการจัดการข้อมูลหลัก (MDM) และที่เก็บข้อมูลแบบกำหนดเอง ที่เก็บข้อมูล MDM ช่วยให้เราสามารถจัดการข้อมูลหลักของเราเพื่อให้แน่ใจว่าข้อมูลเชื่อถือได้ เป็นมาตรฐาน และได้รับการตรวจสอบแล้ว

การนำเข้าข้อมูล

ตามระยะเป็นครั้งคราว และตามจังหวะของธุรกิจ ข้อมูลถูกส่งเข้ามาจากระบบต้นทางและโหลดลงในคลังข้อมูล ซึ่งอาจเป็นวันละครั้ง หรือในช่วงเวลาที่บ่อยมากขึ้น การนำเข้าข้อมูลมีความเกี่ยวข้องกับการสกัดแยก การแปลง และการโหลดข้อมูล หรืออาจเป็นวิธีอื่น: การแยก การโหลด และการแปลงข้อมูล ความแตกต่างเกิดขึ้นเมื่อมีการเปลี่ยนแปลงเกิดขึ้น การแปลงจะถูกนำไปใช้เพื่อทำความสะอาด สร้างความสอดคล้อง รวมรวบ และกำหนดมาตรฐานข้อมูล สำหรับข้อมูลเพิ่มเติม โปรดดู แยก แปลงและโหลด (ETL)

ในท้ายที่สุด เป้าหมายคือการโหลดข้อมูลที่ถูกต้องลงในแบบจำลองระดับองค์กรของคุณได้อย่างรวดเร็วและมีประสิทธิภาพเท่าที่เป็นไปได้

ที่ Microsoft เราใช้ Azure Data Factory (ADF) บริการนี้จะถูกใช้เพื่อกำหนดเวลาและผสานการตรวจสอบข้อมูล การแปลง และโหลดจำนวนมากจากระบบแหล่งข้อมูลภายนอกลงในที่จัดเก็บข้อมูลดิบของเรา ซึ่งถูกจัดการโดยเฟรมเวิร์กที่กำหนดเองเพื่อประมวลผลข้อมูลแบบขนานและเป็นมาตราส่วน นอกจากนี้ ยังมีการบันทึกที่ครอบคลุมเพื่อรองรับการแก้ไขปัญหา การตรวจสอบประสิทธิภาพ และการเรียกใช้การแจ้งเตือนเมื่อตรงตามเงื่อนไขเฉพาะ

ในขณะเดียวกัน Azure Databricks ซึ่งเป็นแพลตฟอร์มการวิเคราะห์บน Apache Spark ซึ่งปรับให้เหมาะกับแพลตฟอร์มบริการคลาวด์ Azure - ทำการแปลงเฉพาะสำหรับวิทยาศาสตร์ข้อมูล นอกจากนี้ยังสร้างและดำเนินการแบบจำลอง ML โดยใช้ Python Notebook คะแนนจากแบบจำลอง ML เหล่านี้ถูกโหลดลงในคลังข้อมูลเพื่อรวมการคาดการณ์กับแอปพลิเคชันและรายงานขององค์กร เนื่องจาก Azure Databricks เข้าถึงไฟล์ของที่จัดเก็บข้อมูลดิบได้โดยตรง จึงช่วยขจัดหรือลดความจำเป็นในการคัดลอกหรือรับข้อมูลลงได้

เฟรมเวิร์กการนำเข้าข้อมูล

เราพัฒนา เฟรมเวิร์กการนำเข้าข้อมูล เป็นชุดของตารางการกำหนดค่าและขั้นตอน รองรับวิธีการที่ขับเคลื่อนด้วยข้อมูลเพื่อรับข้อมูลปริมาณขนาดใหญ่ที่มีความเร็วสูงและใช้โค้ดน้อยที่สุด ในระยะสั้น เฟรมเวิร์กนี้ช่วยลดความซับซ้อนของกระบวนการเก็บรวบรวมข้อมูลเพื่อโหลดคลังข้อมูล

เฟรมเวิร์กขึ้นอยู่กับตารางการกำหนดค่าที่เก็บแหล่งข้อมูลและข้อมูลที่เกี่ยวข้องกับข้อมูลปลายทาง เช่น ชนิดของแหล่งข้อมูล เซิร์ฟเวอร์ ฐานข้อมูล สคีมา และรายละเอียดที่เกี่ยวข้องกับตาราง วิธีการออกแบบนี้หมายความว่าเราไม่จำเป็นต้องพัฒนาไปป์ไลน์ ADF เฉพาะหรือแพคเกจ SQL Server Integration Services (SSIS) แต่จะมีการเขียนขั้นตอนในภาษาของตัวเลือกของเราเพื่อสร้างไปป์ไลน์ ADF ที่สร้างขึ้นและดำเนินการแบบไดนามิกในขณะดำเนินการ ดังนั้นการเก็บรวบรวมข้อมูลจึงกลายเป็นแบบฝึกหัดการกำหนดค่าที่ใช้งานได้ง่าย โดยทั่วไปแล้วจะต้องมีแหล่งข้อมูลการพัฒนาที่หลากหลายเพื่อสร้างแพคเกจ ADF หรือแพคเกจ SSIS ที่มีการเขียนโค้ดแบบตรงไปตรงมา

เฟรมเวิร์กการนำเข้าข้อมูลถูกออกแบบมาเพื่อลดความซับซ้อนของกระบวนการจัดการกับการเปลี่ยนแปลงสกีมาแหล่งต้นน้ำด้วย ง่ายต่อการอัปเดตข้อมูลการกำหนดค่าด้วยตนเองหรือโดยอัตโนมัติ เมื่อตรวจพบการเปลี่ยนแปลงสคีมาเพื่อรับแอททริบิวที่เพิ่มเข้ามาใหม่ในระบบต้นทาง

เฟรมเวิร์กการจัดเรียง

เราพัฒนา เฟรมเวิร์กการจัดเรียง เพื่อดำเนินการและปรับแต่งไปป์ไลน์ข้อมูลของเรา ซึ่งใช้การออกแบบที่ขับเคลื่อนด้วยข้อมูลที่ขึ้นอยู่กับชุดของตารางการกำหนดค่า ตารางเหล่านี้จะจัดเก็บเมตาดาต้าที่อธิบายการขึ้นต่อกันของไปป์ไลน์และวิธีการแมปข้อมูลต้นทางไปยังโครงสร้างข้อมูลเป้าหมาย การลงทุนในการพัฒนาเฟรมเวิร์กแบบปรับตัวเองได้นี้มีการชำระเงินสำหรับตัวเอง ไม่มีข้อกำหนดเพื่อเขียนโค้ดการเคลื่อนย้ายข้อมูลแต่ละรายการแบบตรงไปตรงมา

ที่เก็บข้อมูล

ที่จัดเก็บข้อมูลดิบสามารถจัดเก็บข้อมูลดิบจำนวนมากสำหรับการใช้งานในภายหลังพร้อมกับการแปลงข้อมูลกำหนดขั้น

ที่ Microsoft เราใช้ ADLS Gen2 เป็นแหล่งเก็บข้อมูลจริงเพียงหนึ่งเดียวของเรา ซึ่งจัดเก็บข้อมูลดิบควบคู่ไปกับข้อมูลที่มีการจัดรูปแบบและข้อมูลที่พร้อมสำหรับการผลิต ซึ่งเป็นโซลูชันที่จัดเก็บข้อมูลดิบที่ปรับขนาดได้และคุ้มค่าสำหรับการวิเคราะห์ข้อมูลขนาดใหญ่ การรวมพลังความสามารถของระบบไฟล์ที่มีประสิทธิภาพสูงด้วยสเกลขนาดใหญ่ ซึ่งถูกปรับให้เหมาะสมสำหรับปริมาณการวิเคราะห์ข้อมูล และเวลาเร่งในการมองเห็นข้อมูลเชิงลึก

ADLS Gen2 มอบสิ่งที่ดีที่สุดสองประการ: คือเป็นที่เก็บข้อมูล BLOB และเนมสเปซระบบไฟล์ประสิทธิภาพสูงซึ่งเรากำหนดค่าด้วยสิทธิ์การเข้าถึงที่ละเอียด

ข้อมูลที่ปรับแต่งแล้วจะถูกเก็บไว้ในฐานข้อมูลเชิงสัมพันธ์เพื่อส่งมอบที่เก็บข้อมูลที่มีประสิทธิภาพสูงและปรับขนาดได้สูงสำหรับแบบจำลองระดับองค์กร ที่มีความปลอดภัย การกำกับดูแล และความสามารถในการจัดการ ดาต้ามาร์ทเฉพาะเรื่องจะถูกเก็บไว้ใน Azure Synapse Analytics ซึ่งโหลดโดย Azure Databricks หรือคิวรี T-SQL ของ Polybase

การใช้งาน CPU

ที่เลเยอร์การรายงาน บริการธุรกิจใช้ข้อมูลองค์กรที่มาจากคลังข้อมูล พวกเขายังสามารถเข้าถึงข้อมูลในที่จัดเก็บข้อมูลดิบได้โดยตรงสำหรับการวิเคราะห์เฉพาะกิจหรืองานด้านวิทยาศาสตร์ข้อมูล

มีการบังคับใช้สิทธิ์แบบละเอียดในทุกเลเยอร์: ในที่จัดเก็บข้อมูลดิบ แบบจำลองระดับองค์กร และแบบจำลองความหมาย BI การอนุญาตช่วยให้มั่นใจว่าผู้บริโภคข้อมูลสามารถเห็นข้อมูลที่พวกเขามีสิทธิ์เข้าถึงเท่านั้น

กที่ Microsoft เราใช้รายงาน Power BI และแดชบอร์ด และรายงานที่มีการแบ่งหน้าของ Power BI การวิเคราะห์เฉพาะกิจและการรายงานบางอย่างดำเนินการใน Excel โดยเฉพาะอย่างยิ่งสำหรับการรายงานทางการเงิน

เราเผยแพร่พจนานุกรมข้อมูล ซึ่งให้ข้อมูลอ้างอิงเกี่ยวกับแบบจำลองข้อมูลของเรา พวกเขาจะพร้อมใช้งานสำหรับผู้ใช้ของเราเพื่อให้พวกเขาสามารถค้นพบข้อมูลเกี่ยวกับแพลตฟอร์ม BI ของเรา จัดทำพจนานุกรมการออกแบบแบบจำลองเอกสาร ให้คำอธิบายเกี่ยวกับเอนทิตี, รูปแบบ, โครงสร้าง, สายข้อมูล, ความสัมพันธ์ และการคำนวณ เราใช้ Azure Data Catalog เพื่อทำให้แหล่งข้อมูลของเราสามารถค้นพบและเข้าใจได้อย่างง่าย

โดยทั่วไปแล้ว รูปแบบการใช้ข้อมูลแตกต่างกันไปตามบทบาท:

• นักวิเคราะห์ข้อมูล เชื่อมต่อโดยตรงกับโมเดลความหมาย BI หลัก เมื่อแบบจำลองความหมายหลัก BI ประกอบด้วยข้อมูลและตรรกะทั้งหมดที่ต้องการ พวกเขาจะใช้การเชื่อมต่อแบบสดเพื่อสร้างรายงานและแดชบอร์ด Power BI เมื่อพวกเขาต้องการขยายแบบจำลองด้วยข้อมูลแผนก พวกเขาสร้าง แบบจำลองแบบรวม ใน Power BI หากจำเป็นต้องใช้รายงานสไตล์สเปรดชีต พวกเขาจะใช้ Excel เพื่อสร้างรายงานตามแบบจำลองความหมาย BI หลักหรือแบบจำลองความหมาย BI ของแผนก
• นักพัฒนา BI และผู้เขียนรายงานการดำเนินการเชื่อมต่อโดยตรงกับแบบจำลองระดับองค์กร พวกเขาใช้ Power BI Desktop เพื่อสร้างรายงานการวิเคราะห์การเชื่อมต่อแบบสด พวกเขายังสามารถเขียนรายงาน BI ประเภทการดำเนินงานเป็นรายงานที่มีการแบ่งหน้าของ Power BI การเขียนแบบสอบถาม SQL ดั้งเดิมเพื่อเข้าถึงข้อมูลจากโมเดลองค์กร Azure Synapse Analytics โดยใช้ T-SQL หรือแบบจำลองความหมายของ Power BI โดยใช้ DAX หรือ MDX ได้อีกด้วย
• นักวิทยาศาสตร์ข้อมูล เชื่อมต่อไปยังข้อมูลในที่จัดเก็บข้อมูลดิบโดยตรง พวกเขาใช้ Azure Databricks และ Python notebook เพื่อพัฒนาแบบจำลอง ML ซึ่งมักจะเป็นการทดลองและต้องการทักษะพิเศษสำหรับการใช้งานจริง

ขั้นตอนถัดไป

สำหรับข้อมูลเพิ่มเติมเกี่ยวกับบทความนี้ โปรดดูทรัพยากรต่อไปนี้:

• Enterprise BI ใน Azure ที่มี Azure Synapse Analytics
• มีคำถามหรือไม่ ลองถามชุมชน Power BI
• มีข้อเสนอแนะไหม สนับสนุนแนวคิดในการปรับปรุง Power BI

บริการสายอาชีพ

คู่ค้า Power BI ที่ผ่านการรับรองพร้อมใช้งานเพื่อช่วยให้องค์กรของคุณประสบความสำเร็จเมื่อตั้งค่า COE พวกเขาสามารถให้การฝึกอบรมที่คุ้มค่าหรือการตรวจสอบข้อมูลของคุณให้ หากต้องการตรวจสอบรายชื่อของพันธมิตรของ Power BI ไปที่พอร์ทัลของพันธมิตรของ Power BI

คุณยังสามารถมีส่วนร่วมกับคู่ค้าที่ปรึกษาที่มีประสบการณ์ พวกเขาสามารถช่วยคุณในการประเมิน วัดผลหรือ วิธีการ Power BI ได้