Share via

เริ่มต้นใช้งานด่วน: ย้ายและแปลงข้อมูลด้วยกระแสข้อมูลและไปป์ไลน์ข้อมูล

  • บทความ

ในบทช่วยสอนนี้ คุณค้นพบวิธีที่ประสบการณ์ของกระแสข้อมูลและไปป์ไลน์ข้อมูลสามารถสร้างโซลูชัน Data Factory ที่มีประสิทธิภาพและครอบคลุมได้

ข้อกำหนดเบื้องต้น

เมื่อต้องเริ่มต้นใช้งาน คุณต้องมีข้อกําหนดเบื้องต้นต่อไปนี้:

กระแสข้อมูลเมื่อเทียบกับไปป์ไลน์

กระแสข้อมูล Gen2 ช่วยให้คุณสามารถใช้ประโยชน์จากอินเทอร์เฟสที่เขียนโค้ดน้อยและข้อมูลที่มีมากกว่า 300+ และการแปลงที่ใช้ AI เพื่อให้คุณทําความสะอาด เตรียมและแปลงข้อมูลได้อย่างง่ายดายด้วยความยืดหยุ่นที่มากกว่าเครื่องมืออื่นๆ ไปป์ไลน์ข้อมูลช่วยให้สามารถเขียนเวิร์กโฟลว์ข้อมูลที่ยืดหยุ่นได้ตามความต้องการขององค์กร ในไปป์ไลน์ คุณสามารถสร้างการจัดกลุ่มเชิงตรรกะของกิจกรรมที่ทํางานซึ่งอาจรวมถึงการเรียกใช้กระแสข้อมูลเพื่อทําความสะอาดและเตรียมข้อมูลของคุณ ในขณะที่มีฟังก์ชันการทํางานบางอย่างซ้อนทับกัน ระหว่างสองสถานการณ์ การเลือกที่จะใช้สําหรับสถานการณ์เฉพาะนั้น จะขึ้นอยู่กับว่าคุณต้องการความสมบูรณ์เต็มที่ของไปป์ไลน์หรือสามารถใช้ความสามารถที่ง่ายกว่าแต่จํากัดมากขึ้นของกระแสข้อมูล สําหรับรายละเอียดเพิ่มเติม โปรดดูคู่มือการตัดสินใจของ Fabric

แปลงข้อมูลด้วยกระแสข้อมูล

ทําตามขั้นตอนเหล่านี้เพื่อตั้งค่ากระแสข้อมูลของคุณ

ขั้นตอนที่ 1: สร้างกระแสข้อมูล

  1. เลือกพื้นที่ทํางานที่เปิดใช้งาน Fabric ของคุณ จากนั้นเลือก ใหม่ จากนั้นเลือก กระแสข้อมูล Gen2

    Screenshot showing where to start creating a dataflow gen2.

  2. หน้าต่างตัวแก้ไขกระแสข้อมูลจะปรากฏขึ้น เลือกการ์ด นําเข้าจาก SQL Server

    Screenshot showing the dataflow editor window.

ขั้นตอนที่ 2: รับข้อมูล

  1. บนเชื่อมต่อกล่องโต้ตอบแหล่งข้อมูลที่แสดงถัดไป ให้ใส่รายละเอียดเพื่อเชื่อมต่อกับฐานข้อมูล Azure SQL ของคุณ จากนั้นเลือก ถัดไป สําหรับตัวอย่างนี้ คุณใช้ฐานข้อมูลตัวอย่าง AdventureWorksLT ที่กําหนดค่าไว้เมื่อคุณตั้งค่าฐานข้อมูล Azure SQL ในข้อกําหนดเบื้องต้น

    Screenshot showing how to connect to an Azure SQL database.

  2. เลือกข้อมูลที่คุณต้องการแปลง จากนั้นเลือก สร้าง สําหรับการเริ่มต้นใช้งานด่วนนี้ ให้เลือก SalesLT.Customer จากข้อมูลตัวอย่าง AdventureWorksLT ที่ให้มาสําหรับ Azure SQL DB จากนั้นปุ่ม เลือกตารางที่เกี่ยวข้อง เพื่อรวมตารางอื่นอีกสองตารางที่เกี่ยวข้องโดยอัตโนมัติ

    Screenshot showing where to choose from the available data.

ขั้นตอนที่ 3: แปลงข้อมูลของคุณ

  1. ถ้าไม่ได้เลือกไว้ ให้เลือก ปุ่ม มุมมอง ไดอะแกรม ตามแถบสถานะที่ด้านล่างของหน้า หรือเลือก มุมมอง ไดอะแกรม ภายใต้ เมนู มุมมอง ที่ด้านบนของตัวแก้ไข Power Query ตัวเลือกใดตัวเลือกหนึ่งเหล่านี้สามารถสลับมุมมองไดอะแกรมได้

    Screenshot showing where to select diagram view.

  2. คลิกขวาที่คิวรี SalesLT Customer ของคุณ หรือเลือกจุดไข่ปลาแนวตั้งทางด้านขวาของคิวรี จากนั้นเลือกผสานคิวรี

    Screenshot showing where to find the Merge queries option.

  3. กําหนดค่าการผสานโดยการเลือก ตาราง SalesLTOrderHeader เป็นตารางด้านขวาสําหรับการผสาน คอลัมน์ CustomerID จากแต่ละตารางเป็นคอลัมน์การรวม และ ด้านนอก ซ้ายเป็นชนิดการรวม จากนั้นเลือก ตกลง เพื่อเพิ่มคิวรีผสาน

    Screenshot of the Merge configuration screen.

  4. เลือก ปุ่ม เพิ่มปลายทาง ข้อมูล ซึ่งมีลักษณะเหมือนสัญลักษณ์ฐานข้อมูลที่มีลูกศรอยู่ด้านบน จากคิวรีผสานใหม่ที่คุณเพิ่งสร้างขึ้น จากนั้นเลือก ฐานข้อมูล Azure SQL เป็นชนิดปลายทาง

    Screenshot highlighting the Add data destination button on the newly created merge query.

  5. ระบุรายละเอียดสําหรับการเชื่อมต่อฐานข้อมูล Azure SQL ของคุณซึ่งจะเผยแพร่คิวรีผสาน ในตัวอย่างนี้ คุณสามารถใช้ ฐานข้อมูล AdventureWorksLT ที่เราใช้เป็นแหล่งข้อมูลสําหรับปลายทางได้เช่นกัน

    Screenshot showing the Connect to data destination dialog with sample values populated.

  6. เลือกฐานข้อมูลเพื่อจัดเก็บข้อมูล และใส่ชื่อตาราง จากนั้นเลือก ถัดไป

    Screenshot showing the Choose destination target window.

  7. คุณสามารถปล่อยการตั้งค่าเริ่มต้นไว้ในกล่องโต้ตอบ เลือกการตั้งค่า ปลายทาง และเพียงเลือก บันทึกการตั้งค่า โดยไม่ต้องทําการเปลี่ยนแปลงที่นี่

    Screenshot showing the Choose destination settings dialog.

  8. เลือก เผยแพร่ กลับไปที่หน้าตัวแก้ไขกระแสข้อมูล เพื่อเผยแพร่กระแสข้อมูล

    Screenshot highlighting the Publish button on the dataflow gen2 editor.

ย้ายข้อมูลพร้อมไปป์ไลน์ข้อมูล

หลังจากที่คุณได้สร้าง Dataflow Gen2 แล้ว คุณสามารถดําเนินการในไปป์ไลน์ได้ ในตัวอย่างนี้ คุณคัดลอกข้อมูลที่สร้างขึ้นจากกระแสข้อมูลลงในรูปแบบข้อความในบัญชี Azure Blob Storage

ขั้นตอนที่ 1: สร้างไปป์ไลน์ข้อมูลใหม่

  1. จากพื้นที่ทํางานของคุณ ให้เลือก ใหม่ จากนั้นเลือก ไปป์ไลน์ข้อมูล

    Screenshot showing where to start a new data pipeline.

  2. ตั้งชื่อไปป์ไลน์ของคุณ จากนั้นเลือก สร้าง

    Screenshot showing the new pipeline creation prompt with a sample pipeline name.

ขั้นตอนที่ 2: กําหนดค่ากระแสข้อมูลของคุณ

  1. เพิ่มกิจกรรมกระแสข้อมูลใหม่ไปยังไปป์ไลน์ข้อมูลของคุณโดยการเลือกกระแสข้อมูลในแท็บกิจกรรม

    Screenshot showing where to select the Dataflow option.

  2. เลือกกระแสข้อมูลบนพื้นที่ทํางานของไปป์ไลน์ จากนั้นแท็บการตั้งค่า ให้เลือกกระแสข้อมูลที่คุณสร้างไว้ก่อนหน้านี้จากรายการดรอปดาวน์

    Screenshot showing how to choose the dataflow you created.

  3. เลือก บันทึก จากนั้น เรียกใช้ เพื่อเรียกใช้กระแสข้อมูลเพื่อกรอกข้อมูลลงในตารางคิวรีที่ผสานซึ่งคุณออกแบบไว้ในขั้นตอนก่อนหน้าในตอนแรก

    Screenshot showing where to select Run.

ขั้นตอนที่ 3: ใช้ผู้ช่วยคัดลอกเพื่อเพิ่มกิจกรรมการคัดลอก

  1. เลือก คัดลอกข้อมูล บนพื้นที่ทํางาน เพื่อเปิด เครื่องมือ คัดลอกผู้ช่วย เพื่อเริ่มต้นใช้งาน หรือเลือก ใช้ผู้ช่วย คัดลอก จากรายการ ดรอปดาวน์ คัดลอกข้อมูล ภายใต้ แท็บ กิจกรรม บนริบบอน

    Screenshot showing the two ways to access the copy assistant.

  2. เลือกแหล่งข้อมูลของคุณโดยการเลือกชนิดแหล่งข้อมูล ในบทช่วยสอนนี้ คุณใช้ฐานข้อมูล Azure SQL ที่ใช้ก่อนหน้านี้เมื่อคุณสร้างกระแสข้อมูลเพื่อสร้างคิวรีผสานใหม่ เลื่อนลงด้านล่างข้อเสนอข้อมูลตัวอย่าง และเลือกแท็บ Azure จากนั้น ฐานข้อมูล Azure SQL จากนั้นเลือก ถัดไป เพื่อดําเนินการต่อ

    Screenshot showing where to choose a data source.

  3. สร้างการเชื่อมต่อไปยังแหล่งข้อมูลของคุณโดยการเลือก สร้างการเชื่อมต่อใหม่ กรอกข้อมูลการเชื่อมต่อที่จําเป็นบนแผงและป้อน AdventureWorksLT สําหรับฐานข้อมูลที่เราสร้างคิวรีผสานในกระแสข้อมูล จากนั้นเลือก ถัดไป

    Screenshot showing where to create a new connection.

  4. เลือกตารางที่คุณสร้างขึ้นในขั้นตอนกระแสข้อมูลก่อนหน้านี้ จากนั้นเลือก ถัดไป

    Screenshot showing how to select from available tables.

  5. สําหรับปลายทางของคุณ เลือก Azure Blob Storage แล้วเลือกถัดไป

    Screenshot showing the Azure Blob Storage data destination.

  6. สร้างการเชื่อมต่อไปยังปลายทางของคุณโดยการเลือก สร้างการเชื่อมต่อใหม่ ระบุรายละเอียดสําหรับการเชื่อมต่อของคุณ จากนั้นเลือก ถัดไป

    Screenshot showing how to create a connection.

  7. เลือกเส้นทางโฟลเดอร์ของคุณและใส่ชื่อไฟล์ จากนั้นเลือก ถัดไป

    Screenshot showing how to select folder path and file name.

  8. เลือก ถัดไป อีกครั้งเพื่อยอมรับรูปแบบไฟล์เริ่มต้น ตัวคั่นคอลัมน์ ตัวคั่นแถว และชนิดการบีบอัด โดยอาจรวมถึงส่วนหัวด้วย

    Screenshot showing the configuration options for the file in Azure Blob Storage.

  9. เสร็จสิ้นการตั้งค่าของคุณ จากนั้นให้ตรวจสอบและเลือก บันทึก + เรียกใช้ เพื่อเสร็จสิ้นกระบวนการ

    Screenshot showing how to review copy data settings.

ขั้นตอนที่ 5: ออกแบบไปป์ไลน์ข้อมูลของคุณ และบันทึกเพื่อเรียกใช้และโหลดข้อมูล

  1. เมื่อต้องการเรียกใช้กิจกรรม คัดลอก หลังจากกิจกรรม กระแสข้อมูล ให้ลากจาก สําเร็จ บนกิจกรรม กระแสข้อมูล ไปยังกิจกรรม คัดลอก กิจกรรม การคัดลอก จะทํางานเฉพาะหลังจากที่ กิจกรรมกระแส ข้อมูลสําเร็จแล้ว

    Screenshot showing how to make the dataflow run take place after the copy activity.

  2. เลือก บันทึก เพื่อบันทึกไปป์ไลน์ข้อมูลของคุณ จากนั้นเลือก เรียกใช้ เพื่อเรียกใช้ไปป์ไลน์ข้อมูลของคุณและโหลดข้อมูลของคุณ

    Screenshot showing where to select Save and Run.

กําหนดการดําเนินการไปป์ไลน์

เมื่อคุณเสร็จสิ้นการพัฒนาและทดสอบไปป์ไลน์ของคุณคุณสามารถกําหนดเวลาให้ดําเนินการโดยอัตโนมัติ

  1. บนแท็บ หน้าแรก ของหน้าต่างตัวแก้ไขไปป์ไลน์ ให้เลือก กําหนดการ

    A screenshot of the Schedule button on the menu of the Home tab in the pipeline editor.

  2. กําหนดค่ากําหนดการตามความจําเป็น ตัวอย่างนี้กําหนดให้ไปป์ไลน์ดําเนินการทุกวันเวลา 20:00 น. จนถึงสิ้นปี

    Screenshot showing the schedule configuration for a pipeline to run daily at 8:00 PM until the end of the year.

เนื้อหาที่เกี่ยวข้อง

ตัวอย่างนี้แสดงวิธีการสร้างและกําหนดค่ากระแสข้อมูล Gen2 เพื่อสร้างคิวรีแบบผสานและเก็บไว้ในฐานข้อมูล Azure SQL จากนั้นคัดลอกข้อมูลจากฐานข้อมูลลงในไฟล์ข้อความใน Azure Blob Storage คุณได้เรียนรู้วิธีการ:

  • สร้างกระแสข้อมูล
  • แปลงข้อมูลด้วยกระแสข้อมูล
  • สร้างไปป์ไลน์ข้อมูลโดยใช้กระแสข้อมูล
  • จัดลําดับการดําเนินการของขั้นตอนในไปป์ไลน์
  • คัดลอกข้อมูลด้วยคัดลอกผู้ช่วย
  • เรียกใช้และกําหนดเวลาไปป์ไลน์ข้อมูลของคุณ

ถัดไป ล่วงหน้าเพื่อเรียนรู้เพิ่มเติมเกี่ยวกับการตรวจสอบการเรียกใช้ไปป์ไลน์ของคุณ

วิธีการตรวจสอบการเรียกใช้ไปป์ไลน์ใน Microsoft Fabric