Streaming real time di Power BI

  • Artikel
  • 13 menit untuk membaca

Power BI dengan streaming real-time memungkinkan Anda melakukan streaming data dan memperbarui dasbor secara real time. Setiap visual atau dasbor yang dibuat di Power BI dapat menampilkan dan memperbarui data dan visual real time. Perangkat dan sumber data streaming dapat berupa sensor pabrik, sumber media sosial, metrik penggunaan layanan, atau banyak pengumpul atau pemancar data sensitif waktu lainnya.

Screenshot of the Environmental sensors dashboard, showing the results of the data in real-time.

Artikel ini memperlihatkan kepada Anda cara menyiapkan himpunan data streaming real-time di Power BI. Pertama, penting untuk memahami jenis himpunan data real-time yang dirancang untuk ditampilkan dalam petak peta (dan dasbor), dan perbedaan himpunan data tersebut.

Jenis himpunan data real-time

Ada tiga jenis himpunan data real-time, yang dirancang untuk ditampilkan pada dasbor real-time:

  • Mendorong himpunan data
  • Himpunan data streaming
  • Himpunan data streaming PubNub

Pertama mari kita pahami bagaimana himpunan data ini berbeda satu sama lain (bagian ini), lalu kita membahas cara mendorong data ke dalam masing-masing himpunan data ini.

Mendorong himpunan data

Dengan himpunan data push, data didorong ke layanan Power BI. Saat himpunan data dibuat, layanan Power BI secara otomatis membuat database baru di layanan untuk menyimpan data. Karena ada database yang mendasar yang terus menyimpan data saat masuk, laporan dapat dibuat dengan data. Laporan dan visualnya sama seperti visual laporan lainnya, yang berarti Anda dapat menggunakan semua fitur pembuatan laporan Power BI untuk membuat visual, termasuk visual Power BI, pemberitahuan data, petak peta dasbor yang disematkan, dan banyak lagi.

Setelah laporan dibuat menggunakan himpunan data push, salah satu visualnya dapat disematkan ke dasbor. Di dasbor tersebut, visual diperbarui secara real-time setiap kali data diperbarui. Dalam layanan, dasbor memicu refresh petak setiap kali data baru diterima.

Ada dua pertimbangan yang perlu diperhatikan tentang petak peta yang disematkan dari himpunan data push:

  • Menyematkan seluruh laporan menggunakan opsi sematkan halaman langsungtidak akan mengakibatkan data diperbarui secara otomatis.
  • Setelah visual disematkan ke dasbor, Anda dapat menggunakan QA& untuk mengajukan pertanyaan tentang himpunan data push dalam bahasa alami. Setelah membuat kueri QA&, Anda dapat menyematkan visual yang dihasilkan kembali ke dasbor, dan dasbor tersebut juga akan diperbarui secara real time.

Himpunan data streaming

Dengan himpunan data streaming, data juga didorong ke layanan Power BI, dengan perbedaan penting: Power BI hanya menyimpan data ke dalam cache sementara, yang dengan cepat kedaluwarsa. Cache sementara hanya digunakan untuk menampilkan visual, yang memiliki beberapa riwayat sementara, seperti bagan garis yang memiliki jendela waktu satu jam.

Dengan himpunan data streaming, tidak ada database yang mendasar, sehingga Anda tidak dapat membuat visual laporan menggunakan data yang mengalir dari aliran. Dengan demikian, Anda tidak dapat menggunakan fungsionalitas laporan seperti pemfilteran, Power BI visual, dan fungsi laporan lainnya.

Satu-satunya cara untuk memvisualisasikan himpunan data streaming adalah dengan menambahkan petak peta dan menggunakan himpunan data streaming sebagai sumber data streaming kustom . Petak peta streaming kustom yang didasarkan pada himpunan data streaming dioptimalkan untuk menampilkan data real-time dengan cepat. Ada sedikit latensi antara ketika data didorong ke layanan Power BI dan ketika visual diperbarui, karena tidak perlu data dimasukkan atau dibaca dari database.

Dalam praktiknya, himpunan data streaming dan visual streaming yang menyertainya paling baik digunakan dalam situasi ketika sangat penting untuk meminimalkan latensi antara kapan data didorong dan ketika divisualisasikan. Selain itu, praktik terbaik adalah mendorong data dalam format yang dapat divisualisasikan apa adanya, tanpa agregasi tambahan. Contoh data yang siap apa adanya termasuk suhu, dan rata-rata yang telah dihitung sebelumnya.

Himpunan data streaming PubNub

Dengan himpunan data streaming PubNub, klien web Power BI menggunakan PubNub SDK untuk membaca aliran data PubNub yang ada. Tidak ada data yang disimpan oleh layanan Power BI. Karena panggilan ini dilakukan dari klien web secara langsung, Anda harus mencantumkan lalu lintas ke PubNub sebagaimana diizinkan, jika Anda hanya mengizinkan lalu lintas keluar yang disetujui dari jaringan Anda. Lihat instruksi dalam artikel dukungan tentang menyetujui lalu lintas keluar untuk PubNub.

Seperti halnya himpunan data streaming, dengan himpunan data streaming PubNub tidak ada database yang mendasar dalam Power BI, sehingga Anda tidak dapat membuat visual laporan terhadap data yang mengalir, dan tidak dapat memanfaatkan fungsionalitas laporan seperti pemfilteran, Power BI visual, dan sebagainya. Dengan demikian, himpunan data streaming PubNub juga hanya dapat divisualisasikan dengan menambahkan petak ke dasbor, dan mengonfigurasi aliran data PubNub sebagai sumbernya.

Petak berdasarkan himpunan data streaming PubNub dioptimalkan untuk menampilkan data real-time dengan cepat. Karena Power BI terhubung langsung ke aliran data PubNub, ada sedikit latensi antara ketika data didorong ke layanan Power BI dan kapan visual diperbarui.

Matriks himpunan data streaming

Tabel berikut (atau matriks, jika Anda mau) menjelaskan tiga jenis himpunan data untuk streaming real time, dan mencantumkan kemampuan dan batasan masing-masing.

Screenshot of a table, showing the streaming dataset matrix.

Mendorong data ke himpunan data

Bagian sebelumnya menjelaskan tiga jenis utama himpunan data real-time yang dapat Anda gunakan dalam streaming real-time, dan perbedaannya. Bagian ini menjelaskan cara membuat dan mendorong data ke dalam himpunan data tersebut.

Ada tiga cara utama Anda dapat mendorong data ke dalam himpunan data:

  • Menggunakan REST API Power BI
  • Menggunakan antarmuka pengguna Himpunan Data Streaming
  • Menggunakan Azure Stream Analytics

Mari kita lihat masing-masing pendekatan tersebut secara bergiliran.

Menggunakan REST API Power BI untuk mendorong data

Power BI REST API dapat digunakan untuk membuat dan mengirim data untuk mendorong himpunan data dan streaming himpunan data. Saat Anda membuat himpunan data menggunakan Power BI REST API, bendera defaultMode menentukan apakah himpunan data mendorong atau melakukan streaming. Jika tidak ada bendera defaultMode yang diatur, himpunan data default ke himpunan data push .

Jika nilai defaultMode diatur ke pushStreaming, himpunan data adalah himpunan data pushandstreaming, memberikan manfaat dari kedua jenis himpunan data.

Catatan

Saat menggunakan himpunan data dengan bendera defaultMode diatur ke pushStreaming, jika permintaan melebihi batasan ukuran 15Kb untuk himpunan data streaming , tetapi kurang dari pembatasan ukuran 16MB dari himpunan data push , permintaan akan berhasil dan data akan diperbarui dalam himpunan data push. Namun, petak peta streaming apa pun akan gagal untuk sementara waktu.

Setelah himpunan data dibuat, gunakan REST API untuk mendorong data menggunakan POSTRows API.

Semua permintaan ke REST API diamankan menggunakan Azure AD OAuth.

Menggunakan antarmuka pengguna Himpunan Data Streaming untuk mendorong data

Dalam layanan Power BI, Anda dapat membuat himpunan data dengan memilih pendekatan API seperti yang ditunjukkan pada gambar berikut.

Screenshot of the New streaming dataset choices, showing the A P I selection.

Saat membuat himpunan data streaming baru, Anda dapat memilih untuk mengaktifkan analisis data Historis seperti yang ditunjukkan di bawah ini, yang memiliki dampak signifikan.

Screenshot of the New streaming dataset, showing the Historic data analysis enabled.

Saat analisis data historis dinonaktifkan, dan secara default, Anda membuat himpunan data streaming seperti yang dijelaskan sebelumnya dalam artikel ini. Saat Analisis data historisdiaktifkan, himpunan data yang dibuat menjadi himpunan data streaming dan himpunan data push. Ini setara dengan menggunakan REST API Power BI untuk membuat himpunan data dengan defaultMode-nya diatur ke pushStreaming, seperti yang dijelaskan sebelumnya dalam artikel ini.

Catatan

Untuk himpunan data streaming yang dibuat menggunakan UI layanan Power BI, seperti yang dijelaskan dalam paragraf sebelumnya, autentikasi Azure AD tidak diperlukan. Dalam himpunan data tersebut, pemilik himpunan data menerima URL dengan kunci baris, yang mengotorisasi pemohon untuk mendorong data ke dalam himpunan data dengan menggunakan token pembawa OAuth Azure AD. Perhatikan, bagaimanapun, bahwa pendekatan Azure AD (AAD) masih berfungsi untuk mendorong data ke dalam himpunan data.

Menggunakan Azure Stream Analytics untuk mendorong data

Anda dapat menambahkan Power BI sebagai output dalam Azure Stream Analytics (ASA), lalu memvisualisasikan aliran data tersebut di layanan Power BI secara real time. Bagian ini menjelaskan detail teknis tentang bagaimana proses itu terjadi.

Azure Stream Analytics menggunakan REST API Power BI untuk membuat aliran data outputnya ke Power BI, dengan defaultMode diatur ke pushStreaming, menghasilkan himpunan data yang dapat memanfaatkan dorong dan streaming. Saat himpunan data dibuat, Azure Stream Analytics mengatur bendera retentionPolicy ke basicFIFO. Dengan pengaturan tersebut, database yang mendukung himpunan data push-nya menyimpan 200.000 baris, dan baris mana yang dihilangkan dengan cara first-in first-out (FIFO).

Perhatian

Jika kueri Azure Stream Analytics Anda menghasilkan output yang sangat cepat untuk Power BI (misalnya, sekali atau dua kali per detik), Azure Stream Analytics akan mulai mengumpulkan output tersebut ke dalam satu permintaan. Ini dapat menyebabkan ukuran permintaan melebihi batas petak peta streaming. Dalam hal ini, seperti yang disebutkan di bagian sebelumnya, petak peta streaming akan gagal dirender. Dalam kasus seperti itu, praktik terbaik adalah memperlambat laju output data ke Power BI; misalnya, alih-alih nilai maksimum setiap detik, atur ke maksimum lebih dari 10 detik.

Menyiapkan himpunan data streaming real-time Anda di Power BI

Sekarang setelah kita membahas tiga jenis himpunan data utama untuk streaming real-time, dan tiga cara utama Anda dapat mendorong data ke dalam himpunan data, mari kita buat himpunan data streaming real-time Anda berfungsi di Power BI.

Untuk mulai menggunakan streaming real-time, Anda perlu memilih salah satu dari dua cara agar data streaming dapat digunakan dalam Power BI:

  • petak peta dengan visual dari data streaming
  • himpunan data yang dibuat dari data streaming yang bertahan di Power BI

Dengan salah satu opsi, Anda harus menyiapkan data Streaming di Power BI. Untuk melakukan ini, di dasbor Anda (dasbor yang sudah ada, atau yang baru) pilih Tambahkan petak peta lalu pilih Data streaming kustom.

Screenshot of the dashboard, showing the Custom streaming data selection in the Add tile section.

Jika Anda belum menyiapkan data streaming, jangan khawatir - Anda dapat memilih kelola data untuk memulai.

Screenshot of the dashboard, showing the manage data link in the Add a custom streaming data tile.

Di halaman ini, Anda dapat memasukkan titik akhir himpunan data streaming jika sudah membuatnya (ke dalam kotak teks). Jika Anda belum memiliki himpunan data streaming, pilih ikon plus ( + ) di sudut kanan atas untuk melihat opsi yang tersedia untuk membuat himpunan data streaming.

Screenshot of the dashboard, showing how to input the endpoint of your streaming dataset with a pointer to the plus icon.

Saat Mengklik + ikon, Anda akan melihat dua opsi:

Screenshot of the New streaming dataset choices, showing A P I and PubNub options.

Bagian berikutnya menjelaskan opsi ini, dan menjelaskan lebih rinci tentang cara membuat petak peta streaming atau cara membuat himpunan data dari sumber data streaming, yang kemudian dapat Anda gunakan nanti untuk membuat laporan.

Buat himpunan data streaming Anda dengan opsi yang paling Anda sukai

Ada dua cara untuk membuat umpan data streaming real time yang dapat dikonsumsi dan divisualisasikan oleh Power BI:

  • Power BI REST API menggunakan titik akhir streaming real-time
  • PubNub

Bagian berikutnya melihat setiap opsi secara bergantian.

Menggunakan POWER BI REST API

Power BI REST API - Peningkatan terbaru pada Power BI REST API dirancang untuk membuat streaming real-time lebih mudah bagi pengembang. Saat Anda memilih API dari jendela Himpunan data streaming baru, Anda disajikan dengan entri untuk menyediakan yang memungkinkan Power BI untuk menyambungkan dan menggunakan titik akhir Anda:

Screenshot of the New streaming dataset dialog, showing the Power B I REST A P I entries for connection.

Jika Anda ingin Power BI menyimpan data yang dikirim melalui aliran data ini, aktifkan Analisis data historis dan Anda akan dapat melakukan pelaporan dan analisis pada aliran data yang dikumpulkan. Anda juga dapat mempelajari lebih lanjut tentang API.

Setelah berhasil membuat aliran data, Anda diberikan titik akhir URL REST API, yang dapat dipanggil aplikasi Anda menggunakan permintaan POST untuk mendorong data Anda ke Power BI streaming himpunan data yang Anda buat.

Saat membuat permintaan POST, Anda harus memastikan isi permintaan cocok dengan sampel JSON yang disediakan oleh antarmuka pengguna Power BI. Misalnya, bungkus objek JSON Anda dalam array.

Peringatan

Untuk himpunan data streaming yang dibuat menggunakan layanan Power BI UI, pemilik himpunan data menerima URL yang menyertakan kunci sumber daya. Kunci ini memberi otorisasi kepada pemohon untuk mendorong data ke dalam himpunan data tanpa menggunakan token pembawa Azure AD OAuth, jadi harap ingat implikasi memiliki kunci rahasia di URL saat bekerja dengan jenis himpunan data dan metode ini.

Menggunakan PubNub

Dengan integrasi streaming PubNub dengan Power BI, Anda dapat menggunakan aliran data PubNub latensi rendah (atau membuat yang baru) dan menggunakannya dalam Power BI. Saat Anda memilih PubNub lalu pilih Berikutnya, Anda akan melihat jendela berikut:

Screenshot of the New streaming dataset dialog, showing the PubNub entries for connection.

Peringatan

Saluran PubNub dapat diamankan dengan menggunakan kunci autentikasi PubNub Access Manager (PAM). Kunci ini akan dibagikan dengan semua pengguna yang memiliki akses ke dasbor. Anda dapat mempelajari selengkapnya tentang kontrol akses PubNub.

Aliran data PubNub sering kali bervolume tinggi, dan tidak selalu cocok dalam bentuk aslinya untuk penyimpanan dan analisis historis. Untuk menggunakan Power BI analisis historis data PubNub, Anda harus mengagregasi aliran PubNub mentah dan mengirimkannya ke Power BI. Salah satu cara untuk melakukannya adalah dengan Azure Stream Analytics.

Contoh penggunaan streaming real time di Power BI

Berikut adalah contoh cepat tentang cara kerja streaming real time di Power BI. Anda dapat mengikuti sampel ini untuk melihat sendiri nilai streaming real time.

Dalam sampel ini, kami menggunakan aliran yang tersedia untuk umum dari PubNub. Berikut langkah-langkahnya:

  1. Di layanan Power BI, pilih dasbor (atau buat yang baru) dan pilih Tambahkan petakPetaKustom> Data Streaming lalu pilih tombol Berikutnya.

    Screenshot of the dashboard, showing the Add tile with the Custom streaming data selection.

  2. Jika Anda belum memiliki dan mengalirkan sumber data, pilih tautan kelola data (tepat di atas tombol Berikutnya ), lalu pilih + Tambahkan data streaming dari tautan di kanan atas jendela. Pilih PubNub lalu pilih Berikutnya.

  3. Buat nama untuk himpunan data Anda, lalu tempelkan nilai berikut ke dalam jendela yang muncul, lalu pilih Berikutnya:

    Berlangganan kunci:sub-c-5f1b7c8e-fbee-11e3-aa40-02ee2ddab7fe

    Channel:pubnub-sensor-network

    Screenshot of the New streaming dataset dialog, showing how to create a Dataset name and entries in the Sub-key and Channel name fields.

  4. Di jendela berikut, cukup pilih default (yang diisi secara otomatis), lalu pilih Buat.

    Screenshot of the New streaming dataset dialog, showing defaults for the Dataset name and Values from stream fields.

  5. Kembali ke ruang kerja Power BI Anda, buat dasbor baru lalu tambahkan petak peta (lihat di atas untuk langkah-langkahnya, jika Anda membutuhkannya). Kali ini saat Anda membuat petak peta dan memilih Data Streaming Kustom, Anda memiliki himpunan data streaming untuk dikerjakan. Lanjutkan dan bermain-main dengan itu. Menambahkan bidang angka ke diagram garis, lalu menambahkan petak peta lainnya, Anda bisa mendapatkan dasbor real time yang terlihat seperti berikut ini:

    Screenshot of the Environmental sensors dashboard, showing the results in real-time.

Cobalah, dan mainkan dengan himpunan data sampel. Kemudian, buat himpunan data Anda sendiri, dan streaming data langsung ke Power BI.

Perhatian

Opsi saturasi warna tidak lagi didukung untuk petak peta real time. Jika Anda mencoba menambahkan saturasi, Anda akan bertemu dengan kesalahan. Opsi harus dibiarkan kosong dan visual akan berfungsi dengan benar.

Pertanyaan dan jawaban

Berikut adalah beberapa pertanyaan umum tentang streaming real-time di Power BI, dan jawaban.

Bisakah saya menggunakan filter pada himpunan data push? Bagaimana dengan himpunan data streaming?

Sayangnya, himpunan data streaming tidak mendukung pemfilteran. Untuk himpunan data push, Anda dapat membuat laporan, memfilter laporan, lalu menyematkan visual yang difilter ke dasbor. Namun, tidak ada cara untuk mengubah filter pada visual setelah berada di dasbor.

Secara terpisah, Anda dapat menyematkan petak laporan langsung ke dasbor, dalam hal ini Anda dapat mengubah filter. Namun, petak peta laporan langsung tidak akan diperbarui secara real-time karena data didorong - Anda harus memperbarui visual secara manual dengan menggunakan opsi petak peta dasbor refresh di menu Lainnya .

Saat menerapkan filter untuk mendorong himpunan data dengan bidang DateTime dengan presisi milidetik, operator kesetaraan tidak didukung. Namun, operator seperti lebih besar dari (>) atau kurang dari (<) beroperasi dengan benar.

Bagaimana cara melihat nilai terbaru pada himpunan data push? Bagaimana dengan himpunan data streaming?

Himpunan data streaming dirancang untuk menampilkan data terbaru. Anda dapat menggunakan visual streaming Kartu untuk dengan mudah melihat nilai numerik terbaru. Sayangnya, kartu tidak mendukung data jenis DateTime atau Text.

Untuk himpunan data push, saat Anda memiliki tanda waktu dalam skema, Anda dapat mencoba membuat visual laporan dengan filter N terakhir.

Mengingat pertanyaan sebelumnya, bagaimana cara melakukan pemodelan pada himpunan data real-time?

Pemodelan tidak dimungkinkan pada himpunan data streaming, karena data tidak disimpan secara permanen. Untuk himpunan data push, Anda dapat menggunakan rest API buat himpunan data untuk membuat himpunan data dengan hubungan dan pengukuran dan/atau menggunakan TABEL pembaruan REST API untuk menambahkan pengukuran ke tabel yang ada.

Bagaimana cara menghapus semua nilai pada himpunan data push? Bagaimana dengan himpunan data streaming?

Pada himpunan data push, Anda dapat menggunakan panggilan REST API baris penghapusan. Saat ini tidak ada cara untuk menghapus data dari himpunan data streaming, meskipun data akan dihapus sendiri setelah satu jam.

Saya menyiapkan output Azure Stream Analytics ke Power BI, tetapi saya tidak melihatnya muncul di Power BI – apa yang salah?

Berikut adalah daftar periksa yang dapat Anda gunakan untuk memecahkan masalah:

  1. Mulai ulang pekerjaan Azure Stream Analytics (pekerjaan yang dibuat sebelum rilis GA streaming akan memerlukan hidupkan ulang)
  2. Coba otorisasi ulang koneksi Power BI Anda di Azure Stream Analytics
  3. Ruang kerja mana yang Anda tentukan di output Azure Stream Analytics? Di layanan Power BI, apakah Anda memeriksa ruang kerja (sama) itu?
  4. Apakah kueri Azure Stream Analytics secara eksplisit menghasilkan output Power BI? (menggunakan kata kunci INTO)
  5. Apakah pekerjaan Azure Stream Analytics memiliki data yang mengalir melaluinya? Himpunan data hanya dibuat saat data sedang ditransmisikan.
  6. Dapatkah Anda melihat log Azure Stream Analytics untuk melihat apakah ada peringatan atau kesalahan?

Refresh halaman otomatis

Refresh halaman otomatis berfungsi pada tingkat halaman laporan, dan memungkinkan Anda mengatur interval refresh untuk visual yang hanya aktif saat halaman sedang digunakan. Refresh halaman otomatis hanya tersedia untuk sumber data DirectQuery. Interval refresh minimum bergantung pada jenis ruang kerja tempat laporan diterbitkan, dan pengaturan admin kapasitas untuk ruang kerja Premium.

Pelajari selengkapnya tentang refresh halaman otomatis di artikel refresh halaman otomatis .

Langkah berikutnya

Berikut adalah beberapa tautan yang mungkin berguna saat bekerja dengan streaming real-time di Power BI: