Menyerap data dari Azure Stream Analytics ke Azure Data Explorer

Penting

Konektor ini dapat digunakan dalam Analitik Real-Time di Microsoft Fabric. Gunakan instruksi dalam artikel ini dengan pengecualian berikut:

• Jika diperlukan, buat database menggunakan instruksi di Membuat database KQL.
• Jika diperlukan, buat tabel menggunakan instruksi di Buat tabel kosong.
• Dapatkan URI kueri atau penyerapan menggunakan instruksi di Salin URI.
• Jalankan kueri dalam set kueri KQL.

Azure Data Explorer mendukung penyerapan data dari Azure Stream Analytics. Azure Stream Analytics adalah analitik real-time dan mesin pemrosesan peristiwa kompleks yang dirancang untuk memproses data streaming cepat dalam volume tinggi dari berbagai sumber secara bersamaan.

Pekerjaan Azure Stream Analytics terdiri dari sumber input, kueri transformasi, dan koneksi output. Anda dapat membuat, mengedit, dan menguji pekerjaan Azure Stream Analytics menggunakan templat portal Azure, Azure Resource Manager (ARM), Azure PowerShell, .NET API, REST API, Visual Studio, dan editor tanpa kode Azure Stream Analytics.

Dalam artikel ini, Anda akan mempelajari cara menggunakan pekerjaan Azure Stream Analytics untuk mengumpulkan data dari pusat aktivitas dan mengirimkannya ke kluster Azure Data Explorer menggunakan templat portal Azure atau ARM.

Prasyarat

• Membuat kluster dan database dan tabel.

• Buat hub peristiwa menggunakan bagian berikut dari tutorial Azure Stream Analytics:

  • Buat hub kejadian
  • Berikan akses ke event hub dan dapatkan string koneksi

  Tip

  Untuk pengujian, kami sarankan Anda mengunduh aplikasi generator peristiwa panggilan telepon dari Pusat Unduhan Microsoft atau mendapatkan kode sumber dari GitHub. Saat menyiapkan pekerjaan Azure Stream Analytics, Anda akan mengonfigurasinya untuk menarik data dari hub peristiwa dan meneruskannya ke konektor output Azure Data Explorer.

Membuat koneksi output Azure Data Explorer

Gunakan langkah-langkah berikut untuk membuat output Azure Data Explorer untuk pekerjaan Azure Stream Analytics menggunakan portal Azure atau menggunakan templat ARM. Koneksi digunakan oleh pekerjaan Azure Stream Analytics untuk mengirim data ke tabel azure Data Explorer tertentu. Setelah dibuat dan pekerjaan berjalan, data yang mengalir ke pekerjaan diserap ke dalam tabel target yang ditentukan.

Penting

• Konektor output Azure Data Explorer hanya mendukung autentikasi Identitas Terkelola. Sebagai bagian dari pembuatan konektor, pemantauan database dan izin penyerap database diberikan ke identitas terkelola pekerjaan Azure Stream Analytics.
• Saat menyiapkan konektor output Azure Data Explorer, Anda menentukan kluster target, database, dan nama tabel. Agar penyerapan berhasil, semua kolom yang ditentukan dalam kueri Azure Stream Analytics harus cocok dengan nama dan jenis kolom dalam tabel Azure Data Explorer. Nama kolom peka huruf besar/kecil dan dapat dalam urutan apa pun. Jika ada kolom dalam kueri Azure Stream Analytics yang tidak memetakan ke kolom di tabel Azure Data Explorer, kesalahan akan muncul.

Catatan

• Semua input Azure Stream Analytics didukung. Konektor mengubah input ke format CSV lalu mengimpor data ke dalam tabel Azure Data Explorer yang ditentukan.
• Azure Data Explorer memiliki kebijakan agregasi (batching) untuk konsumsi data, yang dirancang untuk mengoptimalkan proses konsumsi. Secara default, kebijakan dikonfigurasi menjadi 5 menit, 1000 item, atau 1 GB data secara default, sehingga Anda mungkin mengalami latensi. Untuk informasi tentang mengonfigurasi opsi agregasi, lihat kebijakan batching.

Portal Azure

Sebelum memulai, pastikan Anda memiliki pekerjaan Azure Stream Analytics yang sudah ada atau membuat yang baru, lalu gunakan langkah-langkah berikut untuk membuat koneksi Azure Data Explorer Anda.

1. Masuk ke portal Microsoft Azure.

2. Dari portal Azure, buka Semua sumber daya, dan pilih pekerjaan Azure Stream Analytics Anda.

3. Di bawah Topologi pekerjaan, pilih Output.

4. Pilih Tambahkan>azure Data Explorer.

   

5. Isi formulir output menggunakan informasi berikut lalu pilih Simpan.

   Catatan

   Anda bisa menggunakan opsi berikut untuk menentukan kluster dan database Anda:

   • Langganan: Pilih Pilih Azure Data Explorer dari langganan Anda, pilih langganan Anda, lalu pilih kluster dan database Anda.
   • Secara manual: Pilih Sediakan pengaturan Data Explorer Azure secara manual, tentukan URI kluster dan database.

   Nama properti	Deskripsi
   Alias output	Nama yang mudah diingat yang digunakan dalam kueri untuk mengarahkan output kueri ke database ini.
   Langganan	Pilih langganan Azure tempat kluster Anda berada.
   Kluster	Nama unik yang mengidentifikasi kluster Anda. Nama domain [region].kusto.windows.net ditambahkan ke nama kluster yang Anda berikan. Nama hanya boleh berisi huruf kecil dan angka. Nama server tersebut harus terdiri dari 4 hingga 22 karakter.
   URI Kluster	URI penyerapan data kluster Anda. Anda dapat menentukan URI untuk titik akhir penyerapan data azure Data Explorer atau Azure Synapse Data Explorer.
   Database	Nama database tempat Anda mengirim output. Nama database harus unik dalam kluster.
   Autentikasi	Identitas terkelola Microsoft Entra yang memungkinkan kluster Anda mengakses sumber daya lain yang dilindungi Microsoft Entra dengan mudah. Identitas dikelola oleh platform Azure dan tidak mengharuskan Anda untuk menyediakan atau memutar rahasia. Konfigurasi identitas terkelola memungkinkan Anda menggunakan kunci yang dikelola pelanggan untuk kluster Anda.
   Tabel	Nama tabel tempat Anda mengirim output. Nama kolom dan jenis data dalam output Azure Stream Analytics harus cocok dengan skema tabel Azure Data Explorer.

   

Templat Azure Resource Manager

Contoh berikut menunjukkan templat Azure Resource Manager untuk menambahkan konektor output Azure Data Explorer. Anda dapat mengedit dan menyebarkan templat di portal Azure untuk membuat konektor Anda.

{
    "$schema": "http://schema.management.azure.com/schemas/2015-01-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "streamingJobName": {
            "type": "string",
            "defaultValue": "streamingjob"
        },
        "eventHubNamespace": {
            "type": "string"
        },
        "eventHubKey": {
            "type": "securestring"
        },
        "eventHubName": {
            "type": "string"
        },
        "eventHubConsumerGroupName": {
            "type": "string"
        },
        "streamingUnits": {
            "type": "int",
            "defaultValue": 3
        },
        "ADXClusterUri": {
            "type": "string"
        },
        "ADXDatabaseName": {
            "type": "string"
        },
        "ADXTableName": {
            "type": "string"
        }
    },
    "resources": [
        {
            "apiVersion": "2017-04-01-preview",
            "name": "[parameters('streamingJobName')]",
            "location": "[resourceGroup().location]",
            "type": "Microsoft.StreamAnalytics/StreamingJobs",
            "identity": {
                "type": "systemAssigned"
            },
            "properties": {
                "sku": {
                    "name": "standard"
                },
                "eventsOutOfOrderPolicy": "drop",
                "eventsOutOfOrderMaxDelayInSeconds": 10,
                "compatibilityLevel": "1.2",
                "outputStartMode": "JobStartTime",
                "inputs": [
                    {
                        "name": "inputEventHub",
                        "properties": {
                            "type": "stream",
                            "serialization": {
                                "type": "JSON",
                                "properties": {
                                    "encoding": "UTF8"
                                }
                            },
                            "datasource": {
                                "type": "Microsoft.ServiceBus/EventHub",
                                "properties": {
                                    "serviceBusNamespace": "[parameters('eventHubNamespace')]",
                                    "sharedAccessPolicyName": "RootManageSharedAccessKey",
                                    "sharedAccessPolicyKey": "[parameters('eventHubKey')]",
                                    "eventHubName": "[parameters('eventHubName')]",
                                    "consumerGroupName": "[parameters('eventHubConsumerGroupName')]"
                                }
                            }
                        }
                    }
                ],
                "transformation": {
                    "name": "ProcessSampleData",
                    "properties": {
                        "streamingUnits": "[int(parameters('streamingUnits'))]",
                        "query": "select * from inputEventHub"
                    }
                },
                "outputs": [
                    {
                        "name": "output",
                        "properties": {
                            "serialization": {
                                "type": "CSV",
                                "properties": {
                                    "encoding": "UTF8"
                                }
                            },
                            "datasource": {
                                "type": "Microsoft.Kusto/clusters/databases",
                                "properties": {
                                    "cluster": "[parameters('ADXClusterUri')]",
                                    "table": "[parameters('ADXTableName')]",
                                    "database": "[parameters('ADXDatabaseName')]",
                                    "authenticationMode": "Msi"
                                }
                            }
                        }
                    }
                ]
            }
        }
    ]
}

Catatan

Saat membuat koneksi output Azure Data Explorer menggunakan templat ARM, izin identitas terkelola pekerjaan Streaming Analytics ke database Azure Data Explorer harus diberikan secara manual.

Konten terkait

• Mengkueri data di Azure Data Explorer
• Menjalankan Azure Functions dari pekerjaan Azure Stream Analytics