Azure Synapse Analytics の専用 SQL プールで Azure Stream Analytics を使用する

[アーティクル]
06/01/2023

Azure Stream Analytics は、待機時間の短縮、高可用性、クラウド内のデータのストリーミングデータに対する拡張性の高い複雑なイベント処理を実現する、フルマネージドのサービスです。基本事項については、「 Azure Stream Analytics の概要」をお読みください。その後で、「 Azure Stream Analytics の使用」チュートリアルに従って、Stream Analytics を使用してエンドツーエンドソリューションを作成する方法を知ることができます。

この記事では、専用 SQL プールを出力シンクとして使用して、Azure Stream Analytics ジョブで高スループットのデータインジェストを行う方法について説明します。

前提条件

Azure Stream Analytics ジョブ - Azure Stream Analytics ジョブを作成するには、Azure Stream Analytics の使用に関するチュートリアルの手順に従ってください。
1. Event Hubs 入力の作成
2. イベントジェネレーターアプリケーションの構成と起動このアプリは、Event Hubs を介してクライアントからデータを送信します。データの JSON 構造は次のようになります。
```
{
    RecordType: "",
    SystemIdentity: "",
    FileNum: ,
    SwitchNum: "",
    CallingNum: "",
    CallingIMSI: "",
    CalledNum: "",
    CalledIMSI: "",
    DateS: "",
    TimeS: "",
    TimeType: ,
    CallPeriod: ,
    CallingCellID: "",
    CalledCellID: "",
    ServiceType: "",
    Transfer: ,
    IncomingTrunk: "",
    OutgoingTrunk: "",
    MSRN: "",
    CalledNum2: "",
    FCIFlag: "",
    callrecTime: "",
    EventProcessedUtcTime: "",
    PartitionId: ,
    EventEnqueuedUtcTime: ""
}
```
3. Stream Analytics のジョブの準備
4. ジョブの入力とクエリの指定
専用 SQL プール - 新しい専用 SQL プールを作成するには、次に関する記事の手順に従います。クイックスタート:専用 SQL プールを作成する。

専用 SQL プールを指すストリーミング出力を指定する

手順 1

Azure portal から Stream Analytics ジョブにアクセスし、ジョブトポロジ メニューの出力をクリックします。

手順 2.

[追加] ボタンをクリックし、ドロップダウンメニューから [Azure Synapse Analytics] を選択します。

Azure Synapse Analytics を選択します

手順 3.

次の値を入力します。

[出力のエイリアス] :このジョブの出力のフレンドリ名を入力します。
サブスクリプション:
- 専用 SQL プールが Stream Analytics ジョブと同じサブスクリプション内にある場合は、[Azure Synapse Analytics をサブスクリプションから選択する] をクリックします。
- 専用 SQL プールが別のサブスクリプションにある場合は、[Azure Synapse Analytics の設定を手動で行う] をクリックします。
データベース:次に、ドロップダウンリストから転送先データベースを選択します。
User Name:データベースの書き込みアクセス許可を持つアカウントのユーザー名を指定します。
パスワード:指定したユーザーアカウントのパスワードを入力します。
テーブル:データベース内の対象テーブルの名前を指定します。
保存ボタンをクリックします。

すべて入力されている Azure Synapse Analytics フォーム

手順 4.

テストを実行する前に、専用 SQL プールにテーブルを作成する必要があります。 SQL Server Management Studio (SSMS) または任意のクエリツールを使用して、次の表作成スクリプトを実行します。

CREATE TABLE SensorLog
(
    RecordType VARCHAR(2)
    , SystemIdentity VARCHAR(2)
    , FileNum INT
    , SwitchNum VARCHAR(50)
    , CallingNum VARCHAR(25)
    , CallingIMSI VARCHAR(25)
    , CalledNum VARCHAR(25)
    , CalledIMSI VARCHAR(25)
    , DateS VARCHAR(25)
    , TimeS VARCHAR(25)
    , TimeType INT
    , CallPeriod INT
    , CallingCellID VARCHAR(25)
    , CalledCellID VARCHAR(25)
    , ServiceType VARCHAR(25)
    , [Transfer] INT
    , IncomingTrunk VARCHAR(25)
    , OutgoingTrunk VARCHAR(25)
    , MSRN VARCHAR(25)
    , CalledNum2 VARCHAR(25)
    , FCIFlag VARCHAR(25)
    , callrecTime VARCHAR(50)
    , EventProcessedUtcTime VARCHAR(50)
    , PartitionId int
    , EventEnqueuedUtcTime VARCHAR(50)
    )
WITH (DISTRIBUTION = ROUND_ROBIN)

手順 5.

Azure Portal の Stream Analytics ジョブで、ジョブ名をクリックします。 [出力の詳細] ペインで [テスト] ボタンをクリックします。

出力の詳細上の [テスト] ボタンデータベースへの接続が成功すると、ポータルに通知が表示されます。

手順 6.

[ジョブトポロジ] の下にある [クエリ] メニューをクリックし、クエリを変更して、作成したストリーム出力にデータを挿入します。クエリをテストするには [Test selected query](選択したクエリをテストする) をクリックします。クエリテストが成功した場合は [クエリの保存] ボタンをクリックします。

クエリを保存する

手順 7.

Azure Stream Analytics ジョブを開始します。 [概要] メニューの [開始] ボタンをクリックします。

Stream Analytics ジョブを開始する

[ジョブの開始] ウィンドウの [開始] ボタンをクリックします。

[開始] をクリックする

次のステップ

統合の概要については、その他のサービスの統合に関する記事を参照してください。開発に関するその他のヒントについては、専用 SQL プールの設計上の決定とコーディング技法に関する記事を参照してください。

Share via