Использование Azure Stream Analytics с выделенным пулом SQL в Azure Synapse Analytics

Статья
06/01/2023

Azure Stream Analytics является полностью управляемой службой, которая обеспечивает низкую задержку, высокий уровень доступности и масштабируемую обработку сложных событий посредством потоковой передачи данных в облако. Основные сведения см. в статье Что такое Stream Analytics? Вы также можете узнать о создании комплексного решения с помощью Stream Analytics в руководстве Приступая к работе с Azure Stream Analytics: выявление мошенничества в режиме реального времени.

В этой статье вы узнаете, как использовать выделенный пул SQL в качестве приемника выходных данных с высокой пропускной способностью с помощью заданий Azure Stream Analytics.

Предварительные требования

Задание Azure Stream Analytics. Чтобы создать задание в Azure Stream Analytics, выполните действия, описанные в учебнике Приступая к работе с Azure Stream Analytics:
1. Создание входных данных Центров событий
2. Настройте и запустите приложение генератора событий. Это приложение отправляет данные из клиента через Центры событий. Структура ДАННЫХ JSON выглядит следующим образом:
```
{
    RecordType: "",
    SystemIdentity: "",
    FileNum: ,
    SwitchNum: "",
    CallingNum: "",
    CallingIMSI: "",
    CalledNum: "",
    CalledIMSI: "",
    DateS: "",
    TimeS: "",
    TimeType: ,
    CallPeriod: ,
    CallingCellID: "",
    CalledCellID: "",
    ServiceType: "",
    Transfer: ,
    IncomingTrunk: "",
    OutgoingTrunk: "",
    MSRN: "",
    CalledNum2: "",
    FCIFlag: "",
    callrecTime: "",
    EventProcessedUtcTime: "",
    PartitionId: ,
    EventEnqueuedUtcTime: ""
}
```
3. Подготовка задания Stream Analytics
4. Указание входных данных задания и запроса
Выделенный пул SQL. Чтобы создать новый выделенный пул SQL, выполните действия, описанные в статье Быстрое начало. Создание выделенного пула SQL.

Потоковый вывод в выделенный пул SQL

Шаг 1

В портале Azure перейдите к заданию Stream Analytics и нажмите кнопку Выходные данные в меню Топология задания.

Шаг 2

Нажмите кнопку Добавить и выберите Azure Synapse Аналитика в раскрывающемся меню.

Выберите Azure Synapse Analytics

Шаг 3

Введите следующие значения:

Псевдоним выходных данных: введите понятное имя для выходных данных этого задания.
Подписка:
- Если выделенный пул SQL находится в одной подписке с заданием Stream Analytics, щелкните Выбрать Azure Synapse Analytics в подписках.
- Если выделенный пул SQL находится в другой подписке, щелкните "Указать параметры Azure Synapse Analytics вручную".
База данных. Выберите целевую базу данных из раскрывающегося списка.
Имя пользователя: укажите имя пользователя учетной записи, который имеет разрешение на запись в базе данных.
Пароль: укажите пароль для учетной записи указанного пользователя.
Таблица: укажите имя целевой таблицы в базе данных.
Нажмите кнопку Сохранить

Заполненная форма Azure Synapse Analytics

Шаг 4

Перед выполнением теста, необходимо создать таблицу в выделенном пуле SQL. Запустите следующий скрипт создания таблицы с помощью SQL Server Management Studio (SSMS) или выбранного средства создания запросов.

CREATE TABLE SensorLog
(
    RecordType VARCHAR(2)
    , SystemIdentity VARCHAR(2)
    , FileNum INT
    , SwitchNum VARCHAR(50)
    , CallingNum VARCHAR(25)
    , CallingIMSI VARCHAR(25)
    , CalledNum VARCHAR(25)
    , CalledIMSI VARCHAR(25)
    , DateS VARCHAR(25)
    , TimeS VARCHAR(25)
    , TimeType INT
    , CallPeriod INT
    , CallingCellID VARCHAR(25)
    , CalledCellID VARCHAR(25)
    , ServiceType VARCHAR(25)
    , [Transfer] INT
    , IncomingTrunk VARCHAR(25)
    , OutgoingTrunk VARCHAR(25)
    , MSRN VARCHAR(25)
    , CalledNum2 VARCHAR(25)
    , FCIFlag VARCHAR(25)
    , callrecTime VARCHAR(50)
    , EventProcessedUtcTime VARCHAR(50)
    , PartitionId int
    , EventEnqueuedUtcTime VARCHAR(50)
    )
WITH (DISTRIBUTION = ROUND_ROBIN)

Шаг 5

В задании Stream Analytics на портале Azure щелкните имя вашего задания. Нажмите кнопку Тест на панели Сведения о выходных данных.

Кнопка После успешного подключения к базе данных вы увидите уведомление на портале.

Шаг 6

Откройте меню Запрос в разделе Топология задания и вставьте запрос так, чтобы он вставлял данные в созданный потоковый вывод. Нажмите кнопку Проверить выбранный запрос, чтобы протестировать запрос. Если проверка прошла успешно, нажмите кнопку Сохранить запрос.

Сохранение запроса