Аналитика данных для тестовых автопарков

Автомобильные изготовители оборудования нуждаются в решениях, чтобы свести к минимуму время между выполнением тестовых тестов и получением диагностических данных тестов для инженеров R&D. По мере того как автомобили становятся более автоматизированными, жизненные циклы программного обеспечения короче, а циклы цифровой обратной связи должны стать быстрее. Новая технология может демократизировать доступ к данным и предоставить инженерам R&D практически в реальном времени аналитические сведения о диагностических данных тестового диска. Безопасный обмен данными может повысить совместную работу между изготовителями оборудования и поставщиками, сокращая циклы разработки.

В этом примере рабочая нагрузка относится как к сценариям приема данных телеметрии, так и к пакетному тестовому выпуску. Рабочая нагрузка ориентирована на платформу данных, которая обрабатывает диагностические данные, а также на соединители для визуализации и создания отчетов.

Архитектура

Скачайте файл PowerPoint со всеми схемами в этой статье.

Поток данных

1. Центр Интернета вещей Azure прием данных в реальном времени, необработанные данные телеметрии (A) и отправляет записанные файлы данных (B) из транспортного средства.

2. Центр Интернета вещей отправляет динамическую телеметрию (A) в приложение Функции Azure, которое декодирует данные телеметрии в нотацию объектов JavaScript (JSON) и отправляет его в Центры событий Azure.

   Центр Интернета вещей отправляет записанные файлы данных (B) в Хранилище BLOB-объектов Azure. Завершенная отправка файла активирует приложение "Функции", которое декодирует данные и записывает декодированный файл в blob-объект служба хранилища в формате, разделенном запятыми (CSV) для приема.

3. Данные Azure Обозреватель прием декодированных данных телеметрии JSON из Центров событий (A) в необработанную таблицу телеметрии и прием декодированных CSV-файлов (B) из BLOB-объектов служба хранилища.

4. Azure Data Обозреватель использует Update функцию для расширения данных JSON в подходящем формате строк и для обогащения данных. Например, данные расположения кластеров функций для поддержки геопространственной аналитики.

5. Специалисты по обработке и анализу данных и инженеры R&D используют возможности язык запросов Kusto (KQL) для создания вариантов использования аналитики, которые они хранят в качестве определяемых пользователем функций. Функции KQL включают агрегирование, анализ временных рядов, геопространственные кластеризация, окна и подключаемые модули машинного обучения (ML).

6. Power BI использует динамический запрос для создания визуализаций с пользовательскими запросами. Подключаемый модуль источника данных Grafana для Azure Data Обозреватель использует определяемые пользователем запросы для обновления практически в режиме реального времени.

7. Приложение службы приложение Azure использует возможности отрисовки источников данных Azure Карты для визуализации определяемых пользователем результатов запроса, использующих формат GeoJSON.

8. Azure Управление API предоставляет доступ к сохраненным необработанным файлам данных из транспортных средств и API конфигурации, который управляет политиками сбора данных сторонних производителей.

Схема Обозреватель данных Azure

1. Функция Update() использует такие методы, как:

   • mv-expand() чтобы развернуть сложные значения, хранящиеся в структурах JSON, в строки с отдельными сигналами.
   • geo_point_to_h3cell() или geo_point_to_geohash() преобразовать широту и долготу в геошеты для геопространственной аналитики.
   • todouble() и tostring() приведение извлеченных значений из динамических объектов JSON в соответствующие типы данных.

2. Представление "Последние известные значения " автопарка объединяет другие представления в рамках приема для предоставления контекста. Исторические метаданные парка полезны, если для новых вариантов использования требуется повторная обработка необработанных данных телеметрии.

3. При необходимости дедупликация сигналов дедупликированного представления используется take_any() для дедупликации сигналов.

4. Представление "Сигналы последних известных значений ", материализованное представление, использует arg_max() метку времени для создания отчетов в режиме реального времени.

5. Сигналы Downsampled материализованного представления объединяет сигналы с помощью предопределенных ячеек, таких как почасовая и ежедневная , чтобы упростить отчеты по всему флоту.

6. Хранимые функции подключаемого модуля, такие как DetectAnomaly() поиск аномалий в рядах данных. Подключаемые модули машинного обучения, такие как автокластер, находят распространенные шаблоны дискретных атрибутов.

7. Функция GetGeospatial() создает файлы GeoJSON, содержащие сгруппированные сигналы по геохашам.

Компоненты

Следующие ключевые технологии реализуют эту рабочую нагрузку:

• Обозреватель данных Azure
• Центр Интернета вещей Azure
• Хранилище BLOB-объектов Azure
• Центры событий Azure
• Функции Azure
• Управляемая Grafana Azure
• Служба приложений Azure
• Azure Maps
• Управление API Azure
• Power BI

Альтернативные варианты

пакетная служба Azure является хорошей альтернативой для сложного декодирования файлов. Этот сценарий включает в себя большое количество файлов более 300 мегабайт, требующих разных алгоритмов декодирования на основе версии или типа файла.

1. Отправка записанного файла данных в БОЛЬШОЙ двоичный объект служба хранилища активирует приложение "Функции" для планирования декодирования.
2. Приложение "Функции" создает пакетное задание, учитывая тип файла, размер и обязательный алгоритм декодирования. Приложение выбирает подходящую виртуальную машину из пула и запускает задание.
3. После завершения задания пакетная служба записывает полученный декодированные файлы обратно в служба хранилища BLOB-объектов. Этот файл должен быть подходит для прямого приема данных в формате, который поддерживает azure Data Обозреватель.
4. Отправка декодированного файла сигнала в большой двоичный объект служба хранилища активирует функцию, которая получает данные в Обозреватель данных Azure. Эта функция создает сопоставление таблиц и данных при необходимости и запускает процесс приема.
5. Azure Data Обозреватель напрямую прием файлов данных из служба хранилища BLOB-объектов.

Этот подход обеспечивает следующие преимущества:

• Функции Azure и пулы пакетной службы могут эффективно обрабатывать масштабируемые задачи обработки данных.
• Пулы пакетной службы предоставляют аналитические сведения о статистике обработки, очередях задач и работоспособности пакетного пула. Вы можете визуализировать состояние, обнаружить проблемы и повторно запустить неудачные задачи.
• Сочетание Функции Azure и пакетная служба Azure поддерживает обработку подключаемых модулей в контейнерах Docker.

Подробности сценария

Автомобильные изготовители оборудования используют большие парки прототипов и тестовых транспортных средств для тестирования и проверки всех видов функций транспортных средств. Тестовые процедуры являются дорогостоящими, потому что реальные водители и транспортные средства должны быть вовлечены, и некоторые конкретные сценарии тестирования дорожного движения в реальном мире должны пройти несколько раз. Тестирование интеграции особенно важно для оценки взаимодействия между электрическими, электронными и механическими компонентами в сложных системах.

Чтобы проверить функции транспортного средства и проанализировать аномалии и сбои, гигабайты диагностических данных должны быть записаны из электронного блока управления (ECUs), компьютерных узлов, транспортных автобусов связи, таких как сеть контроллеров (CAN) и Ethernet и датчики. В прошлом небольшие серверы средства ведения журнала данных в транспортных средствах хранят диагностические данные локально в качестве базы данных master (MDF), расширения мультимедийного слияния (MFX), CSV или JSON-файлов. После завершения тестовых выпусков серверы отправили диагностические данные в центры обработки данных, которые обработали его и предоставили инженерам R&D для аналитики. Этот процесс может занять несколько часов или иногда дней. В последних сценариях используются шаблоны приема данных телеметрии, такие как транспорт телеметрии сообщений (MQTT) на основе синхронных потоков данных или отправки файлов в режиме реального времени.

Потенциальные варианты использования

• Управление транспортными средствами оценивает производительность и собирает данные для каждого транспортного средства в нескольких сценариях тестирования.
• Проверка систем и компонентов использует собранные данные транспортного средства для проверки того, что поведение компонентов транспортного средства находится в пределах операционных границ между поездками.
• Обнаружение аномалий находит шаблоны отклонений значения датчика относительно типичного базового шаблона в режиме реального времени.
• Анализ первопричин использует подключаемые модули машинного обучения, такие как кластеризация алгоритмы для выявления изменений в распределении значений по нескольким измерениям.
• Прогнозное обслуживание объединяет несколько источников данных, обогащенных данных расположения и телеметрии для прогнозирования времени сбоя компонента.
• Оценка устойчивости использует поведение водителя и потребление энергии для оценки воздействия на окружающую среду операций транспортного средства.

Рекомендации

Эти рекомендации реализуют основные принципы платформы Azure Well-Architected Framework, которая представляет собой набор руководящих принципов, которые можно использовать для улучшения качества рабочей нагрузки. Дополнительные сведения см. в статье Microsoft Azure Well-Architected Framework.

Надежность

Надежность гарантирует, что ваше приложение позволит вам выполнить ваши обязательства перед клиентами. Дополнительные сведения см. в разделе "Обзор основы надежности".

• Зоны доступности Azure — это уникальные физические расположения в одном регионе Azure. Зоны доступности могут защитить вычислительные кластеры и данные Azure Обозреватель от частичного сбоя региона.
• Непрерывность бизнес-процессов и аварийное восстановление (BCDR) в Azure Data Обозреватель позволяет бизнесу продолжать работу в условиях сбоя.
• Рассмотрите возможность использования базы данных подписчиков в Azure Data Обозреватель для разделения вычислительных ресурсов между рабочими и непроизводственных вариантами использования.

Безопасность

Безопасность обеспечивает гарантии от преднамеренного нападения и злоупотребления ценными данными и системами. Дополнительные сведения см. в разделе "Общие сведения о компоненте безопасности".

Важно понимать разделение ответственности между автомобильным изготовителем оборудования и корпорацией Майкрософт. В транспортном средстве OEM владеет целым стеком, но по мере перемещения данных в облако некоторые обязанности передаются в Корпорацию Майкрософт. Платформа Azure как услуга (PaaS) обеспечивает встроенную безопасность в физическом стеке, включая операционную систему. Вы можете применить следующие возможности поверх компонентов безопасности инфраструктуры.

• Частные конечные точки для безопасности сети. Дополнительные сведения см. в разделе "Частные конечные точки" для Обозреватель данных Azure и разрешение доступа к пространствам имен Центры событий Azure через частные конечные точки.
• Шифрование при хранении и передаче.
• Управление удостоверениями и доступом, использующими удостоверения Microsoft Entra и политики условного доступа Microsoft Entra.
• Безопасность на уровне строк (RLS) для Обозреватель данных Azure.
• Управление инфраструктурой, использующее Политика Azure.
• Управление данными, использующее Microsoft Purview.

Все эти функции помогают автомобильным изготовителям оборудования создать безопасную среду для данных телеметрии транспортного средства. Дополнительные сведения см. в разделе "Безопасность" в Обозреватель данных Azure.

Оптимизация затрат

Оптимизация затрат рассматривает способы сокращения ненужных расходов и повышения эффективности работы. Дополнительные сведения см. в разделе Обзор критерия "Оптимизация затрат".

Это решение использует следующие методики для оптимизации затрат:

• Правильно настройте горячие кэши и холодное хранилище для таблиц Raw и Signals. Кэш горячих данных хранится в ОЗУ или SSD и обеспечивает улучшенную производительность. Холодные данные, однако, 45 раз дешевле. Задайте политику горячего кэша, которая подходит для вашего варианта использования, например 30 дней.
• Настройте политику хранения в таблицах "Необработанные" и "Сигналы". Определите, когда данные сигнала больше не актуальны, например через 365 дней, и задайте политику хранения соответствующим образом.
• Рассмотрим, какие сигналы относятся к анализу.
• Используйте материализованные представления при запросе последних известных значений, сигналов дедупликации и понижения. Материализованные представления используют меньше ресурсов, чем агрегаты исходной таблицы для каждого запроса.
• Учитывайте потребности аналитики данных в режиме реального времени. Настройка приема потоковой передачи для таблицы динамической телеметрии обеспечивает задержку менее одной секунды между приемом и запросом, но при более высокой стоимости большего количества циклов ЦП.

Оптимизация производительности

Эффективность производительности — это способность рабочей нагрузки эффективно масштабироваться в соответствии с требованиями пользователей. Дополнительные сведения см. в разделе "Общие сведения о эффективности производительности".

• Если число и размер записанных файлов данных превышает 1000 файлов или 300 МБ в день, рассмотрите возможность использования пакетная служба Azure для декодирования.
• Рассмотрите возможность выполнения общих вычислений и анализа после приема и хранения их в дополнительных таблицах.

Развертывание этого сценария

Чтобы развернуть файлы MDF и Обозреватель Azure, вы можете выполнить пошаговые инструкции по развертыванию бесплатного экземпляра, анализу MDF-файлов, приему и выполнению некоторых основных запросов.

Соавторы

Эта статья поддерживается корпорацией Майкрософт. Первоначально он был написан следующими участник.

Основные авторы:

• Фрэнк Калек | Цифровой архитектор автомохимия
• Марио Ортегон-Кабрера | Главный диспетчер программ
• Хеннинг Рауч | Главный диспетчер программ
• Борис Шолл | Партнер, главный архитектор

Другие участник:

• Ханс-Питер Голинер | Архитектор облачных решений
• Джейсон Буска | Старший инженер по программному обеспечению

Чтобы просмотреть недоступные профили LinkedIn, войдите в LinkedIn.

Следующие шаги

• Прием данных из концентратора событий в Azure Data Explorer
• Отправка файлов с помощью Центра Интернета вещей
• Материализованные представления
• Визуализация данных из Azure Data Explorer в Grafana
• Визуализация данных из Azure Data Explorer в Power BI
• Создание источника данных для карты в Microsoft Azure Карты

Связанные ресурсы

• Аналитика больших данных с помощью Azure Data Обозреватель
• Прогнозная аналитика с телематиками транспортных средств
• Автоматизированное управление автопарком управляемых транспортных средств
• Стандартные блоки для сред автономного моделирования
• Обработка данных автомобиля в режиме реального времени с помощью Интернета вещей