Изменить

Использование конвейера транскрибирования текста для анализа записанных бесед

Речь об искусственном интеллекте Azure
Язык искусственного интеллекта Azure
Службы ИИ Azure
Azure Synapse Analytics
Azure Logic Apps

Распознавание речи и анализ записанных вызовов клиентов может обеспечить ваш бизнес ценными сведениями о текущих тенденциях, недостатках продуктах и успехах.

Пример решения, описанного в этой статье, описывает повторяемый конвейер для транскрибирования и анализа данных беседы.

Архитектура

Архитектура состоит из двух конвейеров: конвейер транскрибирования для преобразования звука в текст, а также конвейер обогащения и визуализации.

Конвейер транскрибирования

Схема, демонстрирующая прием речи и преобразование ее в текст с помощью служб ИИ Azure.

Скачайте файл Visio для этой архитектуры.

Поток данных

  1. Звуковые файлы передаются в учетную запись служба хранилища Azure с помощью любого поддерживаемого метода. Вы можете использовать средство на основе пользовательского интерфейса, например служба хранилища Azure Обозреватель, или использовать пакет SDK хранилища или API.
  2. Отправка в служба хранилища Azure активирует приложение логики Azure. Приложение логики обращается к любым необходимым учетным данным в Azure Key Vault и отправляет запрос к API пакетной транскрибирования службы "Речь".
  3. Приложение логики отправляет вызов звуковых файлов в службу "Речь", включая необязательные параметры для диаризации говорящего.
  4. Служба "Речь" завершает пакетную транскрибирование и загружает результаты транскрибирования в учетную запись служба хранилища.

Конвейер обогащения и визуализации

Схема, демонстрирующая конвейер обогащения и визуализации.

Скачайте файл Visio для этой архитектуры.

Поток данных

  1. Конвейер Azure Synapse Analytics выполняется для извлечения и обработки транскрибированного звукового текста.
  2. Конвейер отправляет обработанный текст через вызов API в языковую службу. Служба выполняет различные обогащения естественного языка (NLP), такие как анализ тональности и мнения, сводка и пользовательское и предварительно созданное распознавание именованных сущностей.
  3. Обработанные данные хранятся в пуле SQL Azure Synapse Analytics, где его можно обслуживать для средств визуализации, таких как Power BI.

Компоненты

  • Хранилище BLOB-объектов Azure. Масштабируемое и безопасное хранилище объектов для облачных рабочих нагрузок, архивов, озер данных, высокопроизводительных вычислений и машинного обучения. В этом решении хранятся аудиофайлы и результаты транскрибирования и они служат в качестве озера данных для нижестоящей аналитики.
  • Azure Logic Apps. Платформа интеграции как услуга (iPaaS), созданная в контейнерной среде выполнения. В этом решении она интегрирует службы хранилища и распознавания речи.
  • Служба "Речь ИИ". API на основе искусственного интеллекта, предоставляющий функции речи, такие как речь, текст для речи, перевод речи и распознавание говорящего. В этом решении используется функция пакетного транскрибирования.
  • Язык ИИ. Управляемая служба на основе искусственного интеллекта, которая предоставляет возможности естественного языка, такие как анализ тональности, извлечение сущностей и автоматическое ответирование на вопросы.
  • Azure Synapse Analytics. Набор служб, которые обеспечивают интеграцию данных, хранение корпоративных данных и аналитику больших данных. В этом решении он преобразует и обогащает данные транскрибирования и служит данным для подчиненных средств визуализации.
  • Power BI. Средство моделирования данных и визуальной аналитики. В этом решении она предоставляет транскрибированные аналитические сведения о аудио для пользователей и лиц, принимающих решения.

Альтернативные варианты

Ниже приведены некоторые альтернативные подходы к архитектуре решения:

  • Рассмотрите возможность настройки учетной записи служба хранилища BLOB-объектов для использования иерархического пространства имен. Эта конфигурация предоставляет элементы управления безопасностью на основе ACL и могут повысить производительность для некоторых рабочих нагрузок больших данных.
  • Вы можете использовать Функции Azure в качестве средства интеграции с кодом вместо logic Apps или конвейеров Azure Synapse в зависимости от размера и масштаба рабочей нагрузки.

Подробности сценария

Центры обслуживания клиентов являются неотъемлемой частью успеха многих предприятий во многих отраслях. Это решение использует API распознавания речи из служб ИИ Azure для транскрибирования звука и диаризации записанных вызовов клиентов. Azure Synapse Analytics используется для обработки и выполнения задач NLP, таких как анализ тональности и распознавание пользовательских именованных сущностей с помощью вызовов API к языку ИИ.

Службы и конвейер, описанные здесь, можно использовать для обработки транскрибированного текста для распознавания и удаления конфиденциальной информации, анализа тональности и т. д. Вы можете масштабировать службы и конвейер для размещения любого объема записанных данных.

Потенциальные варианты использования

Это решение может обеспечить ценность для организаций во многих отраслях, включая телекоммуникации, финансовые услуги и правительство. Это относится к любой организации, которая записывает беседы. В частности, клиенты или внутренние центры звонков или службы поддержки могут воспользоваться аналитическими сведениями, производными от этого решения.

Рекомендации

Эти рекомендации реализуют основные принципы платформы Azure Well-Architected Framework, которая представляет собой набор руководящих принципов, которые можно использовать для улучшения качества рабочей нагрузки. Дополнительные сведения см. в статье Microsoft Azure Well-Architected Framework.

Безопасность

Безопасность обеспечивает гарантии от преднамеренного нападения и злоупотребления ценными данными и системами. Дополнительные сведения см. в разделе "Общие сведения о компоненте безопасности".

  • Запрос к API службы "Речь" может включать URI подписанного URL-адреса (SAS) для конечного контейнера в служба хранилища Azure. URI SAS позволяет службе "Речь" напрямую выводить файлы транскрибирования в расположение контейнера. Если ваша организация не разрешает использовать URI SAS для хранения, необходимо реализовать функцию для периодического опроса API службы "Речь" для завершенных ресурсов.
  • Учетные данные, такие как учетные записи или ключи API, должны храниться в Azure Key Vault в качестве секретов. Настройте приложения логики и конвейеры Azure Synapse для доступа к хранилищу ключей с помощью управляемых удостоверений, чтобы избежать хранения секретов в параметрах приложения или коде.
  • Звуковые файлы, хранящиеся в большом двоичном объекте, могут содержать конфиденциальные данные клиента. Если решение используется несколькими клиентами, необходимо ограничить доступ к этим файлам. Используйте иерархическое пространство имен в учетной записи хранения и примените разрешения на уровне папок и файлов, чтобы ограничить доступ только к нужному экземпляру Microsoft Entra.

Оптимизация затрат

Оптимизация затрат заключается в поиске способов уменьшения ненужных расходов и повышения эффективности работы. Дополнительные сведения см. в разделе Обзор критерия "Оптимизация затрат".

Все службы Azure, описанные в этой архитектуре, предоставляют возможность выставления счетов по мере использования, поэтому затраты на решение масштабируется линейно.

Azure Synapse предоставляет возможность бессерверных пулов SQL, поэтому вычислительные ресурсы для рабочей нагрузки хранения данных можно сформировать по требованию. Если вы не используете Azure Synapse для обслуживания других подчиненных вариантов использования, рассмотрите возможность использования бессерверных для снижения затрат.

Общие сведения о принципах оптимизации затрат см. в статье "Дополнительные стратегии оптимизации затрат".

Сведения о ценах на предлагаемые здесь службы см. в этой оценке в калькуляторе цен Azure.

Оптимизация производительности

Уровень производительности — это способность вашей рабочей нагрузки эффективно масштабироваться в соответствии с требованиями, предъявляемыми к ней пользователями. Дополнительные сведения см. в разделе "Общие сведения о эффективности производительности".

API пакетной службы распознавания речи предназначен для большого объема, но другие API служб ИИ Azure могут иметь ограничения на запросы для каждого уровня подписки. Рекомендуется контейнеризировать эти API, чтобы избежать регулирования обработки больших объемов. Контейнеры обеспечивают гибкость в развертывании в облаке или локальной среде. Кроме того, можно устранить побочные эффекты новых выпусков версий с помощью контейнеров. Дополнительные сведения см. в разделе "Поддержка контейнеров" в службах ИИ Azure.

Соавторы

Эта статья поддерживается корпорацией Майкрософт. Первоначально он был написан следующими участник.

Основные авторы:

Другие участник:

Чтобы просмотреть недоступные профили LinkedIn, войдите в LinkedIn.

Следующие шаги