Menggunakan alur transkripsi ucapan ke teks untuk menganalisis percakapan yang direkam

Ucapan Azure AI
Bahasa Azure AI
Azure AI services
Azure Synapse Analytics
Azure Logic Apps

Pengenalan ucapan dan analisis panggilan pelanggan yang dicatat dapat memberi bisnis Anda informasi berharga tentang tren saat ini, kekurangan produk, dan keberhasilan.

Contoh solusi yang dijelaskan dalam artikel ini menguraikan alur berulang untuk menerjemahkan dan menganalisis data percakapan.

Sistem

Arsitektur terdiri dari dua alur: Alur transkripsi untuk mengonversi audio ke teks, dan alur pengayaan dan visualisasi.

Alur transkripsi

Diagram yang menggambarkan cara menyerap ucapan dan mengonversinya menjadi teks dengan menggunakan layanan Azure AI.

Unduh file Visio arsitektur ini.

Aliran data

  1. File audio diunggah ke akun Azure Storage melalui metode apa pun yang didukung. Anda dapat menggunakan alat berbasis UI seperti Azure Storage Explorer atau menggunakan SDK penyimpanan atau API.
  2. Unggahan ke Azure Storage memicu aplikasi logika Azure. Aplikasi logika mengakses kredensial yang diperlukan di Azure Key Vault dan membuat permintaan ke API transkripsi batch layanan Ucapan.
  3. Aplikasi logika mengirimkan panggilan file audio ke layanan Ucapan, termasuk pengaturan opsional untuk diarisasi pembicara.
  4. Layanan Ucapan menyelesaikan transkripsi batch dan memuat hasil transkripsi ke akun Penyimpanan.

Alur pengayaan dan visualisasi

Diagram yang mengilustrasikan alur pengayaan dan visualisasi.

Unduh file Visio arsitektur ini.

Aliran data

  1. Alur Azure Synapse Analytics berjalan untuk mengambil dan memproses teks audio yang ditranskripsikan.
  2. Alur mengirimkan teks yang diproses melalui panggilan API ke layanan Bahasa. Layanan ini melakukan berbagai pengayaan pemrosesan bahasa alami (NLP), seperti penambangan sentimen dan opini, ringkasan, dan pengenalan entitas bernama kustom dan bawaan.
  3. Data yang diproses disimpan di kumpulan SQL Azure Synapse Analytics, tempat data tersebut dapat dilayani ke alat visualisasi seperti Power BI.

Komponen

  • Azure Blob Storage. Penyimpanan objek yang dapat diskalakan dan aman secara besar-besaran untuk beban kerja cloud-native, arsip, data lake, komputasi performa tinggi, dan pembelajaran mesin. Dalam solusi ini, ia menyimpan file audio dan hasil transkripsi dan berfungsi sebagai data lake untuk analitik hilir.
  • Azure Logic Apps. Platform integrasi sebagai layanan (iPaaS) yang dibangun pada runtime kontainer. Dalam solusi ini, ini mengintegrasikan layanan AI penyimpanan dan ucapan.
  • Layanan Ucapan AI. API berbasis AI yang menyediakan kemampuan ucapan seperti ucapan ke teks, teks ke ucapan, terjemahan ucapan, dan Pengenalan Pembicara. Fungsionalitas transkripsi batchnya digunakan dalam solusi ini.
  • Bahasa AI. Layanan terkelola berbasis AI yang menyediakan kemampuan bahasa alami seperti analisis sentimen, ekstraksi entitas, dan jawaban atas pertanyaan otomatis.
  • Azure - Synapse Analytics. Serangkaian layanan yang menyediakan integrasi data, pergudangan data perusahaan, dan analitik big data. Dalam solusi ini, ia mengubah dan memperkaya data transkripsi dan melayani data ke alat visualisasi hilir.
  • Power BI. Pemodelan data dan alat analitik visual. Dalam solusi ini, ia menyajikan wawasan audio yang ditranskripsikan kepada pengguna dan pembuat keputusan.

Alternatif

Berikut adalah beberapa pendekatan alternatif untuk arsitektur solusi ini:

  • Pertimbangkan untuk mengonfigurasi akun Blob Storage untuk menggunakan namespace hierarkis. Konfigurasi ini menyediakan kontrol keamanan berbasis daftar kontrol akses (ACL) dan dapat meningkatkan performa untuk beberapa beban kerja big data.
  • Anda mungkin dapat menggunakan Azure Functions sebagai alat integrasi code-first alih-alih Logic Apps atau alur Azure Synapse, tergantung pada ukuran dan skala beban kerja.

Detail skenario

Pusat layanan pelanggan adalah bagian integral dari keberhasilan banyak bisnis di banyak industri. Solusi ini menggunakan Speech API dari layanan Azure AI untuk transkripsi audio dan diarisasi panggilan pelanggan yang direkam. Azure Synapse Analytics digunakan untuk memproses dan melakukan tugas NLP seperti analisis sentimen dan pengenalan entitas bernama kustom melalui panggilan API ke Bahasa AI.

Anda dapat menggunakan layanan dan alur yang dijelaskan di sini untuk memproses teks yang ditranskripsikan untuk mengenali dan menghapus informasi sensitif, melakukan analisis sentimen, dan banyak lagi. Anda dapat menskalakan layanan dan alur untuk mengakomodasi volume data yang direkam.

Kemungkinan kasus penggunaan

Solusi ini dapat memberikan nilai bagi organisasi di banyak industri, termasuk telekomunikasi, layanan keuangan, dan pemerintah. Ini berlaku untuk organisasi apa pun yang merekam percakapan. Secara khusus, pusat panggilan internal atau meja dukungan yang menghadap pelanggan dapat memperoleh manfaat dari wawasan yang berasal dari solusi ini.

Pertimbangan

Pertimbangan ini mengimplementasikan pilar Azure Well-Architected Framework, yang merupakan serangkaian tenet panduan yang dapat Anda gunakan untuk meningkatkan kualitas beban kerja. Untuk informasi selengkapnya, lihat Microsoft Azure Well-Architected Framework.

Keamanan

Keamanan memberikan jaminan terhadap serangan yang disukai dan penyalahgunaan data dan sistem berharga Anda. Untuk informasi selengkapnya, lihat Gambaran Umum pilar keamanan.

  • Permintaan ke Speech API dapat menyertakan URI Tanda Tangan Akses Bersama (SAS) untuk kontainer tujuan di Azure Storage. URI SAS memungkinkan layanan Ucapan untuk langsung menghasilkan file transkripsi ke lokasi kontainer. Jika organisasi Anda tidak mengizinkan penggunaan URI SAS untuk penyimpanan, Anda perlu menerapkan fungsi untuk secara berkala melakukan polling Speech API untuk aset yang telah selesai.
  • Kredensial seperti akun atau kunci API harus disimpan di Azure Key Vault sebagai rahasia. Konfigurasikan aplikasi logika dan alur Azure Synapse Anda untuk mengakses brankas kunci dengan menggunakan identitas terkelola untuk menghindari penyimpanan rahasia dalam pengaturan atau kode aplikasi.
  • File audio yang disimpan dalam blob mungkin berisi data pelanggan sensitif. Jika beberapa klien menggunakan solusi, Anda perlu membatasi akses ke file-file ini. Gunakan namespace hierarkis pada akun penyimpanan dan tertibkan izin tingkat folder dan file untuk membatasi akses hanya ke instans Microsoft Entra yang diperlukan.

Pengoptimalan biaya

Optimalisasi biaya adalah tentang mencari cara untuk mengurangi pengeluaran yang tidak perlu dan meningkatkan efisiensi operasional. Untuk informasi selengkapnya, lihat Gambaran umum pilar pengoptimalan biaya.

Semua layanan Azure yang dijelaskan dalam arsitektur ini menyediakan opsi untuk penagihan bayar sesuai penggunaan, sehingga biaya solusi diskalakan secara linier.

Azure Synapse menyediakan opsi untuk kumpulan SQL tanpa server, sehingga komputasi untuk beban kerja pergudangan data dapat dipisahkan sesuai permintaan. Jika Anda tidak menggunakan Azure Synapse untuk melayani kasus penggunaan hilir lainnya, pertimbangkan untuk menggunakan tanpa server untuk mengurangi biaya.

Lihat Gambaran umum pilar pengoptimalan biaya untuk strategi pengoptimalan biaya yang lebih banyak.

Untuk harga untuk layanan yang disarankan di sini, lihat perkiraan ini di kalkulator harga Azure.

Efisiensi kinerja

Efisiensi performa adalah kemampuan beban kerja Anda untuk diskalakan agar memenuhi permintaan yang diberikan oleh pengguna dengan cara yang efisien. Untuk informasi selengkapnya, lihat Gambaran umum pilar efisiensi performa.

API ucapan batch dirancang untuk volume tinggi, tetapi API layanan Azure AI lainnya mungkin memiliki batas permintaan untuk setiap tingkat langganan. Pertimbangkan untuk membuat kontainer API ini untuk menghindari pembatasan pemrosesan volume besar. Kontainer memberi Anda fleksibilitas dalam penyebaran, di cloud atau lokal. Anda juga dapat mengurangi efek samping peluncuran versi baru dengan menggunakan kontainer. Untuk informasi selengkapnya, lihat Dukungan kontainer di layanan Azure AI.

Kontributor

Artikel ini dikelola oleh Microsoft. Ini awalnya ditulis oleh kontributor berikut.

Penulis utama:

Kontributor lainnya:

Untuk melihat profil LinkedIn non-publik, masuk ke LinkedIn.

Langkah berikutnya