Desain arsitektur kecerdasan buatan (AI)

  • Artikel

Kecerdasan buatan (AI) adalah kemampuan komputer untuk meniru perilaku manusia yang cerdas. Melalui AI, mesin dapat menganalisis gambar, memahami ucapan, berinteraksi dengan cara alami, dan membuat prediksi menggunakan data.

Illustration depicting the relationship of artificial intelligence as a parent concept. Within AI is machine learning. Within machine learning is deep learning.

Konsep AI

Algoritma

Algoritma adalah serangkaian perhitungan dan aturan yang digunakan untuk memecahkan masalah atau menganalisis satu set data. Ini seperti diagram alir, dengan petunjuk langkah demi langkah untuk pertanyaan yang harus ditanyakan, tetapi ditulis dalam matematika dan kode pemrograman. Algoritma dapat menjelaskan bagaimana menentukan apakah hewan peliharaan adalah kucing, anjing, ikan, burung, atau kadal. Algoritma lain yang jauh lebih rumit dapat menggambarkan bagaimana mengidentifikasi bahasa komputer tertulis atau lisan, menganalisis kata-katanya, menerjemahkannya ke dalam bahasa komputer yang berbeda, dan kemudian memeriksa terjemahan untuk akurasi.

Pembelajaran Mesin

Pembelajaran mesin adalah teknik AI yang menggunakan algoritma matematika untuk membuat model prediktif. Algoritma digunakan untuk mengurai bidang data dan untuk "belajar" dari data itu dengan menggunakan pola yang ditemukan di dalamnya untuk menghasilkan model. Model-model tersebut kemudian digunakan untuk membuat prediksi atau keputusan berdasarkan informasi tentang data baru.

Model prediktif divalidasi terhadap data yang diketahui, diukur dengan metrik kinerja yang dipilih untuk skenario bisnis tertentu, dan kemudian disesuaikan sesuai kebutuhan. Proses pembelajaran dan validasi ini disebut pelatihan. Melalui pelatihan ulang berkala, model ML ditingkatkan dari waktu ke waktu.

Pembelajaran mendalam

Pembelajaran mendalam adalah jenis ML yang dapat menentukan sendiri apakah prediksinya akurat. Ini juga menggunakan algoritma untuk menganalisis data, tetapi melakukannya pada skala yang lebih besar daripada ML.

Pembelajaran mendalam menggunakan jaringan saraf tiruan, yang terdiri dari beberapa lapisan algoritma. Setiap lapisan melihat data yang masuk, melakukan analisis khusus sendiri, dan menghasilkan output yang dapat dipahami oleh lapisan lain. Output ini kemudian diteruskan ke lapisan berikutnya, di mana algoritma yang berbeda melakukan analisis sendiri, dan sebagainya.

Dengan banyak lapisan di setiap jaringan saraf - dan kadang-kadang menggunakan beberapa jaringan saraf - mesin dapat belajar melalui pemrosesan datanya sendiri. Ini membutuhkan lebih banyak data dan lebih banyak daya komputasi daripada ML.

Bot

Bot adalah program perangkat lunak otomatis yang dirancang untuk melakukan tugas tertentu. Anggap saja sebagai robot tanpa tubuh. Bot awal relatif sederhana, menangani tugas berulang dan tebal dengan logika algoritmik yang relatif mudah. Contohnya adalah web crawler yang digunakan oleh mesin pencari untuk secara otomatis mengeksplorasi dan membuat katalog konten web.

Bot telah menjadi jauh lebih canggih, menggunakan AI dan teknologi lainnya untuk meniru aktivitas manusia dan pengambilan keputusan, seringkali saat berinteraksi langsung dengan manusia melalui teks atau bahkan ucapan. Contohnya termasuk bot yang dapat mengambil reservasi makan malam, chatbots (atau AI percakapan) yang membantu interaksi layanan pelanggan, dan bot sosial yang memposting berita atau data ilmiah ke situs media sosial.

Microsoft menawarkan Azure Bot Service, layanan terkelola yang dibuat khusus untuk pengembangan bot kelas perusahaan.

Sistem Otonom

Sistem Otonom adalah bagian dari kelas baru yang berkembang yang melampaui otomatisasi dasar. Alih-alih melakukan tugas tertentu berulang kali dengan sedikit atau tanpa variasi (seperti bot), sistem otonom membawa kecerdasan ke mesin sehingga mereka dapat beradaptasi dengan perubahan lingkungan untuk mencapai tujuan yang diinginkan.

Bangunan pintar menggunakan sistem otonom untuk secara otomatis mengontrol operasi seperti pencahayaan, ventilasi, AC, dan keamanan. Contoh yang lebih canggih adalah robot mandiri yang menjelajahi poros tambang yang runtuh untuk memetakan interiornya secara menyeluruh, menentukan bagian mana yang secara struktural sehat, menganalisis udara untuk bernapas, dan mendeteksi tanda-tanda penambang yang terperangkap membutuhkan penyelamatan - semua tanpa pemantauan manusia secara real time di ujung terpencil.

Info umum tentang Microsoft AI

Pelajari lebih lanjut tentang Microsoft AI, dan tetap up-to-date dengan berita terkait:

Jenis arsitektur tingkat tinggi

AI Prebuilt

AI Prebuilt adalah persis seperti apa yang terdengar seperti model AI off-the-shelf, layanan, dan API yang siap digunakan. Hal ini membantu Anda menambahkan kecerdasan ke aplikasi, situs web, dan alur tanpa harus mengumpulkan data dan kemudian membangun, melatih, dan mempublikasikan model Anda sendiri.

Salah satu contoh AI prebuilt mungkin merupakan model pra-pelatihan yang dapat dimasukkan seperti atau digunakan untuk memberikan dasar untuk pelatihan kustom lebih lanjut. Contoh lain adalah layanan API berbasis cloud yang dapat dipanggil sesuka hati untuk memproses bahasa alami dengan cara yang diinginkan.

Azure Cognitive Services

Cognitive Services memberi pengembang kesempatan untuk menggunakan API bawaan dan toolkit integrasi untuk membuat aplikasi yang dapat melihat, mendengar, berbicara, memahami, dan bahkan mulai beralasan. Katalog layanan dalam Azure Cognitive Service dapat dikategorikan ke dalam lima pilar utama: Visi, Ucapan, Bahasa, Pencarian Web, dan Keputusan.

Model AI bawaan di AI Builder

AI Builder adalah kemampuan baru di Microsoft Power Platform yang menyediakan antarmuka point-and-click untuk menambahkan AI ke aplikasi Anda, bahkan jika Anda tidak memiliki keterampilan pengodean atau ilmu data. (Beberapa fitur di AI Builder belum dirilis untuk ketersediaan umum dan tetap dalam status pratinjau. Untuk informasi selengkapnya, lihat halaman Ketersediaan fitur menurut wilayah .)

Anda dapat membangun dan melatih model Anda sendiri, tetapi AI Builder juga menyediakan model AI prebuilt tertentu yang siap digunakan segera. Misalnya, Anda dapat menambahkan komponen di Microsoft Power Apps berdasarkan model bawaan yang mengenali informasi kontak dari kartu nama.

AI Kustom

Meskipun AI prebuilt berguna (dan semakin fleksibel), cara terbaik untuk mendapatkan apa yang Anda butuhkan dari AI mungkin adalah membangun sistem sendiri. Ini jelas subjek yang sangat dalam dan kompleks, tetapi mari kita lihat beberapa konsep dasar di luar apa yang baru saja kita bahas.

Bahasa kode

Konsep inti AI adalah penggunaan algoritma untuk menganalisis data dan menghasilkan model untuk menggambarkan (atau skor) dengan cara yang berguna. Algoritma ditulis oleh pengembang dan ilmuwan data (dan kadang-kadang oleh algoritma lain) menggunakan kode pemrograman. Dua bahasa pemrograman yang paling populer untuk pengembangan AI saat ini adalah Python dan R.

Python adalah bahasa pemrograman tingkat tinggi yang bertujuan umum. Python memiliki sintaks sederhana dan mudah dipelajari yang menekankan keterbacaan. Tidak ada langkah kompilasi. Python memiliki pustaka standar yang besar, tetapi juga mendukung kemampuan untuk menambahkan modul dan paket. Ini mendorong modularitas dan memungkinkan Anda memperluas kemampuan saat dibutuhkan. Ada ekosistem AI dan pustaka ML yang besar dan berkembang untuk Python, termasuk banyak yang tersedia di Azure.

R adalah bahasa dan lingkungan untuk komputasi statistik dan grafis. Ini dapat digunakan untuk segala hal mulai dari memetakan tren sosial dan pemasaran yang luas secara online hingga mengembangkan model keuangan dan iklim.

Microsoft telah sepenuhnya merangkul bahasa pemrograman R dan menyediakan banyak opsi berbeda bagi pengembang R untuk menjalankan kode mereka di Azure.

Pelatihan

Pelatihan adalah inti dari pembelajaran mesin. Ini adalah proses berulang dari "mengajar" algoritma untuk membuat model, yang digunakan untuk menganalisis data dan kemudian membuat prediksi yang akurat darinya. Dalam praktiknya, proses ini memiliki tiga fase umum: pelatihan, validasi, dan pengujian.

Selama fase pelatihan, satu set kualitas data yang diketahui ditandai sehingga masing-masing bidang dapat diidentifikasi. Data yang ditandai diumpankan ke algoritma yang dikonfigurasi untuk membuat prediksi tertentu. Setelah selesai, algoritma mengeluarkan model yang menggambarkan pola yang ditemukan sebagai seperangkat parameter. Selama validasi, data baru ditandai dan digunakan untuk menguji model. Algoritma disesuaikan sesuai kebutuhan dan mungkin dimasukkan melalui lebih banyak pelatihan. Akhirnya, fase pengujian menggunakan data dunia nyata tanpa tag atau target yang dipilih sebelumnya. Dengan asumsi hasil model akurat, itu dianggap siap untuk digunakan dan dapat sebarkan.

Penyetelan hiperparameter

Hyperparameters adalah variabel data yang mengatur proses pelatihan itu sendiri. Mereka adalah variabel konfigurasi yang mengontrol bagaimana algoritma beroperasi. Hyperparameters dengan demikian biasanya diatur sebelum pelatihan model dimulai dan tidak dimodifikasi dalam proses pelatihan dengan cara parameter yang. Penyetelan hyperparameter melibatkan menjalankan uji coba dalam tugas pelatihan, menilai seberapa baik mereka menyelesaikan pekerjaan, dan kemudian menyesuaikan sesuai kebutuhan. Proses ini menghasilkan beberapa model, masing-masing dilatih menggunakan keluarga hiperparameter yang berbeda.

Pemilihan model

Proses pelatihan dan penyetelan hyperparameter menghasilkan banyak model kandidat. Ini dapat memiliki banyak varians yang berbeda, termasuk upaya yang diperlukan untuk menyiapkan data, fleksibilitas model, jumlah waktu pemrosesan, dan tentu saja tingkat akurasi hasilnya. Memilih model terlatih terbaik untuk kebutuhan dan kendala Anda disebut pilihan model, tetapi ini sama banyaknya dengan praplanning sebelum pelatihan karena ini tentang memilih salah satu yang paling sesuai.

Pembelajaran mesin otomatis (AutoML)

Pembelajaran mesin otomatis, juga dikenal sebagai AutoML, adalah proses mengotomatisasi tugas-tugas berulang yang memakan waktu dari pengembangan model pembelajaran mesin. Ini dapat secara signifikan mengurangi waktu yang dibutuhkan untuk mendapatkan model ML siap produksi. ML otomatis dapat membantu pemilihan model, penyetelan hyperparameter, pelatihan model, dan tugas lainnya, tanpa memerlukan pemrograman atau pengetahuan domain yang luas.

Penilaian

Scoring juga disebut prediksi dan merupakan proses menghasilkan nilai berdasarkan model pembelajaran mesin terlatih, mengingat beberapa data input baru. Nilai, atau skor, yang dibuat dapat mewakili prediksi nilai masa depan, tetapi mereka mungkin juga mewakili kategori atau hasil yang mungkin. Proses penilaian dapat menghasilkan berbagai jenis nilai:

  • Daftar item yang direkomendasikan dan skor kesamaan

  • Nilai numerik, untuk model deret waktu dan model regresi

  • Nilai probabilitas, menunjukkan kemungkinan bahwa input baru termasuk dalam beberapa kategori yang ada

  • Nama kategori atau kluster yang paling mirip dengan item baru

  • Kelas atau hasil yang diprediksi, untuk model klasifikasi

Penilaian Batch adalah ketika data dikumpulkan selama jangka waktu tertentu dan kemudian di proses dalam batch. Ini mungkin termasuk membuat laporan bisnis atau menganalisis loyalitas pelanggan.

Penilaian Real time adalah jelas penilaian yang sedang berlangsung dan dilakukan dengan secepat mungkin. Contoh klasik adalah deteksi penipuan kartu kredit, tetapi penilaian real time juga dapat digunakan dalam pengenalan suara, diagnosis medis, analisis pasar, dan banyak aplikasi lainnya.

Info umum tentang AI kustom di Azure

Penawaran platform Azure AI

Berikut ini adalah perincian teknologi, platform, dan layanan Azure yang dapat Anda gunakan untuk mengembangkan solusi AI untuk kebutuhan Anda.

Pembelajaran Mesin Azure

Ini adalah layanan pembelajaran mesin kelas perusahaan untuk membangun dan menyebarkan model lebih cepat. Azure Machine Learning menawarkan antarmuka web dan SDK sehingga Anda dapat dengan cepat melatih dan menerapkan model dan alur pembelajaran mesin Anda dalam skala besar. Gunakan kemampuan ini dengan kerangka kerja Python sumber terbuka, seperti PyTorch, TensorFlow, dan scikit-learn.

Arsitektur referensi pembelajaran mesin untuk Azure

Pembelajaran mesin otomatis Azure

Azure menyediakan dukungan ekstensif untuk ML otomatis. Pengembang dapat membuat model menggunakan UI tanpa kode atau melalui pengalaman notebook kode-pertama.

Azure Cognitive Services

Ini adalah keluarga layanan AI yang komprehensif dan API kognitif untuk membantu Anda membangun aplikasi cerdas. Model AI khusus domain dan pra terlatih ini dapat disesuaikan dengan data Anda.

Ini adalah layanan pencarian cloud bertenaga AI untuk pengembangan aplikasi seluler dan web. Layanan ini dapat mencari konten heterogen pribadi, dengan opsi untuk pengayaan AI jika konten Anda tidak terstruktur atau tidak dapat dicari dalam bentuk mentah.

Azure Bot Service

Ini adalah lingkungan pengembangan bot yang dibuat khusus dengan templat out-of-the-box untuk memulai dengan cepat.

Apache Spark di Azure

Apache Spark merupakan kerangka kerja pemrosesan paralel yang mendukung pemrosesan dalam memori untuk meningkatkan performa aplikasi analitik big data. Spark menyediakan primitif untuk komputasi kluster dalam memori. Pekerjaan Spark dapat memuat dan menyimpan data ke dalam memori dan mengkueri berulang kali, yang jauh lebih cepat daripada aplikasi berbasis disk, seperti Hadoop.

Apache Spark di Azure HDInsight merupakan penerapan Microsoft dari Apache Spark di cloud. Spark kluster di HDInsight kompatibel dengan Azure Storage dan Azure Data Lake Storage, sehingga Anda dapat menggunakan kluster HDInsight Spark untuk memproses data yang disimpan di Azure.

Pustaka pembelajaran mesin Microsoft untuk Apache Spark adalah SynapseML (sebelumnya dikenal sebagai MMLSpark). Pustaka sumber terbuka ini menambahkan banyak alat pembelajaran mendalam dan ilmu data, kemampuan jaringan, dan performa tingkat produksi ke ekosistem Spark. Pelajari selengkapnya tentang fitur dan kemampuan SynapseML.

Azure Databricks Runtime untuk Pembelajaran Mesin

Azure Databricks adalah platform analitik berbasis Apache Spark dengan pengaturan satu klik, alur kerja yang disederhanakan, dan ruang kerja interaktif untuk kolaborasi antara ilmuwan data, insinyur, dan analis bisnis.

Databricks Runtime untuk Pembelajaran Mesin (Databricks Runtime ML) memungkinkan Anda memulai kluster Databricks dengan semua pustaka yang diperlukan untuk pelatihan terdistribusi. Ini menyediakan lingkungan siap pakai untuk pembelajaran mesin dan ilmu data. Plus, berisi beberapa pustaka populer, termasuk TensorFlow, PyTorch, Keras, dan XGBoost. Ini juga mendukung pelatihan terdistribusi menggunakan Horovod.

Kisah pelanggan

Industri berbeda menerapkan AI dengan cara yang inovatif dan menginspirasi. Berikut adalah sejumlah studi kasus dan kisah sukses pelanggan:

Jelajahi lebih banyak cerita pelanggan AI

Langkah berikutnya