Menambahkan penganalisis bahasa ke bidang string dalam indeks Pencarian Azure AI

  • Artikel

Penganalisis bahasa adalah jenis penganalisis teks spesifik yang melakukan analisis leksikal menggunakan aturan linguistik bahasa target. Setiap bidang yang dapat dicari memiliki properti penganalisis. Jika konten Anda terdiri dari untai (karakter) yang diterjemahkan, seperti bidang terpisah untuk teks bahasa Inggris dan Cina, Anda dapat menentukan penganalisis bahasa di setiap bidang untuk mengakses kemampuan linguistik yang kaya dari penganalisis tersebut.

Kapan menggunakan penganalisis bahasa

Anda harus mempertimbangkan penganalisis bahasa saat kesadaran akan struktur kata atau kalimat menambah nilai pada penguraian teks. Contoh umumnya adalah asosiasi bentuk kata kerja tidak teratur ("bring" dan "brought”) atau kata benda jamak ("mice" dan "mouse"). Tanpa kesadaran linguistik, untai (karakter) ini diurai pada karakteristik fisik saja, yang gagal menangkap koneksi. Karena potongan teks yang besar lebih mungkin memiliki konten ini, bidang yang terdiri dari deskripsi, ulasan, atau ringkasan adalah kandidat yang baik untuk penganalisis bahasa.

Anda juga harus mempertimbangkan penganalisis bahasa ketika konten terdiri dari untai (karakter) bahasa non-Barat. Meskipun penganalisis default (Standar Lucene) adalah bahasa-agnostik, konsep menggunakan spasi dan karakter khusus (tanda hubung dan garis miring) untuk memisahkan string cenderung lebih dapat diterakan untuk bahasa Barat daripada yang non-Barat.

Misalnya, dalam bahasa Tionghoa, Jepang, Korea (CJK), dan bahasa Asia lainnya, spasi belum tentu menjadi pemisah kata. Pertimbangkan untai (karakter) Jepang berikut. Karena tidak memiliki spasi, penganalisis bahasa-agnostik kemungkinan akan menganalisis seluruh untai (karakter) sebagai satu token, padahal sebenarnya untai (karakter) tersebut adalah frasa.

これは私たちの銀河系の中ではもっとも重く明るいクラスの球状星団です。
(This is the heaviest and brightest group of spherical stars in our galaxy.)

Untuk contoh di atas, kueri yang berhasil harus menyertakan token lengkap, atau token parsial menggunakan sufiks kartubebas, yang menghasilkan pengalaman pencarian yang tidak wajar dan membatasi.

Pengalaman yang lebih baik adalah mencari kata individual: 明 い い (Terang), 私たち の (Kami), 銀河系 (Galaksi). Menggunakan salah satu penganalisis Jepang yang tersedia di Azure AI Search lebih cenderung membuka kunci perilaku ini karena penganalisis tersebut lebih dilengkapi untuk membagi potongan teks menjadi kata-kata yang bermakna dalam bahasa target.

Membandingkan Lucene dan Microsoft Analyzer

Azure AI Search mendukung 35 penganalisis bahasa yang didukung oleh Lucene, dan 50 penganalisis bahasa yang didukung oleh teknologi pemrosesan bahasa alami Microsoft eksklusif yang digunakan di Office dan Bing.

Beberapa pengembang mungkin lebih suka solusi Lucene yang lebih akrab, sederhana, dan sumber terbuka. Penganalisis bahasa Lucene lebih cepat, tetapi penganalisis Microsoft memiliki kemampuan canggih, seperti lemmatisasi, penguraian kata (dalam bahasa seperti Jerman, Denmark, Belanda, Swedia, Norwegia, Estonia, Finlandia, Hongaria, Slovakia) dan pengenalan entitas (URL, email, tanggal, angka). Jika memungkinkan, Anda harus menjalankan perbandingan kedua penganalisis Microsoft dan Lucene untuk memutuskan mana yang lebih cocok. Anda dapat menggunakan Analyze API untuk melihat token yang dihasilkan dari teks yang diberikan menggunakan analyzer khusus.

Pengindeksan dengan penganalisis Microsoft rata-rata dua hingga tiga kali lebih lambat Lucene yang setara dengannya, tergantung pada bahasanya. Performa pencarian tidak boleh terpengaruh secara signifikan untuk kueri ukuran rata-rata.

Penganalisis Bahasa Inggris

Penganalisis default adalah Standard Lucene, yang bekerja dengan baik untuk bahasa Inggris, tetapi mungkin tidak sebaik penganalisis bahasa Inggris Lucene atau penganalisis bahasa Inggris Microsoft.

  • Penganalisis Bahasa Inggris Lucene memperluas penganalisis Standar. Penganalisis ini menghilangkan posesif (trailing 's) dari kata-kata, menerapkan stemming sesuai algoritma Porter Stemming, dan menghapus kata-kata berhenti dalam bahasa Inggris.

  • Penganalisis bahasa Inggris Microsoft melakukan lemmatisasi alih-alih stemming. Ini berarti dapat menangani bentuk kata yang tidak fleksibel dan tidak teratur jauh lebih baik yang menghasilkan hasil pencarian yang lebih relevan.

Cara menentukan penganalisis bahasa

Atur penganalisis selama pembuatan indeks sebelum dimuat dengan data.

  1. Dalam definisi bidang, pastikan bidang dikaitkan sebagai "dapat dicari" dan tipe Edm.String.

  2. Set properti "Penganalisis" ke salah satu analisis bahasa dari daftar penganalisis yang didukung.

    Properti "penganalisis" adalah satu-satunya properti yang akan menerima penganalisis bahasa, dan digunakan untuk pengindeksan dan kueri. Properti terkait penganalisis lainnya ("searchAnalyzer" dan "indexAnalyzer") tidak akan menerima penganalisis bahasa.

Penganalisis bahasa tidak dapat disesuaikan. Jika penganalisis tidak memenuhi persyaratan Anda, buat penganalisis kustom dengan microsoft_language_tokenizer atau microsoft_language_stemming_tokenizer, lalu tambahkan filter untuk pemrosesan pra-dan pasca-tokenisasi.

Contoh berikut menggambarkan spesifikasi penganalisis bahasa dalam indeks:

{
  "name": "hotels-sample-index",
  "fields": [
    {
      "name": "Description",
      "type": "Edm.String",
      "retrievable": true,
      "searchable": true,
      "analyzer": "en.microsoft",
      "indexAnalyzer": null,
      "searchAnalyzer": null
    },
    {
      "name": "Description_fr",
      "type": "Edm.String",
      "retrievable": true,
      "searchable": true,
      "analyzer": "fr.microsoft",
      "indexAnalyzer": null,
      "searchAnalyzer": null
    },

Untuk informasi selengkapnya tentang membuat indeks dan mengatur properti bidang, lihat Membuat Indeks (REST). Untuk informasi selengkapnya tentang analisis teks, lihat Penganalisis di Azure AI Search.

Penganalisis bahasa yang didukung

Di bawah ini adalah daftar bahasa yang didukung, dengan nama penganalisis Lucene dan Microsoft.

Bahasa Nama Penganalisis Microsoft Nama Penganalisis Lucene
Arab ar.microsoft ar.lucene
Armenia hy.lucene
Bengali bn.microsoft
Basque eu.lucene
Bulgaria bg.microsoft bg.lucene
Katalan ca.microsoft ca.lucene
Mandarin Sederhana zh-Hans.microsoft zh-Hans.lucene
Mandarin Tradisional zh-Hant.microsoft zh-Hant.lucene
Kroasia hr.microsoft
Cheska cs.microsoft cs.lucene
Dansk da.microsoft da.lucene
Belanda nl.microsoft nl.lucene
Inggris en.microsoft en.lucene
Esti et.microsoft
Suomi fi.microsoft fi.lucene
Prancis fr.microsoft fr.lucene
Galisia gl.lucene
Jerman de.microsoft de.lucene
Yunani el.microsoft el.lucene
Gujarat gu.microsoft
Ibrani he.microsoft
Hindi hi.microsoft hi.lucene
Hungaria hu.microsoft hu.lucene
Islandia is.microsoft
Bahasa Indonesia (Bahasa) id.microsoft id.lucene
Irlandia ga.lucene
Italia it.microsoft it.lucene
Jepang ja.microsoft ja.lucene
Kannada kn.microsoft
Korea ko.microsoft ko.lucene
Latvi lv.microsoft lv.lucene
Lituavi lt.microsoft
Malayalam ml.microsoft
Melayu (Latin) ms.microsoft
Marathi mr.microsoft
Norwegia nb.microsoft no.lucene
Farsi fa.lucene
Polski pl.microsoft pl.lucene
Portugis (Brasil) pt-Br.microsoft pt-Br.lucene
Portugis (Portugal) pt-Pt.microsoft pt-Pt.lucene
Punjabi pa.microsoft
Rumania ro.microsoft ro.lucene
Rusia ru.microsoft ru.lucene
Serbia (Sirilik) sr-cyrillic.microsoft
Serbia (Latin) sr-latin.microsoft
Slovak sk.microsoft
Sloven sl.microsoft
Spanyol es.microsoft cs.lucene
Swedia sv.microsoft sv.lucene
Tamil ta.microsoft
Telugu te.microsoft
Thailand th.microsoft th.lucene
Turki tr.microsoft tr.lucene
Ukraina uk.microsoft
Urdu ur.microsoft
Vietnam vi.microsoft

Semua penganalisis dengan nama yang dianotasikan dengan Lucene didukung oleh penganalisis bahasa Apache Lucene.

Baca juga