Azure Bilişsel Arama dizinindeki dize alanlarına özel çözümleyiciler ekleme

Özel çözümleyici , Token İzer 'ın Kullanıcı tanımlı bir birleşimidir, bir veya daha fazla belirteç filtresi, arama dizininde belirtilen bir veya daha fazla karakter filtresi ve özel analiz gerektiren alan tanımlarında başvurulmalıdır. Belirteç ayırıcı, belirteçlere son metin ve Simgeleştirici tarafından yayılan belirteçleri değiştirmeye yönelik belirteç filtrelerinden sorumludur. Karakter filtreleri, giriş metnini Simgeleştirici tarafından işlenmeden önce hazırlar. Kavramlar ve örnekler için bkz. Azure bilişsel arama Çözümleyicileri.

Özel bir çözümleyici, hangi analiz veya filtreleme türlerini ve bunların oluşma sırasını seçmenize olanak tanıyarak, metni, dizin haline dönüştürülebilir ve aranabilir belirteçlere dönüştürme sürecini denetlemenizi sağlar.

Varsayılan (Standart Lucence), yerleşik veya dil Çözümleyicileri gereksinimleriniz için yeterli değilse özel bir çözümleyici oluşturun ve atayın. Özel seçeneklerle yerleşik bir çözümleyici kullanmak istiyorsanız özel bir çözümleyici de oluşturabilirsiniz. Örneğin, maxTokenLength değerini standart üzerinde değiştirmek isterseniz, bu seçeneği ayarlamak için Kullanıcı tanımlı bir ada sahip özel bir çözümleyici oluşturursunuz.

Özel çözümleyiciler yararlı olabilecek senaryolar şunlardır:

• Metin girişlerinin simgeleştirmesinden önce HTML işaretlemesini kaldırmak için karakter filtreleri kullanma veya belirli karakterleri ya da sembolleri değiştirme.

• Fonetik arama. Bir sözcüğün nasıl seslendiğinden ve nasıl yazıldığını temel alarak aramayı etkinleştirmek için bir fonetik filtresi ekleyin.

• Sözcük analizini devre dışı bırakın. Çözümlenmemiş aranabilir alanlar oluşturmak için anahtar sözcük Çözümleyicisi ' ni kullanın.

• Hızlı önek/sonek araması. Hızlı önek eşleştirmeyi etkinleştirmek için sözcük ön eklerini dizine eklemek için Edge N-gram belirteç filtresini ekleyin. Sonek eşleştirmeyi yapmak için ters belirteç filtresiyle birleştirin.

• Özel simgeleştirme. Örneğin, boşlukları bir sınırlayıcı olarak kullanarak belirteçlere bölmek için Simgeleştirici boşluk kullanın

• ASCII katlama. Ö veya ê gibi aksanları, arama terimlerinde normalleştirmek için standart ASCII katlama filtresini ekleyin.

Özel çözümleyici oluşturma

Özel bir çözümleyici oluşturmak için, tasarım zamanında bir dizinin "çözümleyiciler" bölümünde belirtin ve ardından "Analyzer" özelliğini ya da "ındexanalyzer" ve "searchAnalyzer" çiftini kullanarak aranabilir, Edm. String alanlarında başvuru yapın.

Çözümleyici tanımı bir ad, tür, bir veya daha fazla karakter filtresi, en fazla bir Simgeleştirici ve simgeleştirme sonrası işleme için bir veya daha fazla belirteç filtresi içerir. Karakter filtreleri simgeleştirme öncesinde uygulanır. Belirteç filtreleri ve karakter filtreleri soldan sağa uygulanır.

• Özel bir Çözümleyicisindeki adların benzersiz olması ve yerleşik çözümleyiciler, belirteçlerin, belirteç filtreleri veya karakter filtreleriyle aynı olamaz. Yalnızca harf, rakam, boşluk, tire veya alt çizgi içermelidir, yalnızca alfasayısal karakterlerle başlayıp bitebilirler ve 128 karakterle sınırlıdır.

• Tür #Microsoft. Azure. Search. CustomAnalyzer olmalıdır.

• "charFilters" bir veya daha fazla karakter filtresindenbir veya daha fazla filtre olabilir ve bu, belirteçten önce, belirtilen sıraya göre işlenir. Bazı karakter filtreleri, "bir" charFilter bölümünde ayarlanabilir seçeneklere sahiptir. Karakter filtreleri isteğe bağlıdır.

• "Simgeleştirici" tam olarak bir Simgeleştirici. Değer gereklidir. Birden fazla belirteç Oluşturucu gerekirse, birden çok özel çözümleyici oluşturabilir ve bunları Dizin şemanızda alan temelinde atayabilirsiniz.

• "tokenFilters", belirteç filtrelerindenbir veya daha fazla filtre olabilir ve bu, belirteçlerin ardından, belirtilen sırayla işlenir. Seçenekleri olan belirteç filtreleri için yapılandırmayı belirtmek üzere bir "tokenFilter" bölümü ekleyin. Belirteç filtreleri isteğe bağlıdır.

Çözümleyiciler 300 karakterden daha uzun belirteçler üretmemelidir, yoksa dizin oluşturma başarısız olur. Uzun belirteci kırpmak veya hariç tutmak için, sırasıyla truncatetokenfilter ve lengthtokenfilter kullanın. Başvuru için belirteç filtrelerine bakın.

"analyzers":(optional)[
   {
      "name":"name of analyzer",
      "@odata.type":"#Microsoft.Azure.Search.CustomAnalyzer",
      "charFilters":[
         "char_filter_name_1",
         "char_filter_name_2"
      ],
      "tokenizer":"tokenizer_name",
      "tokenFilters":[
         "token_filter_name_1",
         "token_filter_name_2"
      ]
   },
   {
      "name":"name of analyzer",
      "@odata.type":"#analyzer_type",
      "option1":value1,
      "option2":value2,
      ...
   }
],
"charFilters":(optional)[
   {
      "name":"char_filter_name",
      "@odata.type":"#char_filter_type",
      "option1":value1,
      "option2":value2,
      ...
   }
],
"tokenizers":(optional)[
   {
      "name":"tokenizer_name",
      "@odata.type":"#tokenizer_type",
      "option1":value1,
      "option2":value2,
      ...
   }
],
"tokenFilters":(optional)[
   {
      "name":"token_filter_name",
      "@odata.type":"#token_filter_type",
      "option1":value1,
      "option2":value2,
      ...
   }
]

Bir dizin tanımı içinde, bu bölümü bir oluştur dizin isteği gövdesinde herhangi bir yere yerleştirebilirsiniz, ancak genellikle sona geçer:

{
  "name": "name_of_index",
  "fields": [ ],
  "suggesters": [ ],
  "scoringProfiles": [ ],
  "defaultScoringProfile": (optional) "...",
  "corsOptions": (optional) { },
  "analyzers":(optional)[ ],
  "charFilters":(optional)[ ],
  "tokenizers":(optional)[ ],
  "tokenFilters":(optional)[ ]
}

Çözümleyici tanımı, daha büyük dizinin bir parçasıdır. Karakter filtreleri, simgeler ve belirteç filtreleri için tanımlar, yalnızca özel seçenekler ayarlıyorsanız dizine eklenir. Var olan bir filtreyi veya belirteç ayırıcı 'ı olduğu gibi kullanmak için, bunu çözümleyici tanımında adıyla belirtin. Daha fazla bilgi için bkz. Dizin oluşturma (REST). Daha fazla örnek için bkz. Azure bilişsel arama çözümleyiciler ekleme.

Özel Çözümleyicileri test et

Bir çözümleyici 'nin metin olarak belirteçlere nasıl bölüneceğini görmek için Test çözümleyici 'yi (REST) kullanabilirsiniz.

İstek

  POST https://[search service name].search.windows.net/indexes/[index name]/analyze?api-version=[api-version]
    Content-Type: application/json
    api-key: [admin key]

  {
     "analyzer":"my_analyzer",
     "text": "Vis-à-vis means Opposite"
  }

Response

  {
    "tokens": [
      {
        "token": "vis_a_vis",
        "startOffset": 0,
        "endOffset": 9,
        "position": 0
      },
      {
        "token": "vis_à_vis",
        "startOffset": 0,
        "endOffset": 9,
        "position": 0
      },
      {
        "token": "means",
        "startOffset": 10,
        "endOffset": 15,
        "position": 1
      },
      {
        "token": "opposite",
        "startOffset": 16,
        "endOffset": 24,
        "position": 2
      }
    ]
  }

Özel Çözümleyicileri Güncelleştir

Çözümleyici, belirteç ayırıcı, belirteç filtresi veya karakter filtresi tanımlandıktan sonra değiştirilemez. Var olan bir dizine yalnızca allowIndexDowntime bayrak, Dizin güncelleştirme isteğinde true olarak ayarlanırsa yeni olanlar eklenebilir:

PUT https://[search service name].search.windows.net/indexes/[index name]?api-version=[api-version]&allowIndexDowntime=true

Bu işlem, dizin oluşturma ve sorgu isteklerinizin başarısız olmasına neden olacak şekilde dizininizi en az birkaç saniyede çevrimdışı hale getirir. Dizinin performansı ve yazma kullanılabilirliği, Dizin güncelleştirildikten sonra birkaç dakika boyunca veya çok büyük dizinler için daha uzun olabilir, ancak bu etkileri geçicidir ve sonunda kendi kendine çözümlenir.

Yerleşik çözümleyiciler

Özel seçeneklerle yerleşik bir çözümleyici kullanmak istiyorsanız, özel çözümleyici oluşturmak, bu seçenekleri belirttiğiniz mekanizmadır. Buna karşılık, bir yerleşik çözümleyici 'yi olduğu gibi kullanmak için, yalnızca alan tanımında ada göre başvuru yapmanız gerekir.

¹ Çözümleyici Türleri her zaman "#Microsoft.Azure.Search" ön ekini alır, böylece "PatternAnalyzer" aslında "#Microsoft.Azure.Search.PatternAnalyzer" olarak belirtilebilir. Bu ön eki daha uzun bir süre için kaldırdık ancak ön ek kodunda gereklidir.

Bu analyzer_type yalnızca özelleştirebileceğiniz çözümleyiciler için sağlanır. Anahtar sözcük çözümleyicisi için olduğu gibi hiçbir seçenek yoksa, #Microsoft.Azure.Search türü yoktur.

Karakter filtreleri

Karakter filtreleri, bir dize belirteçleyiciye ulaşmadan önce işleme ekler.

Bilişsel Arama, aşağıdaki listede yer alan karakter filtrelerini destekler. Her biri hakkında daha fazla bilgi Lucene API başvurusunda bulunabilir.

¹ Karakter Filtresi Türleri her zaman kodda "#Microsoft.Azure.Search" ön eklerini alır, böylece "MappingCharFilter" aslında "#Microsoft.Azure.Search.MappingCharFilter" olarak belirtilir. Tablonun genişliğini azaltmak için ön eki kaldırdık, ancak bunu kodunuza dahil etmek için lütfen unutmayın. Bu char_filter_type yalnızca özelleştirebileceğiniz filtreler için sağlanmıştır. Html_strip'de olduğu gibi seçenek yoksa, #Microsoft.Azure.Search türü yoktur.

Belirteçleştiriciler

Belirteçleştirici, sürekli metni bir cümleyi sözcüklere bölme veya bir sözcüğü kök formlara bölme gibi belirteç dizisine böler.

Bilişsel Arama, aşağıdaki listede belirteçleri destekler. Her biri hakkında daha fazla bilgi Lucene API başvurusunda bulunabilir.

¹ Tokenizer türlerine her zaman "#Microsoft. Azure. Search" ile kod ön eki uygulanır ve "ClassicTokenizer" aslında "#Microsoft. Azure. Search. ClassicTokenizer" olarak belirtilir. Tablonun genişliğini azaltmak için ön eki kaldırdık, ancak kodunuza dahil etmeyi unutmayın. Tokenizer_type yalnızca özelleştirilebilecek simgeleyiciler için sağlandığını unutmayın. Hiçbir seçenek yoksa, Simgeleştirici harfle aynı olduğu gibi, ilişkili #Microsoft. Azure. Search türü yoktur.

Belirteç filtreleri

Belirteç filtresi, bir Simgeleştirici tarafından oluşturulan belirteçleri filtrelemek veya değiştirmek için kullanılır. Örneğin, tüm karakterleri küçük harfe dönüştüren küçük harfli bir filtre belirtebilirsiniz. Özel bir çözümleyici 'de birden çok belirteç filtresi kullanabilirsiniz. Belirteç filtreleri listelendikleri sırada çalışır.

Aşağıdaki tabloda, Apache Lucene kullanılarak uygulanan belirteç filtreleri, Lucene API belgelerine bağlanır.

¹ Belirteç Filtresi Türleri her zaman kodda "#Microsoft.Azure.Search" ön eklerini alır, böylece "ArabicNormalizationTokenFilter" aslında "#Microsoft.Azure.Search.ArabicNormalizationTokenFilter" olarak belirtilebilir. Tablonun genişliğini azaltmak için ön eki kaldırdık, ancak bunu kodunuza dahil etmek için lütfen unutmayın.

Ayrıca bkz.

• Azure Bilişsel Arama REST API'leri
• Azure Bilişsel Arama çözümleyicileri (Örnekler)
• Dizin Oluşturma (REST)