Přidání vlastních analyzátorů do polí řetězců v indexu služby Azure Kognitivní hledání

Vlastní analyzátor je uživatelsky definovaná kombinace provádějících tokenizaci, jednoho nebo více filtrů tokenů a jednoho nebo více filtrů znaků zadaných v indexu vyhledávání a následně odkazováno na definice polí, které vyžadují vlastní analýzu. Provádějících tokenizaci zodpovídá za rozdělení textu na tokeny a filtry tokenů pro úpravu tokenů emitovaných provádějících tokenizaci. Filtry znaků připraví vstupní text před jeho zpracováním pomocí provádějících tokenizaci. Koncepty a příklady najdete v tématu analyzátory v Azure kognitivní hledání.

Vlastní analyzátor vám umožní řídit proces převodu textu na indexovaelné a prohledávatelný tokeny tím, že vám umožní vybrat typy analýz nebo filtrování, které se mají vyvolat, a pořadí, ve kterém se vyskytují.

Vytvořte a přiřaďte vlastní analyzátor, pokud žádný z výchozích (Standard Lucence), předdefinované nebo analyzátory jazyka nestačí pro vaše potřeby. Pokud chcete použít vestavěný analyzátor s vlastními možnostmi, můžete také vytvořit vlastní analyzátor. Pokud byste například chtěli změnit maxTokenLength na standard, vytvořili jste vlastní analyzátor s uživatelem definovaným názvem, který tuto možnost nastaví.

Mezi scénáře, které můžou být užitečné pro vlastní analyzátory, patří:

• Použití filtrů znaků k odebrání kódu HTML před tím, než jsou textové vstupy vypsány tokeny, nebo nahraďte určité znaky nebo symboly.

• Fonetické vyhledávání. Přidejte fonetický filtr, který umožní hledání na základě zvukového slova, nikoli způsobu jeho pravopisu.

• Zakáže lexikální analýzu. Pomocí analyzátoru klíčového slova můžete vytvořit hledaná pole, která nejsou analyzovaná.

• Rychlé hledání předpony a přípon Přidejte filtr tokenů pro Edge N-gram k indexům předpon slov, aby se povolila rychlá shoda předpony. Zkombinujete ho pomocí filtru reverzních tokenů, aby se shodoval s příponou.

• Vlastní tokenizace Například můžete použít prázdné znaky provádějících tokenizaci k rozdělení vět na tokeny pomocí prázdného znaku jako oddělovače.

• Skládání ASCII. Přidáním standardního filtru skládání ASCII můžete normalizovat diakritická znaménka, jako je ö nebo ê, ve hledaných výrazech.

Vytvoření vlastního analyzátoru

Pokud chcete vytvořit vlastní analyzátor, zadejte ho v části analyzátory v indexu v době návrhu a pak na něj odkázat pole s možností prohledávání, Edm. String buď pomocí vlastnosti Analyzer, nebo z dvojice "indexAnalyzer" a "searchAnalyzer".

Definice analyzátoru zahrnuje název, typ, jeden nebo více filtrů znaků, maximálně jeden provádějících tokenizaci a jeden nebo více filtrů tokenů pro zpracování po pořizování tokenů. Filtry znaků jsou aplikovány před tokenizace. Filtry tokenů a filtry znaků jsou aplikovány zleva doprava.

• Názvy ve vlastním analyzátoru musí být jedinečné a nesmí být stejné jako žádné integrované analyzátory, tokenizátory musíte nejdřív, filtry tokenů nebo filtry znaků. Musí obsahovat jenom písmena, číslice, mezery, pomlčky a podtržítka, může začínat a končit jenom alfanumerickými znaky a je omezený na 128 znaků.

• Typ musí být #Microsoft. Azure. Search. CustomAnalyzer.

• "charFilters" může být jeden nebo více filtrů z filtrů znakůzpracovaných před vyřazením, v uvedeném pořadí. Některé filtry znaků mají možnosti, které lze nastavit v části "charFilter". Filtry znaků jsou volitelné.

• "provádějících tokenizaci" je právě jeden provádějících tokenizaci. Hodnota je povinná. Pokud potřebujete více než jeden provádějících tokenizaci, můžete vytvořit více vlastních analyzátorů a přiřadit je podle pole v rámci schématu indexu.

• "tokenFilters" může být jedním nebo více filtry z filtrů tokenůzpracovaných po tokenizace v zadaném pořadí. Pro filtry tokenů, které mají možnosti, přidejte k určení konfigurace oddíl "tokenFilter". Filtry tokenů jsou nepovinné.

Analyzátory nesmí poskytovat tokeny delší než 300 znaků nebo se indexování nezdaří. Pro zkrácení dlouhého tokenu nebo jeho vyloučení použijte TruncateTokenFilter a LengthTokenFilter . Reference najdete v tématu filtry tokenů .

"analyzers":(optional)[
   {
      "name":"name of analyzer",
      "@odata.type":"#Microsoft.Azure.Search.CustomAnalyzer",
      "charFilters":[
         "char_filter_name_1",
         "char_filter_name_2"
      ],
      "tokenizer":"tokenizer_name",
      "tokenFilters":[
         "token_filter_name_1",
         "token_filter_name_2"
      ]
   },
   {
      "name":"name of analyzer",
      "@odata.type":"#analyzer_type",
      "option1":value1,
      "option2":value2,
      ...
   }
],
"charFilters":(optional)[
   {
      "name":"char_filter_name",
      "@odata.type":"#char_filter_type",
      "option1":value1,
      "option2":value2,
      ...
   }
],
"tokenizers":(optional)[
   {
      "name":"tokenizer_name",
      "@odata.type":"#tokenizer_type",
      "option1":value1,
      "option2":value2,
      ...
   }
],
"tokenFilters":(optional)[
   {
      "name":"token_filter_name",
      "@odata.type":"#token_filter_type",
      "option1":value1,
      "option2":value2,
      ...
   }
]

V rámci definice indexu můžete umístit tuto část kamkoli do těla žádosti o vytvoření indexu, ale obvykle na konci:

{
  "name": "name_of_index",
  "fields": [ ],
  "suggesters": [ ],
  "scoringProfiles": [ ],
  "defaultScoringProfile": (optional) "...",
  "corsOptions": (optional) { },
  "analyzers":(optional)[ ],
  "charFilters":(optional)[ ],
  "tokenizers":(optional)[ ],
  "tokenFilters":(optional)[ ]
}

Definice analyzátoru je součástí většího indexu. Definice pro filtry znaků, tokenizátory musíte nejdřív a filtry tokenů jsou přidány do indexu pouze v případě, že nastavujete vlastní možnosti. Pokud chcete použít existující filtr nebo provádějících tokenizaci tak, jak jsou, zadejte ho podle názvu v definici analyzátoru. Další informace najdete v tématu vytvoření indexu (REST). Další příklady najdete v tématu Přidání analyzátorů v Azure kognitivní hledání.

Testování vlastních analyzátorů

Pomocí nástroje Test Analyzer (REST) můžete zjistit, jak analyzátor přerušuje daný text na tokeny.

Žádost

  POST https://[search service name].search.windows.net/indexes/[index name]/analyze?api-version=[api-version]
    Content-Type: application/json
    api-key: [admin key]

  {
     "analyzer":"my_analyzer",
     "text": "Vis-à-vis means Opposite"
  }

Response (Odpověď)

  {
    "tokens": [
      {
        "token": "vis_a_vis",
        "startOffset": 0,
        "endOffset": 9,
        "position": 0
      },
      {
        "token": "vis_à_vis",
        "startOffset": 0,
        "endOffset": 9,
        "position": 0
      },
      {
        "token": "means",
        "startOffset": 10,
        "endOffset": 15,
        "position": 1
      },
      {
        "token": "opposite",
        "startOffset": 16,
        "endOffset": 24,
        "position": 2
      }
    ]
  }

Aktualizace vlastních analyzátorů

Jakmile je definován analyzátor, provádějících tokenizaci, filtr tokenů nebo filtr znaků, nelze jej změnit. Nové lze přidat do existujícího indexu pouze v případě, že allowIndexDowntime je příznak nastaven na hodnotu true v žádosti o aktualizaci indexu:

PUT https://[search service name].search.windows.net/indexes/[index name]?api-version=[api-version]&allowIndexDowntime=true

Tato operace převezme váš index po dobu nejméně pár sekund do offline režimu, což způsobí, že vaše požadavky na indexování a dotazy selžou. Dostupnost a zápis indexu může být po několik minut od aktualizace indexu nebo delší pro hodně velkých indexů narušeno, ale tyto účinky jsou dočasné a mohou se na jejich základě vyřešit sami.

Předdefinované analyzátory

Pokud chcete použít vestavěný analyzátor s vlastními možnostmi, je vytvoření vlastního analyzátoru mechanizmus, podle kterého tyto možnosti zadáte. Naproti tomu, pokud chcete použít vestavěný analyzátor tak, jak je, stačí na definici pole odkazovat podle názvu .

¹ typy analyzátoru jsou vždycky pevně uvedené v kódu s "#Microsoft. Azure. Search" tak, že "PatternAnalyzer" by ve skutečnosti byly zadané jako "#Microsoft. Azure. Search. PatternAnalyzer". Odebrali jsme předponu pro zkrácení, ale ve vašem kódu se vyžaduje předpona.

Analyzer_type je k dispozici pouze pro analyzátory, které lze přizpůsobit. Pokud nejsou k dispozici žádné možnosti, stejně jako v případě analyzátoru klíčového slova není k dispozici žádný přidružený #Microsoft. typ Azure. Search.

Filtry znaků

Filtry znaků přidávají zpracování před tím, než řetězec dosáhne provádějících tokenizaci.

Kognitivní hledání podporuje filtry znaků v následujícím seznamu. Další informace o každé z nich najdete v referenčních informacích k rozhraní API pro Lucene.

¹ typy filtru znaků jsou vždy předpony v kódu s "#Microsoft. Azure. Search" tak, že "MappingCharFilter" by ve skutečnosti byly zadány jako "#Microsoft. Azure. Search. MappingCharFilter. Odebrali jsme předponu, aby se snížila šířka tabulky, ale nezapomeňte ji zahrnout do kódu. Všimněte si, že char_filter_type je k dispozici pouze pro filtry, které lze přizpůsobit. Pokud neexistují žádné možnosti, jako je například případ s html_strip, není k dispozici žádný přidružený #Microsoft. typ Azure. Search.

Tokenizátory musíte nejdřív

Provádějících tokenizaci rozdělí souvislý text na sekvenci tokenů, jako je například rozdělení věty na slova nebo slovo do kořenových formulářů.

Kognitivní hledání podporuje tokenizátory musíte nejdřív v následujícím seznamu. Další informace o každé z nich najdete v referenčních informacích k rozhraní API pro Lucene.

¹ Typy tokenizéru mají vždy předponu v kódu #Microsoft.Azure.Search tak, aby "ClassicTokenizer" byl ve skutečnosti zadaný jako "#Microsoft.Azure.Search.ClassicTokenizer". Předponu jsme odebrali, aby se snížila šířka tabulky, nezapomeňte ji ale zahrnout do kódu. Všimněte si, tokenizer_type je k dispozici pouze pro tokenizační metody, které lze přizpůsobit. Pokud neexistují žádné možnosti, jako je tomu u tokenizátoru dopisů, k typu #Microsoft.Azure.Search přidružená žádná.

Filtry tokenů

Filtr tokenů slouží k odfiltrování nebo úpravě tokenů generovaných tokenizérem. Můžete například zadat filtr malými písmeny, který převede všechny znaky na malá. Ve vlastním analyzátoru můžete mít více filtrů tokenů. Filtry tokenů jsou spouštěné v pořadí, ve kterém jsou uvedeny.

V následující tabulce jsou filtry tokenů implementované pomocí Apache Lucene propojené s dokumentací k rozhraní Lucene API.

¹ Typy filtru tokenů mají vždy předponu v kódu #Microsoft.Azure.Search, takže "ArabicNormalizationTokenFilter" by se ve skutečnosti zadal jako "#Microsoft.Azure.Search.ArabicNormalizationTokenFilter". Předponu jsme odebrali, aby se snížila šířka tabulky, nezapomeňte ji ale zahrnout do kódu.

Viz také

• Azure Cognitive Search rozhraní REST API
• Analyzátory v Azure Cognitive Search (příklady)
• Vytvoření indexu (REST)