Lägga till anpassade analysverktyg i strängfält i ett Azure Cognitive Search index

Ett anpassat analysverktyg är en användardefinierad kombination av tokeniserare, ett eller flera tokenfilter och ett eller flera teckenfilter som anges i sökindexet och som sedan refereras till fältdefinitioner som kräver anpassad analys. Tokeniseraren ansvarar för att dela upp text i token och tokenfiltren för att ändra token som genereras av tokenizer. Teckenfilter förbereder indatatexten innan den bearbetas av tokeniseraren. Begrepp och exempel finns i Analysverktyg i Azure Cognitive Search.

Ett anpassat analysverktyg ger dig kontroll över processen med att konvertera text till indexerbara och sökbara token genom att låta dig välja vilka typer av analys eller filtrering som ska anropas och i vilken ordning de inträffar.

Skapa och tilldela ett anpassat analysverktyg om inget standardvärde (Standard Lucence), inbyggda analysverktyg eller språkanalysverktyg är tillräckliga för dina behov. Du kan också skapa ett anpassat analysverktyg om du vill använda ett inbyggt analysverktyg med anpassade alternativ. Om du till exempel vill ändra maxTokenLength på Standard skapar du ett anpassat analysverktyg med ett användardefinierat namn för att ange det alternativet.

Här är några exempel på scenarier där anpassade analysverktyg kan vara till hjälp:

• Använda teckenfilter för att ta bort HTML-kod innan textinmatningar tokeniseras eller ersätta vissa tecken eller symboler.

• Fonetiska sökningar. Lägg till ett fonetiskt filter för att aktivera sökning baserat på hur ett ord låter, inte hur det stavas.

• Inaktivera lexikal analys. Använd Nyckelordsanalys för att skapa sökbara fält som inte analyseras.

• Snabb sökning efter prefix/suffix. Lägg till edge N-gram token-filtret till indexprefix för ord för att aktivera snabb prefixmatchning. Kombinera det med filtret Omvänd token för att göra suffixmatchning.

• Anpassad tokenisering. Du kan till exempel använda tokeniseraren för tomt utrymme för att dela upp meningar i token med hjälp av blanksteg som avgränsare

• ASCII-vikning. Lägg till standard-ASCII-vikningsfiltret för att normalisera diakritiska tecken som ö eller ê i söktermer.

Skapa ett anpassat analysverktyg

Om du vill skapa ett anpassat analysverktyg anger du det i avsnittet "analyzers" i ett index vid designtiden och refererar sedan till det på sökbara Edm.String-fält med antingen egenskapen "analyzer" eller paret "indexAnalyzer" och "searchAnalyzer".

En analysdefinition innehåller namn, typ, ett eller flera teckenfilter, högst en tokeniserare och ett eller flera tokenfilter för bearbetning efter tokenbearbetning. Teckenfilter tillämpas före tokenisering. Tokenfilter och teckenfilter tillämpas från vänster till höger.

• Namnen i ett anpassat analysverktyg måste vara unika och får inte vara samma som inbyggda analysverktyg, tokeniserare, tokenfilter eller teckenfilter. Det får bara innehålla bokstäver, siffror, blanksteg, bindestreck eller understreck, får bara börja och sluta med alfanumeriska tecken och får vara begränsat till 128 tecken.

• Typen måste vara #Microsoft.Azure.Search.CustomAnalyzer.

• "charFilters" kan vara ett eller flera filter från teckenfiltersom bearbetas före tokenisering i den angivna ordningen. Vissa teckenfilter har alternativ som kan anges i ett "charFilter-avsnitt. Teckenfilter är valfria.

• "tokenizer" är exakt en tokeniserare. Ett värde krävs. Om du behöver fler än en tokeniserare kan du skapa flera anpassade analysverktyg och tilldela dem fält för fält i indexschemat.

• "tokenFilters" kan vara ett eller flera filter från tokenfiltersom bearbetas efter tokenisering i den angivna ordningen. För tokenfilter som har alternativ lägger du till ett "tokenFilter"-avsnitt för att ange konfigurationen. Tokenfilter är valfria.

Analysverktyg får inte skapa token som är längre än 300 tecken, annars misslyckas indexeringen. Om du vill trimma en lång token eller undanta dem använder du TruncateTokenFilter respektive LengthTokenFilter. Se Tokenfilter som referens.

"analyzers":(optional)[
   {
      "name":"name of analyzer",
      "@odata.type":"#Microsoft.Azure.Search.CustomAnalyzer",
      "charFilters":[
         "char_filter_name_1",
         "char_filter_name_2"
      ],
      "tokenizer":"tokenizer_name",
      "tokenFilters":[
         "token_filter_name_1",
         "token_filter_name_2"
      ]
   },
   {
      "name":"name of analyzer",
      "@odata.type":"#analyzer_type",
      "option1":value1,
      "option2":value2,
      ...
   }
],
"charFilters":(optional)[
   {
      "name":"char_filter_name",
      "@odata.type":"#char_filter_type",
      "option1":value1,
      "option2":value2,
      ...
   }
],
"tokenizers":(optional)[
   {
      "name":"tokenizer_name",
      "@odata.type":"#tokenizer_type",
      "option1":value1,
      "option2":value2,
      ...
   }
],
"tokenFilters":(optional)[
   {
      "name":"token_filter_name",
      "@odata.type":"#token_filter_type",
      "option1":value1,
      "option2":value2,
      ...
   }
]

I en indexdefinition kan du placera det här avsnittet var som helst i brödtexten i en begäran om att skapa index, men vanligtvis i slutet:

{
  "name": "name_of_index",
  "fields": [ ],
  "suggesters": [ ],
  "scoringProfiles": [ ],
  "defaultScoringProfile": (optional) "...",
  "corsOptions": (optional) { },
  "analyzers":(optional)[ ],
  "charFilters":(optional)[ ],
  "tokenizers":(optional)[ ],
  "tokenFilters":(optional)[ ]
}

Analysverktygsdefinitionen är en del av det större indexet. Definitioner för teckenfilter, tokeniserare och tokenfilter läggs bara till i indexet om du anger anpassade alternativ. Om du vill använda ett befintligt filter eller en tokeniserare som det är anger du det efter namn i analyzer-definitionen. Mer information finns i Skapa index (REST). Fler exempel finns i Lägga till analysverktyg i Azure Cognitive Search.

Testa anpassade analysverktyg

Du kan använda Test Analyzer (REST) för att se hur en analysator delar upp a given text i token.

Förfrågan

  POST https://[search service name].search.windows.net/indexes/[index name]/analyze?api-version=[api-version]
    Content-Type: application/json
    api-key: [admin key]

  {
     "analyzer":"my_analyzer",
     "text": "Vis-à-vis means Opposite"
  }

Response

  {
    "tokens": [
      {
        "token": "vis_a_vis",
        "startOffset": 0,
        "endOffset": 9,
        "position": 0
      },
      {
        "token": "vis_à_vis",
        "startOffset": 0,
        "endOffset": 9,
        "position": 0
      },
      {
        "token": "means",
        "startOffset": 10,
        "endOffset": 15,
        "position": 1
      },
      {
        "token": "opposite",
        "startOffset": 16,
        "endOffset": 24,
        "position": 2
      }
    ]
  }

Uppdatera anpassade analysverktyg

När en analysator, en tokeniserare, ett tokenfilter eller ett teckenfilter har definierats kan den inte ändras. Nya kan bara läggas till i ett befintligt index om flaggan allowIndexDowntime är inställd på sant i indexuppdateringsbegäran:

PUT https://[search service name].search.windows.net/indexes/[index name]?api-version=[api-version]&allowIndexDowntime=true

Den här åtgärden tar indexet offline i minst några sekunder, vilket gör att indexerings- och frågebegäranden misslyckas. Prestanda- och skrivtillgänglighet för indexet kan försämras i flera minuter efter att indexet har uppdaterats eller längre för mycket stora index, men dessa effekter är tillfälliga och löses slutligen på egen hand.

Inbyggda analysverktyg

Om du vill använda ett inbyggt analysverktyg med anpassade alternativ kan du ange dessa alternativ genom att skapa ett anpassat analysverktyg. Om du däremot vill använda ett inbyggt analysverktyg som det är behöver du helt enkelt referera till det med namnet i fältdefinitionen.

¹ Analyzer Types har alltid prefixet "#Microsoft.Azure.Search" så att "PatternAnalyzer" faktiskt skulle anges som "#Microsoft.Azure.Search.PatternAnalyzer". Vi har tagit bort prefixet för korthet, men prefixet krävs i koden.

Den analyzer_type tillhandahålls endast för analysverktyg som kan anpassas. Om det inte finns några alternativ, vilket är fallet med nyckelordsanalys, finns det ingen associerad #Microsoft.Azure.Search-typ.

Teckenfilter

Teckenfilter lägger till bearbetning innan en sträng når tokeniseraren.

Cognitive Search har stöd för teckenfilter i följande lista. Mer information om var och en finns i Lucene API-referensen.

¹ Teckenfiltertyper föregås alltid av prefix i kod med "#Microsoft.Azure.Search" så att "MappingCharFilter" faktiskt skulle anges som "#Microsoft.Azure.Search.MappingCharFilter. Vi har tagit bort prefixet för att minska tabellens bredd, men kom ihåg att inkludera det i koden. Observera att char_filter_type endast anges för filter som kan anpassas. Om det inte finns några alternativ, vilket är fallet med html_strip, finns det ingen associerad #Microsoft.Azure.Search-typ.

Tokeniserare

En tokeniserare delar in kontinuerlig text i en sekvens med token, till exempel att dela upp en mening i ord eller ett ord i rotformulär.

Cognitive Search har stöd för tokeniserare i följande lista. Mer information om var och en finns i Lucene API-referensen.

¹ Tokenizer Types (Tokenizertyper) har alltid prefixet "#Microsoft.Azure.Search" så att "ClassicTokenizer" faktiskt skulle anges som "#Microsoft.Azure.Search.ClassicTokenizer". Vi har tagit bort prefixet för att minska tabellens bredd, men kom ihåg att inkludera det i koden. Observera att tokenizer_type endast tillhandahålls för tokeniserare som kan anpassas. Om det inte finns några alternativ, vilket är fallet med tokenizer-bokstaven, finns det ingen associerad #Microsoft.Azure.Search-typ.

Tokenfilter

Ett tokenfilter används för att filtrera bort eller ändra de token som genereras av en tokeniserare. Du kan till exempel ange ett filter med gemener som konverterar alla tecken till gemener. Du kan ha flera tokenfilter i ett anpassat analysverktyg. Tokenfilter körs i den ordning som de visas.

I tabellen nedan länkas tokenfilter som implementeras med Apache Lucene till Lucene API-dokumentationen.

¹ Tokenfiltertyper föregås alltid av kod med "#Microsoft.Azure.Search" så att "ArabiskaNormalizationTokenFilter" faktiskt skulle anges som "#Microsoft.Azure.Search.ArabiskaNormalizationTokenFilter". Vi har tagit bort prefixet för att minska tabellens bredd, men kom ihåg att inkludera det i koden.

Se även

• Azure Cognitive Search REST API:er
• Analysverktyg i Azure Cognitive Search (exempel)
• Skapa index (REST)