Aangepaste analyses toevoegen aan tekenreeksvelden in een Azure Cognitive Search index

Een aangepaste analyse is een door de gebruiker gedefinieerde combinatie van tokenizer, een of meer tokenfilters en een of meer tekenfilters die zijn opgegeven in de zoekindex en waarnaar vervolgens wordt verwezen naar velddefinities waarvoor aangepaste analyse is vereist. De tokenizer is verantwoordelijk voor het op breken van tekst in tokens en de tokenfilters voor het wijzigen van tokens die door de tokenizer worden ingediend. Tekenfilters bereiden de invoertekst voor voordat deze wordt verwerkt door de tokenizer. Zie Analyzers in Azure Cognitive Search voor concepten en voorbeelden.

Een aangepaste analyse geeft u controle over het proces van het converteren van tekst naar indexeerbare en doorzoekbare tokens doordat u kunt kiezen welke typen analyse of filters u wilt aanroepen, en de volgorde waarin ze plaatsvinden.

Maak en wijs een aangepaste analyse toe als geen van de standaard (Standard Lucence), ingebouwde of taalanalyses voldoende is voor uw behoeften. U kunt ook een aangepaste analyse maken als u een ingebouwde analyse met aangepaste opties wilt gebruiken. Als u bijvoorbeeld maxTokenLength op Standard wilt wijzigen, maakt u een aangepaste analyse met een door de gebruiker gedefinieerde naam om die optie in te stellen.

Scenario's waarin aangepaste analyses nuttig kunnen zijn, zijn onder andere:

• Gebruik tekenfilters om HTML-markeringen te verwijderen voordat tekstinvoer wordt tokenized of vervang bepaalde tekens of symbolen.

• F phonetic search. Voeg een f phonetic filter toe om zoeken mogelijk te maken op basis van de manier waarop een woord klinkt, niet hoe het wordt gespeld.

• Lexicale analyse uitschakelen. Gebruik de Keyword Analyzer om doorzoekbare velden te maken die niet worden geanalyseerd.

• Snel zoeken naar voorvoegsel/achtervoegsel. Voeg het edge N-gram-tokenfilter toe aan de index voorvoegsels van woorden om snel overeenkomende voorvoegsels mogelijk te maken. Combineer dit met het filter Reverse token om achtervoegsels te koppelen.

• Aangepaste tokenisatie. Gebruik bijvoorbeeld de whitespace-tokenizer om zinnen op te breken in tokens met behulp van witruimte als scheidingsteken

• ASCII Folding. Voeg het Standaard ASCII Folding-filter toe om diacritics zoals ö of ê in zoektermen te normaliseren.

Een aangepaste analyse maken

Als u een aangepaste analyse wilt maken, geeft u deze op in de sectie Analyse van een index tijdens het ontwerpen en verwijst u naar doorzoekbare Edm.String-velden met behulp van de eigenschap 'analyzer' of het paar indexAnalyzer en searchAnalyzer.

Een analyzer-definitie bevat een naam, type, een of meer tekenfilters, maximaal één tokenizer en een of meer tokenfilters voor verwerking na tokenisatie. Tekenfilters worden toegepast vóór tokenisatie. Tokenfilters en tekenfilters worden van links naar rechts toegepast.

• Namen in een aangepaste analyse moeten uniek zijn en mogen niet hetzelfde zijn als een van de ingebouwde filters voor analyse, tokenizers, tokenfilters of tekens. De naam mag alleen letters, cijfers, spaties, streepjes of onderstrepingstekens bevatten, mag alleen beginnen en eindigen met alfanumerieke tekens en mag maximaal 128 tekens bevatten.

• Type moet #Microsoft.Azure.Search.CustomAnalyzer zijn.

• 'charFilters' kunnen een of meer filters zijn van Tekenfilters, verwerkt vóór tokenization, in de opgegeven volgorde. Sommige tekenfilters hebben opties die kunnen worden ingesteld in de sectie charFilter. Tekenfilters zijn optioneel.

• 'tokenizer' is precies één Tokenizer. Een waarde is vereist. Als u meer dan één tokenizer nodig hebt, kunt u meerdere aangepaste analyses maken en deze per veld toewijzen in uw indexschema.

• 'tokenFilters' kunnen een of meer filters zijn van Tokenfilters,verwerkt na tokenization, in de opgegeven volgorde. Voor tokenfilters met opties voegt u een sectie 'tokenFilter' toe om de configuratie op te geven. Tokenfilters zijn optioneel.

Analyses mogen geen tokens produceren die langer zijn dan 300 tekens, anders mislukt het indexeren. Als u een lang token wilt inkorten of wilt uitsluiten, gebruikt u respectievelijk TruncateTokenFilter en LengthTokenFilter. Zie Tokenfilters voor naslag.

"analyzers":(optional)[
   {
      "name":"name of analyzer",
      "@odata.type":"#Microsoft.Azure.Search.CustomAnalyzer",
      "charFilters":[
         "char_filter_name_1",
         "char_filter_name_2"
      ],
      "tokenizer":"tokenizer_name",
      "tokenFilters":[
         "token_filter_name_1",
         "token_filter_name_2"
      ]
   },
   {
      "name":"name of analyzer",
      "@odata.type":"#analyzer_type",
      "option1":value1,
      "option2":value2,
      ...
   }
],
"charFilters":(optional)[
   {
      "name":"char_filter_name",
      "@odata.type":"#char_filter_type",
      "option1":value1,
      "option2":value2,
      ...
   }
],
"tokenizers":(optional)[
   {
      "name":"tokenizer_name",
      "@odata.type":"#tokenizer_type",
      "option1":value1,
      "option2":value2,
      ...
   }
],
"tokenFilters":(optional)[
   {
      "name":"token_filter_name",
      "@odata.type":"#token_filter_type",
      "option1":value1,
      "option2":value2,
      ...
   }
]

Binnen een indexdefinitie kunt u deze sectie ergens in de hoofdsectie van een indexaanvraag plaatsen, maar meestal gaat deze aan het einde:

{
  "name": "name_of_index",
  "fields": [ ],
  "suggesters": [ ],
  "scoringProfiles": [ ],
  "defaultScoringProfile": (optional) "...",
  "corsOptions": (optional) { },
  "analyzers":(optional)[ ],
  "charFilters":(optional)[ ],
  "tokenizers":(optional)[ ],
  "tokenFilters":(optional)[ ]
}

De definitie van de analyse maakt deel uit van de grotere index. Definities voor tekenfilters, tokenizers en tokenfilters worden alleen aan de index toegevoegd als u aangepaste opties instelt. Als u een bestaand filter of tokenizer wilt gebruiken, geeft u dit op naam op in de definitie van de analyse. Zie Index maken (REST) voor meer informatie. Zie Analyse toevoegen in Azure Cognitive Search voor meer voorbeelden.

Aangepaste analyses testen

U kunt de Test Analyzer (REST) gebruiken om te zien hoe een analyse bepaalde tekst in tokens opbreekt.

Aanvraag

  POST https://[search service name].search.windows.net/indexes/[index name]/analyze?api-version=[api-version]
    Content-Type: application/json
    api-key: [admin key]

  {
     "analyzer":"my_analyzer",
     "text": "Vis-à-vis means Opposite"
  }

Response

  {
    "tokens": [
      {
        "token": "vis_a_vis",
        "startOffset": 0,
        "endOffset": 9,
        "position": 0
      },
      {
        "token": "vis_à_vis",
        "startOffset": 0,
        "endOffset": 9,
        "position": 0
      },
      {
        "token": "means",
        "startOffset": 10,
        "endOffset": 15,
        "position": 1
      },
      {
        "token": "opposite",
        "startOffset": 16,
        "endOffset": 24,
        "position": 2
      }
    ]
  }

Aangepaste analyses bijwerken

Zodra een analyse, een tokenizer, een tokenfilter of een tekenfilter is gedefinieerd, kan deze niet worden gewijzigd. Nieuwe kunnen alleen worden toegevoegd aan een bestaande index als de vlag is ingesteld op allowIndexDowntime true in de aanvraag voor indexupdates:

PUT https://[search service name].search.windows.net/indexes/[index name]?api-version=[api-version]&allowIndexDowntime=true

Met deze bewerking wordt uw index ten minste een paar seconden offline gehaald, waardoor uw indexering en queryaanvragen mislukken. De prestaties en schrijfbeschikbaarheid van de index kunnen enkele minuten worden beperkt nadat de index is bijgewerkt of langer voor zeer grote indexen, maar deze effecten zijn tijdelijk en worden uiteindelijk zelf opgelost.

Ingebouwde analyse

Als u een ingebouwde analyse met aangepaste opties wilt gebruiken, is het maken van een aangepaste analyse het mechanisme waarmee u deze opties opgeeft. Als u daarentegen een ingebouwde analyse zoals deze wilt gebruiken, hoeft u er alleen maar naar te verwijzen op naam in de velddefinitie.

¹ Analyzer-typen worden altijd vooraf in code voorzien van '#Microsoft.Azure.Search', zodat 'PatternAnalyzer' daadwerkelijk wordt opgegeven als '#Microsoft.Azure.Search.PatternAnalyzer'. We hebben het voorvoegsel voor de beknoptheid verwijderd, maar het voorvoegsel is vereist in uw code.

De analyzer_type is alleen beschikbaar voor analyses die kunnen worden aangepast. Als er geen opties zijn, zoals het geval is bij de keyword analyzer, is er geen gekoppeld #Microsoft.Azure.Search-type.

Tekenfilters

Tekenfilters voegen verwerking toe voordat een tekenreeks de tokenizer bereikt.

Cognitive Search ondersteunt tekenfilters in de volgende lijst. Meer informatie over elk punt vindt u in de Lucene-API-referentie.

¹ Filtertypen met char worden altijd vooraf in code voorzien van '#Microsoft.Azure.Search', zodat 'MappingCharFilter' daadwerkelijk wordt opgegeven als '#Microsoft.Azure.Search.MappingCharFilter'. We hebben het voorvoegsel verwijderd om de breedte van de tabel te verminderen, maar vergeet niet om het op te nemen in uw code. U ziet char_filter_type alleen wordt opgegeven voor filters die kunnen worden aangepast. Als er geen opties zijn, zoals het geval is bij html_strip, is er geen gekoppeld #Microsoft.Azure.Search-type.

Tokenizers

Een tokenizer verdeelt continue tekst in een reeks tokens, zoals het opdelen van een zin in woorden of een woord in hoofdformulieren.

Cognitive Search ondersteunt tokenizers in de volgende lijst. Meer informatie over elk punt vindt u in de Lucene-API-referentie.

¹ Tokenizer-typen worden altijd vooraf in code voorafschreven met '#Microsoft.Azure.Search', zodat 'ClassicTokenizer' daadwerkelijk wordt opgegeven als '#Microsoft.Azure.Search.ClassicTokenizer'. We hebben het voorvoegsel verwijderd om de breedte van de tabel te verminderen, maar vergeet niet om het op te nemen in uw code. U ziet tokenizer_type alleen wordt opgegeven voor tokenizers die kunnen worden aangepast. Als er geen opties zijn, zoals het geval is bij de letter-tokenizer, is er geen gekoppeld #Microsoft.Azure.Search-type.

Tokenfilters

Er wordt een tokenfilter gebruikt om de tokens te filteren of te wijzigen die door een tokenizer worden gegenereerd. U kunt bijvoorbeeld een filter in kleine letters opgeven dat alle tekens converteert naar kleine letters. U kunt meerdere tokenfilters hebben in een aangepaste analyse. Tokenfilters worden uitgevoerd in de volgorde waarin ze worden weergegeven.

In de onderstaande tabel zijn de tokenfilters die zijn geïmplementeerd met Apache Lucene, gekoppeld aan de Lucene-API-documentatie.

¹ Tokenfiltertypen worden altijd voorafschreven in code met '#Microsoft.Azure.Search', zodat 'ArabicNormalizationTokenFilter' daadwerkelijk wordt opgegeven als '#Microsoft.Azure.Search.ArabicNormalizationTokenFilter'. We hebben het voorvoegsel verwijderd om de breedte van de tabel te verminderen, maar vergeet niet om het op te nemen in uw code.

Zie ook

• Azure Cognitive Search REST API's
• Analyse in Azure Cognitive Search (voorbeelden)
• Index maken (REST)