Een resource Cognitive Services koppelen aan een vaardighedenset in Azure Cognitive Search

Artikel
11/23/2021
5 minuten om te lezen

Wanneer u een optionele AI-verrijkingspijplijn configureert in Azure Cognitive Search, kunt u een beperkt aantal documenten gratis verrijken. Voor grotere en frequentere workloads moet u een factureerbare multiservice-resource Cognitive Services koppelen.

Een resource met meerdere services verwijst naar 'Cognitive Services' als de aanbieding, in plaats van afzonderlijke services, met toegang verleend via één API-sleutel. Deze sleutel wordt opgegeven in een vaardighedenset en stelt Microsoft in staat om kosten in rekening te brengen voor het gebruik van deze API's:

Computer Vision voor afbeeldingsanalyse en optische tekenherkenning (OCR)
Text Analytics voor taaldetectie, entiteitsherkenning, sentimentanalyse en sleuteltermextractie
Tekstomzetting

Tip

Azure biedt infrastructuur voor het bewaken van facturering en budgetten. Zie Kosten voor uw Cognitive Services en beheren voor meer informatie over Azure Cognitive Services.

De resourcesleutel instellen

U kunt de Azure Portal, REST API of een Azure SDK gebruiken om een factureerbare resource aan een vaardighedenset te koppelen.

Als u de eigenschap niet hebt gespecificeerd, stopt de uitvoering van factureerbare vaardigheden bij 20 transacties per aanroep van de indexer en wordt er een time-outbericht weergegeven in de uitvoeringsgeschiedenis van de indexer.

Maak een resource met meerdere Cognitive Services in dezelfde regio als uw zoekservice.
Voeg de sleutel toe aan de definitie van een vaardighedenset:
- Als u de wizard Gegevens importeren gebruikt,voert u in de tweede stap de sleutel 'AI-verrijkingen toevoegen' in.
- Als u de sleutel toevoegt aan een nieuwe of bestaande vaardighedenset, geeft u de sleutel op het tabblad Cognitive Services op.

Maak een resource met meerdere Cognitive Services in dezelfde regio als uw zoekservice.
Maak of werk een vaardighedenset bij, met de sectie cognitiveServices in de body van de aanvraag voor de vaardighedenset:

PUT https://[servicename].search.windows.net/skillsets/[skillset name]?api-version=2020-06-30
api-key: [admin key]
Content-Type: application/json
{
    "name": "skillset name",
    "skills": 
    [
      {
        "@odata.type": "#Microsoft.Skills.Text.V3.EntityRecognitionSkill",
        "categories": [ "Organization" ],
        "defaultLanguageCode": "en",
        "inputs": [
          {
            "name": "text", "source": "/document/content"
          }
        ],
        "outputs": [
          {
            "name": "organizations", "targetName": "organizations"
          }
        ]
      }
    ],
    "cognitiveServices": {
        "@odata.type": "#Microsoft.Azure.Search.CognitiveServicesByKey",
        "description": "mycogsvcs",
        "key": "<your key goes here>"
    }
}

Het volgende codefragment is afkomstig uit azure-search-dotnet-samples,ingekort voor de beknoptheid.

IConfigurationBuilder builder = new ConfigurationBuilder().AddJsonFile("appsettings.json");
IConfigurationRoot configuration = builder.Build();

string searchServiceUri = configuration["SearchServiceUri"];
string adminApiKey = configuration["SearchServiceAdminApiKey"];
string cognitiveServicesKey = configuration["CognitiveServicesKey"];

SearchIndexerClient indexerClient = new SearchIndexerClient(new Uri(searchServiceUri), new AzureKeyCredential(adminApiKey));

// Create the skills
Console.WriteLine("Creating the skills...");
OcrSkill ocrSkill = CreateOcrSkill();
MergeSkill mergeSkill = CreateMergeSkill();

// Create the skillset
Console.WriteLine("Creating or updating the skillset...");
List<SearchIndexerSkill> skills = new List<SearchIndexerSkill>();
skills.Add(ocrSkill);
skills.Add(mergeSkill);

SearchIndexerSkillset skillset = CreateOrUpdateDemoSkillSet(indexerClient, skills, cognitiveServicesKey);

Hoe de sleutel wordt gebruikt

Facturering op basis van sleutels is van toepassing wanneer API-aanroepen Cognitive Services meer dan 20 API-aanroepen per indexer per dag.

De sleutel wordt gebruikt voor facturering, maar niet voor verbindingen. Voor verbindingen maakt een zoekservice via het interne netwerk verbinding met Cognitive Services resource die zich op dezelfde fysieke locatie bevindt. De meeste regio's die Cognitive Search bieden ook Cognitive Services.

Als u AI-verrijking probeert uit te proberen in een regio die niet beide services heeft, ziet u het volgende bericht: 'Opgegeven sleutel is geen geldige CognitiveServices-typesleutel voor de regio van uw zoekservice'.

Notitie

Sommige ingebouwde vaardigheden zijn gebaseerd op niet-regionale Cognitive Services (bijvoorbeeld de vaardigheid Tekstomtaling). Het gebruik van een niet-regionale vaardigheid betekent dat uw aanvraag kan worden gebruikt in een andere regio dan de Azure Cognitive Search regio. Zie de pagina Cognitive Services product per regio voor meer informatie over niet-regionale services.

Speciale gevallen voor belangrijke vereisten

Custom Entity Lookup wordt gemeten op basis van Azure Cognitive Search, niet Cognitive Services, maar er is een Cognitive Services-resourcesleutel nodig om transacties van meer dan 20 per indexer per dag te ontgrendelen. Alleen voor deze vaardigheid deblokkeert de resourcesleutel het aantal transacties, maar is deze niet gerelateerd aan facturering.

Gratis verrijkingen

AI-verrijking biedt een kleine hoeveelheid gratis verwerking van factureerbare verrijkingen, zodat u korte oefeningen kunt voltooien zonder dat u een Cognitive Services koppelen. Gratis verrijkingen zijn 20 documenten per dag, per indexeringsmanager. U kunt de indexering opnieuw instellen om de teller opnieuw in te stellen als u een oefening wilt herhalen.

Sommige verrijkingen zijn altijd gratis:

Hulpprogrammavaardigheden die geen aanroepen Cognitive Services (dat wil zeggen,Voorwaardelijke, Documentextractie, Shaper, Tekstsamenvoegen en Text Split-vaardigheden)zijn niet factureerbaar.
Tekstextractie uit PDF-documenten en andere toepassingsbestanden is niet factureerbaar. Tekstextractie vindt plaats tijdens de fase waarin documenten worden gekraakt en is geen verrijking per se, maar vindt plaats tijdens AI-verrijking en wordt hier dus vermeld.

Factureerbare verrijkingen

Tijdens AI-verrijking roept Cognitive Search de Cognitive Services-API's aan voor ingebouwde vaardigheden die zijn gebaseerd op Computer Vision, tekstvertaling en Text Analytics.

Factureerbare ingebouwde vaardigheden die back-Cognitive Services-aanroepen naar Cognitive Services doen, zijn onder andere Entity Linking, Entity Recognition, Image Analysis, Sleuteltermextractie , Taaldetectie, OCR, PII Detection, Sentimenten Text Translation.

Extractie van afbeeldingen is Azure Cognitive Search bewerking die optreedt wanneer documenten worden gekraakt vóór verrijking. Extractie van afbeeldingen is factureerbaar voor alle lagen, met uitzondering van 20 gratis dagelijkse extracties in de gratis laag. Kosten voor het extraheren van afbeeldingen zijn van toepassing op afbeeldingsbestanden in blobs, ingesloten afbeeldingen in andere bestanden (PDF- en andere app-bestanden) en voor afbeeldingen die zijn geëxtraheerd met behulp van Documentextractie. Zie de pagina met prijzen voor Azure Cognitive Search voor prijzen voor afbeeldingsextractie.

Tip

Als u de kosten van de verwerking van vaardighedensets wilt verlagen, kunt u incrementele verrijking (preview) inschakelen om verrijkingen die niet worden beïnvloed door wijzigingen in een vaardighedenset, in de cache op te nemen en opnieuw te gebruiken. Caching vereist Azure Storage (zie prijzen, maar de cumulatieve kosten voor het uitvoeren van vaardighedensets zijn lager als bestaande verrijkingen opnieuw kunnen worden gebruikt, met name voor vaardighedensets die gebruikmaken van extractie en analyse van afbeeldingen.

Voorbeeld: Kosten schatten

Als u een schatting wilt maken van de kosten Cognitive Search indexeren, begint u met een idee van hoe een gemiddeld document eruitziet, zodat u enkele getallen kunt uitvoeren. U kunt bijvoorbeeld een schatting maken van het volgende:

1000 PDF's.
Elk zes pagina's.
Eén afbeelding per pagina (6000 afbeeldingen).
3000 tekens per pagina.

Stel dat u een pijplijn hebt die bestaat uit documentbaring van elke PDF, afbeelding en tekstextractie, optische tekenherkenning (OCR) van afbeeldingen en entiteitsherkenning van organisaties.

De prijzen die in dit artikel worden weergegeven, zijn hypothetisch. Ze worden gebruikt om het schattingsproces te illustreren. Uw kosten kunnen lager zijn. Zie Prijzen voor Cognitive Services voor de werkelijke prijzen van transacties.

Voor het kraken van documenten met tekst- en afbeeldingsinhoud is tekstextractie momenteel gratis. Ga voor 6000 afbeeldingen uit van $ 1 voor elke 1000 geëxtraheerde afbeeldingen. Dat is een kostenpost van $ 6,00 voor deze stap.
Voor OCR van 6000 afbeeldingen in het Engels gebruikt de cognitieve vaardigheid OCR het beste algoritme (DescribeText). Uitgaande van de kosten van $ 2,50 per 1000 te analyseren afbeeldingen, betaalt u $ 15,00 voor deze stap.
Voor entiteitextractie hebt u in totaal drie tekstrecords per pagina. Elke record is 1000 tekens. Drie tekstrecords per pagina vermenigvuldigd met 6000 pagina's is gelijk aan 18.000 tekstrecords. Uitgaande van $ 2,00 per 1000 tekstrecords, kost deze stap $ 36,00.

Alles bij elkaar betaalt u ongeveer $ 57,00 om 1000 PDF-documenten van dit type op te nemen met de beschreven vaardighedenset.