Koppla en Cognitive Services-resurs till en kunskapsuppsättning i Azure Cognitive Search

Artikel
11/23/2021
5 minuter för att läsa

När du konfigurerar en valfri AI-berikningspipeline i Azure Cognitive Search kan du utöka ett begränsat antal dokument kostnadsfritt. För större och mer frekventa arbetsbelastningar bör du bifoga en fakturerbar flertjänstresurs Cognitive Services resurs.

En resurs för flera tjänster refererar till "Cognitive Services" som erbjudande, i stället för enskilda tjänster, med åtkomst beviljad via en enda API-nyckel. Den här nyckeln anges i en kunskapsuppsättning och gör att Microsoft debiterar dig för att använda dessa API:er:

Visuellt innehåll för bildanalys och optisk teckenläsning (OCR)
Textanalys för språkidentifiering, entitetsigenkänning, attitydanalys och extrahering av nyckelfraser
Textöversättning

Tips

Azure tillhandahåller en infrastruktur som du kan använda för att övervaka fakturering och budgetar. Mer information om övervakning av Cognitive Services finns i Planera och hantera kostnader för Azure Cognitive Services.

Ange resursnyckeln

Du kan använda Azure Portal, REST API eller en Azure SDK för att koppla en fakturerbar resurs till en kunskapsuppsättning.

Om du lämnar egenskapen ospecificerad stoppas körningen av fakturerbara färdigheter vid 20 transaktioner per indexeraranrop och ett "Time Out"-meddelande visas i indexerarkörningshistoriken.

Skapa en resurs Cognitive Services flera tjänster i samma region som söktjänsten.
Lägg till nyckeln i en kompetensuppsättningsdefinition:
- Om du använder guiden Importera dataanger du nyckeln i det andra steget, "Add AI enrichments".
- Om du lägger till nyckeln i en ny eller befintlig kunskapsuppsättning anger du nyckeln på Cognitive Services fliken.

Skapa en resurs Cognitive Services flera tjänster i samma region som söktjänsten.
Skapa eller uppdatera en kunskapsuppsättning och ange cognitiveServices avsnittet i brödtexten i kunskapsuppsättningsbegäran:

PUT https://[servicename].search.windows.net/skillsets/[skillset name]?api-version=2020-06-30
api-key: [admin key]
Content-Type: application/json
{
    "name": "skillset name",
    "skills": 
    [
      {
        "@odata.type": "#Microsoft.Skills.Text.V3.EntityRecognitionSkill",
        "categories": [ "Organization" ],
        "defaultLanguageCode": "en",
        "inputs": [
          {
            "name": "text", "source": "/document/content"
          }
        ],
        "outputs": [
          {
            "name": "organizations", "targetName": "organizations"
          }
        ]
      }
    ],
    "cognitiveServices": {
        "@odata.type": "#Microsoft.Azure.Search.CognitiveServicesByKey",
        "description": "mycogsvcs",
        "key": "<your key goes here>"
    }
}

Följande kodfragment kommer från azure-search-dotnet-samplesoch trimmas för att göra det kortfattat.

IConfigurationBuilder builder = new ConfigurationBuilder().AddJsonFile("appsettings.json");
IConfigurationRoot configuration = builder.Build();

string searchServiceUri = configuration["SearchServiceUri"];
string adminApiKey = configuration["SearchServiceAdminApiKey"];
string cognitiveServicesKey = configuration["CognitiveServicesKey"];

SearchIndexerClient indexerClient = new SearchIndexerClient(new Uri(searchServiceUri), new AzureKeyCredential(adminApiKey));

// Create the skills
Console.WriteLine("Creating the skills...");
OcrSkill ocrSkill = CreateOcrSkill();
MergeSkill mergeSkill = CreateMergeSkill();

// Create the skillset
Console.WriteLine("Creating or updating the skillset...");
List<SearchIndexerSkill> skills = new List<SearchIndexerSkill>();
skills.Add(ocrSkill);
skills.Add(mergeSkill);

SearchIndexerSkillset skillset = CreateOrUpdateDemoSkillSet(indexerClient, skills, cognitiveServicesKey);

Så här används nyckeln

Nyckelbaserad fakturering gäller när API-anrop till Cognitive Services resurser överskrider 20 API-anrop per indexerare och dag.

Nyckeln används för fakturering, men inte anslutningar. För anslutningar ansluter en söktjänst via det interna nätverket till en Cognitive Services-resurs som finns i samma fysiska region. De flesta regioner som erbjuder Cognitive Search erbjuder även Cognitive Services.

Om du försöker använda AI-berikning i en region som inte har båda tjänsterna visas följande meddelande: "Den angivna nyckeln är inte en giltig CognitiveServices-typnyckel för söktjänstens region."

Anteckning

Vissa inbyggda färdigheter baseras på icke-regionala Cognitive Services (till exempel textöversättningsfärdighet). Att använda en icke-regional kompetens innebär att din begäran kan serdas i en annan region än den Azure Cognitive Search regionen. Mer information om icke-regionala tjänster finns på sidan Cognitive Services produkt efter region.

Specialfall för viktiga krav

Sökning efter anpassad entitet mäts av Azure Cognitive Search, inte Cognitive Services, men det krävs en Cognitive Services-resursnyckel för att låsa upp transaktioner över 20 per indexerare och dag. Endast för den här färdigheten avblockerar resursnyckeln antalet transaktioner, men den är inte relaterad till fakturering.

Kostnadsfria berikanden

AI-berikning erbjuder en liten mängd kostnadsfri bearbetning av fakturerbara berikande uppgifter så att du kan utföra korta övningar utan att behöva bifoga en Cognitive Services resurs. Kostnadsfria berikande filer är 20 dokument per dag, per indexerare. Du kan återställa indexeraren för att återställa räknaren om du vill upprepa en övning.

Vissa berikanden är alltid kostnadsfria:

Verktygsfärdigheter som inte anropar Cognitive Services (nämligen villkorsstyrda ,dokumentuttrahering, formare, textsammanfogningoch textdelning)är inte fakturerbara.
Extrahering av text från PDF-dokument och andra programfiler är inte fakturerbar. Textextrahering sker under dokumentknrickningsfasen och är inte en berikning i sig, men den sker under AI-berikning och anges därför här.

Fakturerbara berikanden

Under AI-berikning Cognitive Search anropar API:er för Cognitive Services för inbyggda färdigheter som baseras på Visuellt innehåll, textöversättning och Textanalys.

Fakturerbara inbyggda färdigheter som gör backend-anrop till Cognitive Services är Entity Linking, Entity Recognition, Image Analysis, Extrahering av diskussionsämne, Språkidentifiering, OCR, PII Detection, Sentimentoch Text Translation.

Extrahering av avbildning Azure Cognitive Search en åtgärd som inträffar när dokument spricks före berikning. Extrahering av bilder kan faktureras på alla nivåer, med undantag för 20 kostnadsfria dagliga extrahering på den kostnadsfria nivån. Kostnader för extrahering av bilder gäller för bildfiler i blobar, inbäddade bilder i andra filer (PDF och andra appfiler) och för bilder som extraheras med hjälp av extrahering av dokument. Prissättning för bild extrahering finns på Azure Cognitive Search prissättningssidan.

Tips

Du kan sänka kostnaden för bearbetning av kunskapsuppsättningen genom att aktivera inkrementell berikning (förhandsversion) för att cachelagra och återanvända berikanden som inte påverkas av ändringar som görs i en kunskapsuppsättning. Cachelagring kräver Azure Storage (se prissättning men den ackumulerade kostnaden för körning av kunskapsuppsättningar är lägre om befintliga berikan kan återanvändas, särskilt för kompetensuppsättningar som använder extrahering och analys av bilder.

Exempel: Beräkna kostnader

Om du vill beräkna kostnaderna för Cognitive Search indexering börjar du med en uppfattning om hur ett genomsnittligt dokument ser ut så att du kan köra några siffror. Du kan till exempel göra en ungefärlig uppskattning:

1 000 PDF-filer.
Sex sidor vardera.
En bild per sida (6 000 bilder).
3 000 tecken per sida.

Anta en pipeline som består av dokumentknckning av varje PDF- och bild- och textextrahering, optisk teckenläsning (OCR) av bilder och entitetsigenkänning av organisationer.

Priserna som visas i den här artikeln är hypotetiska. De används för att illustrera uppskattningsprocessen. Kostnaderna kan bli lägre. De faktiska priserna för transaktioner finns i Cognitive Services priser.

För dokumentknrickning med text- och bildinnehåll är textextrahering för närvarande kostnadsfritt. För 6 000 bilder förutsätter vi 1 USD för varje 1 000 bilder som extraheras. Det är en kostnad på 6,00 USD för det här steget.
För OCR med 6 000 bilder på engelska använder den kognitiva OCR-färdigheten den bästa algoritmen (DescribeText). Om du antar en kostnad på 2,50 USD per 1 000 bilder som ska analyseras skulle du betala 15,00 USD för det här steget.
För extrahering av entiteter har du totalt tre textposter per sida. Varje post är 1 000 tecken. Tre textposter per sida multiplicerat med 6 000 sidor är lika med 18 000 textposter. Om vi antar 2,00 USD per 1 000 textposter skulle det här steget kosta 36,00 USD.

Om vi sätter ihop allt skulle du betala cirka 57,00 USD för att mata in 1 000 PDF-dokument av den här typen med den beskrivna kompetensuppsättningen.