Připojení prostředku Cognitive Services k skupině dovedností v Azure Cognitive Search

Článek
11/23/2021
5 min ke čtení

Při konfiguraci volitelného kanálu pro rozšiřování AI v Azure Cognitive Search můžete zdarma rozšířit omezený počet dokumentů. U větších a častějších úloh byste měli připojit fakturovatelný prostředek s více Cognitive Services služeb.

Prostředek s více službami odkazuje na "Cognitive Services" jako na nabídku místo na jednotlivé služby s přístupem uděleným prostřednictvím jednoho klíče rozhraní API. Tento klíč je zadaný v sady dovedností a umožňuje Microsoftu účtovat poplatky za používání těchto rozhraní API:

Počítačové zpracování obrazu pro analýzu obrázků a optické rozpoznávání znaků (OCR)
Analýza textu pro rozpoznávání jazyka, rozpoznávání entit, analýzu mínění a extrakci klíčových frází
Překlad textu

Tip

Azure poskytuje infrastrukturu pro monitorování fakturace a rozpočtů. Další informace o monitorování a Cognitive Services najdete v tématu Plánování a správa nákladů na Azure Cognitive Services.

Nastavení klíče prostředku

K připojení fakturovatelného Azure Portal k sadě dovedností můžete REST API, azure SDK nebo sadu Azure SDK.

Pokud vlastnost necháte neurčenou, provádění fakturovatelných dovedností se zastaví při 20 transakcích na vyvolání indexeru a v historii provádění indexeru se zobrazí zpráva o časovém limitu.

Vytvořte prostředek s více Cognitive Services ve stejné oblasti jako vyhledávací služba.
Přidejte klíč do definice sady dovedností:
- Pokud používáte průvodce importem dat,zadejte klíč v druhém kroku Přidání rozšíření AI.
- Pokud přidáváte klíč do nové nebo existující sady dovedností, zadejte klíč na Cognitive Services karty.

Vytvořte prostředek s více Cognitive Services ve stejné oblasti jako vyhledávací služba.
Vytvořte nebo aktualizujte dovednosti zadáním cognitiveServices oddílu v textu žádosti o sady dovedností:

PUT https://[servicename].search.windows.net/skillsets/[skillset name]?api-version=2020-06-30
api-key: [admin key]
Content-Type: application/json
{
    "name": "skillset name",
    "skills": 
    [
      {
        "@odata.type": "#Microsoft.Skills.Text.V3.EntityRecognitionSkill",
        "categories": [ "Organization" ],
        "defaultLanguageCode": "en",
        "inputs": [
          {
            "name": "text", "source": "/document/content"
          }
        ],
        "outputs": [
          {
            "name": "organizations", "targetName": "organizations"
          }
        ]
      }
    ],
    "cognitiveServices": {
        "@odata.type": "#Microsoft.Azure.Search.CognitiveServicesByKey",
        "description": "mycogsvcs",
        "key": "<your key goes here>"
    }
}

Následující fragment kódu je z ukázky azure-search-dotnet-samplesoříznuté kvůli stručnosti.

IConfigurationBuilder builder = new ConfigurationBuilder().AddJsonFile("appsettings.json");
IConfigurationRoot configuration = builder.Build();

string searchServiceUri = configuration["SearchServiceUri"];
string adminApiKey = configuration["SearchServiceAdminApiKey"];
string cognitiveServicesKey = configuration["CognitiveServicesKey"];

SearchIndexerClient indexerClient = new SearchIndexerClient(new Uri(searchServiceUri), new AzureKeyCredential(adminApiKey));

// Create the skills
Console.WriteLine("Creating the skills...");
OcrSkill ocrSkill = CreateOcrSkill();
MergeSkill mergeSkill = CreateMergeSkill();

// Create the skillset
Console.WriteLine("Creating or updating the skillset...");
List<SearchIndexerSkill> skills = new List<SearchIndexerSkill>();
skills.Add(ocrSkill);
skills.Add(mergeSkill);

SearchIndexerSkillset skillset = CreateOrUpdateDemoSkillSet(indexerClient, skills, cognitiveServicesKey);

Jak se klíč používá

Fakturace založená na klíčích se použije, když volání rozhraní API Cognitive Services více než 20 volání rozhraní API na indexer za den.

Klíč se používá pro fakturaci, ale ne pro připojení. U připojení se vyhledávací služba připojuje přes interní síť k prostředku Cognitive Services, který je umístěný ve stejné fyzické oblasti. Většina oblastí, které nabízejí Cognitive Search nabízí také Cognitive Services.

Pokud se pokusíte o rozšíření AI v oblasti, která nemá obě služby, zobrazí se tato zpráva: Poskytnutý klíč není platným klíčem typu CognitiveServices pro oblast vaší vyhledávací služby.

Poznámka

Některé integrované dovednosti jsou založené na neregionální Cognitive Services (například dovednost překladu textu). Použití jiné než regionální dovednosti znamená, že vaše žádost může být vyřídána v jiné oblasti, než je Azure Cognitive Search oblast. Další informace o neregionální službě najdete na Cognitive Services produkt podle oblastí.

Zvláštní případy klíčových požadavků

Vlastní vyhledávání entit se měří podle Azure Cognitive Search, nikoli Cognitive Services, ale vyžaduje klíč prostředku Cognitive Services k odemknutí transakcí nad 20 za indexer za den. Pouze pro tuto dovednost klíč prostředku odblokuje počet transakcí, ale nesouvisí s fakturací.

Bezplatná rozšíření

Rozšiřování AI nabízí malé množství bezplatného zpracování fakturovatelných rozšíření, abyste mohli dokončit krátká cvičení bez nutnosti připojovat Cognitive Services prostředek. Bezplatná rozšíření jsou 20 dokumentů za den na indexer. Pokud chcete opakovat cvičení, můžete resetovat indexer a čítač resetovat.

Některá rozšíření jsou vždy bezplatná:

Utility skills that do not call Cognitive Services (konkrétně Conditional, Document Extraction, Shaper, Text Merge, and Text Split skills) are not billable.
Extrakce textu z dokumentů PDF a dalších aplikačních souborů je neúčtovatelná. Extrakce textu probíhá během fáze prolomení dokumentu a není rozšířením za sekundu, ale dochází k ní během rozšiřování AI, a proto je zde popsána.

Fakturovatelná rozšíření

Během rozšiřování AI Cognitive Search rozhraní rozhraní API služeb Cognitive Services integrované dovednosti založené na Počítačové zpracování obrazu, překladu textu a Analýza textu.

K fakturovatelným integrovaným dovednostem, které back-endová volání do služby Cognitive Services zahrnují entity linking,rozpoznávání entit, analýzu obrázků, Extrakce klíčových frází, Rozpoznávání jazyka, OCR,detekci PII,mínění a překlad textu.

Extrakce obrázků je Azure Cognitive Search, ke které dochází při prolomení dokumentů před rozšiřováním. Extrakce obrázků je fakturovatelná na všech úrovních s výjimkou 20 bezplatných denních extrakcí na úrovni Free. Náklady na extrakci obrázků se vztahují na soubory obrázků uvnitř objektů blob, vložené obrázky v jiných souborech (PDF a další soubory aplikace) a pro obrázky extrahované pomocí extrakce dokumentů. Ceny za extrakci i image najdete na Azure Cognitive Search s cenami.

Tip

Pokud chcete snížit náklady na zpracování sady dovedností, povolte přírůstkové rozšiřování (Preview) pro ukládání do mezipaměti a opakované použití všech rozšíření, která nejsou ovlivněna změnami sady dovedností. Ukládání do mezipaměti vyžaduje Azure Storage (viz ceny, ale kumulativní náklady na spouštění sad dovedností jsou nižší, pokud je možné znovu použít stávající rozšíření, zejména u sad dovedností, které používají extrakci a analýzu obrázků.

Příklad: Odhad nákladů

Pokud chcete odhadnout náklady spojené Cognitive Search indexování, začněte s myšlenkou, jak vypadá průměrný dokument, abyste mohli spustit nějaká čísla. Můžete například odhadovat:

1 000 souborů PDF.
Každá má šest stránek.
Jeden obrázek na stránku (6 000 obrázků).
3 000 znaků na stránku.

Předpokládejme kanál, který se skládá z prolomení jednotlivých souborů PDF, extrakce obrázků a textu, optického rozpoznávání znaků (OCR) obrázků a rozpoznávání entit organizací.

Ceny uvedené v tomto článku jsou hypotetické. Slouží k ilustraci procesu odhadu. Vaše náklady mohou být nižší. Informace o skutečných cenách transakcí najdete v tématu Cognitive Services cen.

Pro prolomení dokumentů obsahem textu a obrázků je extrakce textu aktuálně zdarma. U 6 000 obrázků předpokládejme 1 USD za každých 1 000 extrahovaných obrázků. To jsou náklady na tento krok ve výši 6,00 USD.
Pro OCR 6 000 obrázků v angličtině používá kognitivní dovednost OCR nejlepší algoritmus (DescribeText). Za předpokladu, že budete analyzovat náklady ve výši 2,50 USD na 1 000 obrázků, za tento krok zaplatíte 15,00 USD.
Pro extrakci entit byste měli celkem tři textové záznamy na stránku. Každý záznam má 1 000 znaků. Tři textové záznamy na stránku vynásobené 6 000 stránkami se rovnají 18 000 textových záznamů. Za předpokladu 2,00 USD na 1 000 textových záznamů by tento krok stál 36,00 USD.

Když to všechno dáte dohromady, zaplatíte přibližně 57,00 USD za ingestování 1 000 dokumentů PDF tohoto typu s popsanou sada dovedností.