Archivio informazioni in Azure ricerca cognitivaKnowledge store in Azure Cognitive Search

L'archivio conoscenze è una funzionalità di Ricerca cognitiva di Azure che rende persistente l'output di una pipeline di arricchimento tramite intelligenza artificiale per analisi indipendenti o elaborazioni downstream.Knowledge store is a feature of Azure Cognitive Search that persists output from an AI enrichment pipeline for independent analysis or downstream processing. Un documento arricchito è l'output di una pipeline, creato da contenuto che è stato estratto, strutturato e analizzato tramite processi di intelligenza artificiale.An enriched document is a pipeline's output, created from content that has been extracted, structured, and analyzed using AI processes. In una pipeline di intelligenza artificiale standard, i documenti arricchiti sono temporanei, ovvero vengono usati solo durante l'indicizzazione per poi essere rimossi.In a standard AI pipeline, enriched documents are transitory, used only during indexing and then discarded. La scelta di creare un archivio informazioni consentirà di mantenere i documenti arricchiti.Choosing to create a knowledge store will allow you to preserve the enriched documents.

Se le competenze cognitive sono già state usate in precedenza, si saprà che i set di competenze consentono di spostare un documento attraverso una sequenza di arricchimenti.If you have used cognitive skills in the past, you already know that skillsets move a document through a sequence of enrichments. Il risultato può essere un indice di ricerca o proiezioni in un archivio informazioni.The outcome can be a search index, or projections in a knowledge store. I due output, l'indice di ricerca e l'archivio conoscenze sono prodotti della stessa pipeline e derivano dagli stessi input, ma risultano in un output che viene strutturato, archiviato e usato in modi molto diversi.The two outputs, search index and knowledge store, are products of the same pipeline; derived from the same inputs, but resulting in output that is structured, stored, and used in very different ways.

Fisicamente, un archivio conoscenze è una risorsa di archiviazione di Azure, ad esempio una risorsa di archiviazione tabelle di Azure, di archiviazione BLOB di Azure o entrambe.Physically, a knowledge store is Azure Storage, either Azure Table storage, Azure Blob storage, or both. Qualsiasi strumento o processo in grado di connettersi ad archiviazione di Azure può usare il contenuto di un archivio conoscenze.Any tool or process that can connect to Azure Storage can consume the contents of a knowledge store.

Archivio conoscenze nel diagramma della pipelineKnowledge store in pipeline diagram

Vantaggi del knowledge storeBenefits of knowledge store

Tramite l'archivio conoscenze è possibile ottenere struttura, contesto e contenuti reali, ricavati da file di dati non strutturati e semi-strutturati come BLOB, file di immagini che sono stati sottoposti ad analisi o anche dati strutturati rimodellati in nuovi moduli.A knowledge store gives you structure, context, and actual content - gleaned from unstructured and semi-structured data files like blobs, image files that have undergone analysis, or even structured data, reshaped into new forms. In una proceduta dettagliata è possibile vedere come un documento JSON ad alta densità viene partizionato in sottostrutture, ricostituito in nuove strutture e reso altrimenti disponibile per processi downstream come carichi di lavoro di apprendimento automatico e data science.In a step-by-step walkthrough, you can see first-hand how a dense JSON document is partitioned out into substructures, reconstituted into new structures, and otherwise made available for downstream processes like machine learning and data science workloads.

Sebbene sia utile per osservare il risultato generato da una pipeline di arricchimento tramite intelligenza artificiale, il vero potenziale dell'archivio conoscenze è la capacità di rimodellare i dati.Although it's useful to see what an AI enrichment pipeline can produce, the real potential of a knowledge store is the ability to reshape data. È possibile iniziare con un set di competenze di base e quindi iterarlo per aggiungere livelli crescenti di struttura, che è possibile combinare in nuove strutture, utilizzabili in altre app oltre a Ricerca cognitiva di Azure.You might start with a basic skillset, and then iterate over it to add increasing levels of structure, which you can then combine into new structures, consumable in other apps besides Azure Cognitive Search.

Di seguito vengono elencati i vantaggi del knowledge store:Enumerated, the benefits of knowledge store include the following:

  • Utilizzare documenti arricchiti in strumenti di analisi e creazione report diversi dalla ricerca.Consume enriched documents in analytics and reporting tools other than search. Power BI con Power Query rappresenta una scelta interessante, ma qualsiasi strumento o app in grado di connettersi ad Archiviazione di Azure può eseguire il pull da un archivio conoscenze creato.Power BI with Power Query is a compelling choice, but any tool or app that can connect to Azure Storage can pull from a knowledge store that you create.

  • Affinare una pipeline di indicizzazione basata su intelligenza artificiale mentre si eseguono il debug delle fasi e delle definizioni dei set di competenze.Refine an AI-indexing pipeline while debugging steps and skillset definitions. Un knowledge store mostra il prodotto di una definizione di set di competenze in una pipeline di indicizzazione basata su intelligenza artificiale.A knowledge store shows you the product of a skillset definition in an AI-indexing pipeline. È possibile usare questi risultati per progettare un set di competenze migliori, perché è possibile vedere esattamente come sono gli arricchimenti.You can use those results to design a better skillset because you can see exactly what the enrichments look like. È possibile usare Storage Explorer in Archiviazione di Azure per visualizzare i contenuti dell'archivio conoscenze.You can use Storage Explorer in Azure Storage to view the contents of a knowledge store.

  • Modellare i dati in nuove forme.Shape the data into new forms. Il rimodellamento è codificato in set di competenze, ma il punto è che un set di competenze può ora fornire questa funzionalità.The reshaping is codified in skillsets, but the point is that a skillset can now provide this capability. La competenza Shaper in Ricerca cognitiva di Azure è stata estesa per supportare questa attività.The Shaper skill in Azure Cognitive Search has been extended to accommodate this task. Il rimodellamento consente di definire una proiezione che si allinea con l'uso previsto dei dati, preservando al tempo stesso le relazioni.Reshaping allows you to define a projection that aligns with your intended use of the data while preserving relationships.

Nota

È la prima volta che si usano l'arricchimento tramite intelligenza artificiale e le competenze cognitive?New to AI enrichment and cognitive skills? Ricerca cognitiva di Azure si integra con le funzionalità Visione artificiale e Lingua di Servizi cognitivi per estrarre e arricchire i dati di origine tramite il Riconoscimento ottico dei caratteri (OCR) su file di immagine, riconoscimento di entità ed estrazione di frasi chiave da file di testo e altro ancora.Azure Cognitive Search integrates with Cognitive Services Vision and Language features to extract and enrich source data using Optical Character Recognition (OCR) over image files, entity recognition and key phrase extraction from text files, and more. Per altre informazioni, vedere Arricchimento tramite intelligenza artificiale in Ricerca cognitiva di Azure.For more information, see AI enrichment in Azure Cognitive Search.

Archiviazione fisicaPhysical storage

L'espressione fisica di un archivio conoscenze viene articolata tramite l'elemento projections di una definizione di knowledgeStore in un set di competenze.The physical expression of a knowledge store is articulated through the projections element of a knowledgeStore definition in a Skillset. La proiezione definisce una struttura dell'output per renderlo adatto all'utilizzo previsto.The projection defines a structure of the output so that it matches your intended use.

Le proiezioni possono essere articolate sotto forma di tabelle, oggetti o file.Projections can be articulated as tables, objects, or files.

"knowledgeStore": { 
    "storageConnectionString": "<YOUR-AZURE-STORAGE-ACCOUNT-CONNECTION-STRING>", 
    "projections": [ 
        { 
            "tables": [ ], 
            "objects": [ ], 
            "files": [ ]
        },
                { 
            "tables": [ ], 
            "objects": [ ], 
            "files": [ ]
        }

Il tipo di proiezione specificato in questa struttura determina il tipo di archiviazione usato dall'archivio conoscenze.The type of projection you specify in this structure determines the type of storage used by knowledge store.

  • Se si definisce tables viene usata l'archiviazione tabelle.Table storage is used when you define tables. Definire una proiezione di tabella se si necessita di strutture di report tabulari per gli input negli strumenti analitici o per l'esportazione come frame di dati in altri archivi dati.Define a table projection when you need tabular reporting structures for inputs to analytical tools or export as data frames to other data stores. È possibile specificare più tables per ottenere un subset o una sezione trasversale dei documenti arricchiti.You can specify multiple tables to get a subset or cross section of enriched documents. All'interno dello stesso gruppo di proiezione, le relazioni tra tabelle vengono conservate in modo che sia possibile utilizzarle tutte.Within the same projection group, table relationships are preserved so that you can work with all of them.

  • Se si definisce objects o files viene usata l'archiviazione BLOB.Blob storage is used when you define objects or files. La rappresentazione fisica di un object è una struttura JSON gerarchica che rappresenta un documento arricchito.The physical representation of an object is a hierarchical JSON structure that represents an enriched document. Un file è un'immagine estratta da un documento, trasferita intatta nell'archiviazione BLOB.A file is an image extracted from a document, transferred intact to Blob storage.

Un singolo oggetto di proiezione contiene un set di tables, objects, files e, per molti scenari, potrebbe essere sufficiente la creazione di una sola proiezione.A single projection object contains one set of tables, objects, files, and for many scenarios, creating one projection might be enough.

Tuttavia, è possibile creare più set di proiezioni di table-object-file ed è consigliabile procedere in questo modo se si desiderano relazioni diverse tra dati.However, it is possible to create multiple sets of table-object-file projections, and you might do that if you want different data relationships. All'interno di un set i dati vengono correlati, posto che tali relazioni esistano e sia possibile rilevarle.Within a set, data is related, assuming those relationships exist and can be detected. Se si creano set aggiuntivi, i documenti in ogni gruppo non sono mai correlati.If you create additional sets, the documents in each group are never related. Come esempio di utilizzo di più gruppi di proiezione si potrebbe pensare a quando si desidera che gli stessi dati vengano proiettati per l'utilizzo sia con il sistema online (che è necessario rappresentare in modo specifico) che in una pipeline di data science (rappresentata in modo diverso).An example of using multiple projection groups might be if you want the same data projected for use with your online system and it needs to be represented a specific way, you also want the same data projected for use in a data science pipeline that is represented differently.

RequisitiRequirements

Il servizio Archiviazione di Azure è obbligatorio.Azure Storage is required. Corrisponde alla posizione di archiviazione fisica.It provides physical storage. È possibile usare l'archiviazione BLOB, l'archiviazione tabelle o entrambi.You can use Blob storage, Table storage or both. L'archiviazione BLOB viene usata per i documenti arricchiti intatti, di solito quando l'output è diretto ai processi downstream.Blob storage is used for intact enriched documents, usually when the output is going to downstream processes. L'archiviazione tabelle è destinata alle sezioni dei documenti arricchiti, comunemente utilizzati per l'analisi e la creazione di report.Table storage is for slices of enriched documents, commonly used for analysis and reporting.

Il set di competenze è obbligatorio.Skillset is required. Contiene la definizione di knowledgeStore e determina la struttura e la composizione di un documento arricchito.It contains the knowledgeStore definition, and it determines the structure and composition of an enriched document. Non è possibile creare un archivio conoscenze utilizzando un set di competenze vuoto.You cannot create a knowledge store using an empty skillset. Il set di competenze deve contenere almeno una competenza.You must have at least one skill in a skillset.

L'indicizzatore è obbligatorio.Indexer is required. Un set di competenze viene richiamato da un indicizzatore che guida l'esecuzione.A skillset is invoked by an indexer, which drives the execution. Gli indicizzatori sono dotati di un proprio set di requisiti e attributi.Indexers come with their own set of requirements and attributes. Molti di questi attributi hanno un impatto diretto sull'archivio conoscenze:Several of these attributes have a direct bearing on a knowledge store:

  • Per gli indicizzatori è necessaria un'origine dati di Azure supportata (la pipeline che sostanzialmente crea l'archivio conoscenze inizia eseguendo il pull dei dati da un'origine supportata in Azure).Indexers require a supported Azure data source (the pipeline that ultimately creates the knowledge store starts by pulling data from a supported source on Azure).

  • Per gli indicizzatori è necessario un indice di ricerca.Indexers require a search index. Occorre specificare uno schema di indice, anche se non si prevede di usarlo.An indexer requires that you provide an index schema, even if you never plan to use it. Un indice di base contiene un campo di stringa, designato come chiave.A minimal index has one string field, designated as the key.

  • Gli indicizzatori forniscono mapping dei campi facoltativi, usati per l'alias di un campo di origine in un campo di destinazione.Indexers provide optional field mappings, used to alias a source field to a destination field. Se è necessario modificare un mapping dei campi predefinito (per usare un nome o un tipo diverso), è possibile creare un mapping dei campi all'interno di un indicizzatore.If a default field mapping needs modification (to use a different name or type), you can create a field mapping within an indexer. Per l'output dell'archivio conoscenze, la destinazione può essere un campo in un oggetto o in una tabella BLOB.For knowledge store output, the destination can be a field in a blob object or table.

  • Gli indicizzatori contengono pianificazioni e le altre proprietà, come i meccanismi di rilevamento delle modifiche provenienti da varie origini dati, possono essere applicate anche agli archivi conoscenze.Indexers have schedules and other properties, such as change detection mechanisms provided by various data sources, can also be applied to a knowledge store. Ad esempio, è possibile pianificare l'arricchimento a intervalli regolari per aggiornare i contenuti.For example, you can schedule enrichment at regular intervals to refresh the contents.

Come creare un archivio conoscenzeHow to create a knowledge store

Per creare un archivio informazioni, usare il portale o l'API REST ( api-version=2020-06-30 ).To create knowledge store, use the portal or the REST API (api-version=2020-06-30).

Usare il portale di AzureUse the Azure portal

La procedura guidata di importazione dei dati include le opzioni per la creazione di un archivio conoscenze.The Import data wizard includes options for creating a knowledge store. Per l'esplorazione iniziale, creare il primo archivio conoscenze in quattro passaggi.For initial exploration, create your first knowledge store in four steps.

  1. Selezionare un'origine dati supportata.Select a supported data source.

  2. Specificare l'arricchimento: allegare una risorsa, selezionare le competenze e specificare un archivio conoscenze.Specify enrichment: attach a resource, select skills, and specify a knowledge store.

  3. Creare uno schema di indice.Create an index schema. Si tratta di un passaggio obbligatorio della procedura guidata ed è possibile dedurlo automaticamente.The wizard requires it and can infer one for you.

  4. Eseguire la procedura guidata.Run the wizard. In questo ultimo passaggio vengono eseguite le operazioni di estrazione, arricchimento e archiviazione.Extraction, enrichment, and storage occur in this last step.

Usare create Skills (API REST)]Use Create Skillset (REST API)]

Un knowledgeStore viene definito all'interno di un set di competenze, che a sua volta viene richiamato da un indicizzatore.A knowledgeStore is defined within a skillset, which in turn is invoked by an indexer. Durante l'arricchimento, Ricerca cognitiva di Azure crea uno spazio nell'account di Archiviazione di Azure e proietta i documenti arricchiti come BLOB o tabelle, a seconda della configurazione.During enrichment, Azure Cognitive Search creates a space in your Azure Storage account and projects the enriched documents as blobs or into tables, depending on your configuration.

L'API REST è un meccanismo mediante il quale è possibile creare un archivio informazioni a livello di codice.The REST API is one mechanism by which you can create a knowledge store programmatically. Una modalità semplice di esplorazione consiste nel creare il primo archivio conoscenze con Postman e l'API REST.An easy way to explore is create your first knowledge store using Postman and the REST API.

Come eseguire la connessione con strumenti e appHow to connect with tools and apps

Una volta che gli arricchimenti sono presenti nell'archiviazione, è possibile usare qualsiasi strumento o tecnologia che si connette ad Archiviazione BLOB di Azure o da Archiviazione tabelle di Azure per esplorare, analizzare o utilizzare i contenuti.Once the enrichments exist in storage, any tool or technology that connects to Azure Blob or Table storage can be used to explore, analyze, or consume the contents. È possibile iniziare con l'elenco seguente:The following list is a start:

  • Storage Explorer per visualizzare la struttura e il contenuto dei documenti arricchiti.Storage Explorer to view enriched document structure and content. Considerare questo strumento come lo strumento di base per visualizzare i contenuti del knowledge store.Consider this as your baseline tool for viewing knowledge store contents.

  • Power BI per la creazione di report e l'analisi.Power BI for reporting and analysis.

  • Azure Data Factory per ulteriori elaborazioni.Azure Data Factory for further manipulation.

Informazioni di riferimento sulle APIAPI reference

La versione dell'API REST 2020-06-30 fornisce l'archivio conoscenze tramite definizioni aggiuntive nei set di competenze.REST API version 2020-06-30 provides knowledge store through additional definitions on skillsets. Oltre ai riferimenti, vedere Creare un archivio conoscenze con Postman per informazioni dettagliate su come chiamare le API.In addition to the reference, see Create a knowledge store using Postman for details on how to call the APIs.

Passaggi successiviNext steps

L'Archivio conoscenze offre la persistenza dei documenti arricchiti, utile durante la progettazione di un set di competenze o la creazione di nuove strutture e contenuto per l'utilizzo da parte di qualsiasi applicazione client in grado di accedere a un account di archiviazione di Azure.Knowledge store offers persistence of enriched documents, useful when designing a skillset, or the creation of new structures and content for consumption by any client applications capable of accessing an Azure Storage account.

L'approccio più semplice per la creazione di documenti arricchiti è tramite il portale, ma è anche possibile usare l'API REST e l'API REST, che risulta più utile se si vuole approfondire la creazione e il riferimento agli oggetti.The simplest approach for creating enriched documents is through the portal, but you can also use Postman and the REST API, which is more useful if you want insight into how objects are created and referenced.

Per altre informazioni sulle proiezioni, sulle funzionalità e su come definirle in un set di competenzeTo learn more about projections, the capabilities and how you define them in a skillset

Per un'esercitazione sui concetti avanzati delle proiezioni, come il sezionamento, la definizione della forma inline e le relazioni, iniziare con Definire le proiezioni in un archivio conoscenzeFor a tutorial covering advanced projections concepts like slicing, inline shaping and relationships, start with define projections in a knowledge store