Compilare ed eseguire il training di un modello di classificazione personalizzato
Questo contenuto si applica a:
v4.0 (anteprima) | Versioni precedenti:
v3.1 (GA)v3.0 (GA)
Importante
Il modello di classificazione personalizzato è attualmente disponibile in anteprima pubblica. Le funzionalità, gli approcci e i processi possono cambiare, prima della disponibilità generale, in base al feedback degli utenti.
I modelli di classificazione personalizzati possono classificare ogni pagina in un file di input per identificare i documenti all'interno. I modelli di classificatore possono anche identificare più documenti o più istanze di un singolo documento nel file di input. I modelli personalizzati di Document Intelligence richiedono fino a cinque documenti di training per ogni classe documento per iniziare. Per iniziare a eseguire il training di un modello di classificazione personalizzato, sono necessari almeno cinque documenti per ogni classe e due classi di documenti.
Requisiti di input del modello di classificazione personalizzati
Assicurarsi che il set di dati di training segua i requisiti di input per Document Intelligence.
Per ottenere risultati ottimali, fornire una foto chiara o un'analisi di alta qualità per ogni documento.
Formati di file supportati:
Modello PDF Immagine:
JPEG/JPG, PNG, BMP, TIFF, HEIFMicrosoft Office:
Word (DOCX), Excel (XLSX), PowerPoint (PPTX) e HTMLLettura ✔ ✔ ✔ Layout ✔ ✔ ✔ (2024-02-29-preview, 2023-10-31-preview) Documento generale ✔ ✔ Predefinito ✔ ✔ Estrazione personalizzata ✔ ✔ Classificazione personalizzata ✔ ✔ ✔ (2024-02-29-preview) Per PDF e TIFF, è possibile elaborare fino a 2000 pagine (con una sottoscrizione di livello gratuito, vengono elaborate solo le prime due pagine).
Le dimensioni del file per l'analisi dei documenti sono di 500 MB per il livello a pagamento (S0) e 4 MB per il livello gratuito (F0).
Le dimensioni dell'immagine devono essere comprese tra 50 x 50 pixel e 10.000 px x 10.000 pixel.
Se i file PDF sono bloccati da password, è necessario rimuovere il blocco prima dell'invio.
L'altezza minima del testo da estrarre è di 12 pixel per un'immagine da 1024 x 768 pixel. Questa dimensione corrisponde a circa
8-point text a 150 punti per pollice (DPI).Per il training di modelli personalizzati, il numero massimo di pagine per i dati di training è 500 per il modello di modello personalizzato e 50.000 per il modello neurale personalizzato.
Per il training del modello di estrazione personalizzato, le dimensioni totali dei dati di training sono di 50 MB per il modello di modello e 1G-MB per il modello neurale.
Per il training del modello di classificazione personalizzato, le dimensioni totali dei dati di training sono
1GBpari a un massimo di 10.000 pagine.
Suggerimenti per i dati di training
Seguire questi suggerimenti per ottimizzare ulteriormente il set di dati per il training:
Se possibile, utilizzare documenti PDF basati su testo anziché documenti basati su immagini. I PDF sottoposti a scansione vengono gestiti come immagini.
Se le immagini del modulo sono di qualità inferiore, utilizza un set di dati più grande (10-15 immagini, ad esempio).
Caricare i dati di training
Dopo aver creato il set di moduli o documenti per il training, è necessario caricarlo in un contenitore di archiviazione BLOB di Azure. Se non si sa come creare un account di archiviazione di Azure con un contenitore, seguire la guida introduttiva Archiviazione di Azure per portale di Azure. È possibile usare il piano tariffario gratuito (F0) per provare il servizio ed eseguire in un secondo momento l'aggiornamento a un livello a pagamento per la produzione. Se il set di dati è organizzato come cartelle, mantenere tale struttura in quanto Studio può usare i nomi delle cartelle per le etichette per semplificare il processo di etichettatura.
Creare un progetto di classificazione in Document Intelligence Studio
Document Intelligence Studio fornisce e orchestra tutte le chiamate API necessarie per completare il set di dati ed eseguire il training del modello.
Per iniziare, passare a Document Intelligence Studio. La prima volta che si usa Studio, è necessario inizializzare la sottoscrizione, il gruppo di risorse e la risorsa. Seguire quindi i prerequisiti per i progetti personalizzati per configurare Studio per accedere al set di dati di training.
Nel riquadro Studio selezionare il riquadro Modello di classificazione personalizzata, nella sezione Modelli personalizzati della pagina e selezionare il pulsante Crea un progetto .
Nella finestra di dialogo Crea progetto specificare un nome per il progetto, facoltativamente una descrizione e selezionare Continua.
Successivamente, scegliere o creare una risorsa di Intelligence documenti prima di selezionare Continua.
Selezionare quindi l'account di archiviazione usato per caricare il set di dati di training del modello personalizzato. Il percorso della cartella deve essere vuoto se i documenti di training si trovano nella radice del contenitore. Se i documenti si trovano in una sottocartella, immettere il percorso relativo dalla radice del contenitore nel campo Percorso cartella. Dopo aver configurato l'account di archiviazione, selezionare Continua.
Importante
È possibile organizzare il set di dati di training in base alle cartelle in cui il nome della cartella è l'etichetta o la classe per i documenti oppure creare un elenco semplice di documenti a cui è possibile assegnare un'etichetta in Studio.
Il training di un classificatore personalizzato richiede l'output del modello Layout per ogni documento nel set di dati. Eseguire il layout in tutti i documenti prima del processo di training del modello.
Esaminare infine le impostazioni del progetto e selezionare Crea progetto per creare un nuovo progetto. Si dovrebbe ora trovarsi nella finestra di etichettatura e visualizzare i file nel set di dati elencato.
Assegnare etichette ai dati
Nel progetto è sufficiente etichettare ogni documento con l'etichetta di classe appropriata.
I file caricati nell'archivio vengono visualizzati nell'elenco dei file, pronti per essere etichettati. Sono disponibili alcune opzioni per etichettare il set di dati.
Se i documenti sono organizzati in cartelle, lo Studio chiede di usare i nomi delle cartelle come etichette. Questo passaggio semplifica l'assegnazione di etichette a un'unica selezione.
Per assegnare un'etichetta a un documento, selezionare il segno di selezione aggiungi etichetta per assegnare un'etichetta.
Selezionare i documenti con selezione multipla per assegnare un'etichetta
Tutti i documenti nel set di dati dovrebbero essere etichettati. Se si esamina l'account di archiviazione, si trovano .ocr.json file che corrispondono a ogni documento nel set di dati di training e un nuovo file class-name.jsonl per ogni classe etichettata. Questo set di dati di training viene inviato per eseguire il training del modello.
Eseguire il training del modello
Dopo aver etichettato il set di dati, è ora possibile eseguire il training del modello. Selezionare il pulsante Train (Training) nell'angolo superiore destro.
Nella finestra di dialogo del modello di training specificare un ID classificatore univoco e, facoltativamente, una descrizione. L'ID classificatore accetta un tipo di dati stringa.
Selezionare Esegui training per avviare il processo di training.
I modelli di classificatore eseguono il training in pochi minuti.
Passare al menu Modelli per visualizzare lo stato dell'operazione di training.
Test del modello
Al termine del training del modello, è possibile testare il modello selezionando il modello nella pagina dell'elenco dei modelli.
Selezionare il modello e selezionare il pulsante Test .
Aggiungere un nuovo file esplorando un file o rilasciando un file nel selettore di documenti.
Con un file selezionato, scegliere il pulsante Analizza per testare il modello.
I risultati del modello vengono visualizzati con l'elenco dei documenti identificati, un punteggio di attendibilità per ogni documento identificato e l'intervallo di pagine per ognuno dei documenti identificati.
Convalidare il modello valutando i risultati per ogni documento identificato.
Training di un classificatore personalizzato usando l'SDK o l'API
Studio orchestra le chiamate API per eseguire il training di un classificatore personalizzato. Il set di dati di training del classificatore richiede l'output dell'API di layout corrispondente alla versione dell'API per il modello di training. L'uso dei risultati del layout di una versione precedente dell'API può comportare un modello con un'accuratezza inferiore.
Studio genera i risultati del layout per il set di dati di training se il set di dati non contiene risultati di layout. Quando si usa l'API o l'SDK per eseguire il training di un classificatore, è necessario aggiungere i risultati del layout alle cartelle contenenti i singoli documenti. I risultati del layout devono essere nel formato della risposta dell'API quando si chiama direttamente il layout. Il modello a oggetti dell'SDK è diverso, assicurarsi che siano i risultati dell'API layout results e non .SDK response
Risoluzione dei problemi
Il modello di classificazione richiede i risultati del modello di layout per ogni documento di training. Se non si forniscono i risultati del layout, Studio tenta di eseguire il modello di layout per ogni documento prima di eseguire il training del classificatore. Questo processo è limitato e può generare una risposta 429.
In Studio, prima del training con il modello di classificazione, eseguire il modello di layout in ogni documento e caricarlo nella stessa posizione del documento originale. Dopo aver aggiunto i risultati del layout, è possibile eseguire il training del modello di classificatore con i documenti.