文件智慧服務版面配置模型

重要

• Document Intelligence 公開預覽版本提供早期存取作用中開發的功能。
• 根據使用者意見反應，功能、方法和流程在正式發行 (GA) 前可能有所變更。
• Document Intelligence 用戶端連結庫的公開預覽版本預設為 REST API 版本 2024-02-29-preview。
• 公開預覽版本 2024-02-29-preview 目前僅適用於下列 Azure 區域：
• 美國東部
• 美國西部 2
• 西歐

此內容適用於：v4.0 （預覽） | 舊版：v3.1 （GA）v3.0 （GA）v2.1 （GA）

文件智慧服務版面配置模型是在文件智慧服務雲端中提供以進階機器學習為基礎的文件分析 API。 它能讓您採用各種格式的文件，然後傳回文件的結構化資料表示法。 它結合了增強版本的強大的 光學字元辨識（OCR） 功能與深度學習模型，以擷取文字、表格、選取標記和文件結構。

檔版面配置分析

文件結構版面配置分析是分析檔以擷取感興趣的區域及其相互關聯性的程式。 目標是從頁面擷取文字和結構元素，以建立更好的語意理解模型。 檔案設定中有兩種類型的角色：

• 幾何角色：文字、表格、圖形和選取標記是幾何角色的範例。
• 邏輯角色：標題、標題和頁尾是文字邏輯角色的範例。

下圖顯示範例頁面影像中的一般元件。

開發選項

Document Intelligence v4.0 （2024-02-29-preview， 2023-10-31-preview） 支援下列工具、應用程式和連結庫：

功能	資源	Model ID
版面配置模型	• Document Intelligence Studio • REST API • C# SDK• Python SDK • Java SDK • JavaScript SDK	prebuilt-layout

輸入需求

• 若要得到最佳結果，請為每個文件提供一張清晰的照片或高畫質的掃描檔案。

• 支援的檔案格式：

  模型	PDF	圖片： JPEG/JPG、PNG、BMP、TIFF、HEIF	Microsoft Office： Word（DOCX）、Excel（XLSX）、PowerPoint（PPTX）和 HTML
  參閱	✔	✔	✔
  版面配置	✔	✔	✔ （2024-02-29-preview， 2023-10-31-preview）
  一般文件	✔	✔
  預建	✔	✔
  自訂擷取	✔	✔
  自訂分類	✔	✔	✔ （2024-02-29-preview）

• 若使用 PDF 和 TIFF，最多可處理 2000 頁 (若使用免費層訂閱，則只會處理前兩頁)。

• 用於分析文件的檔案大小是付費 （S0） 層的 500 MB，免費 #F0 層為 4 MB。

• 影像維度必須介於 50 x 50 像素和 10,000 x 10,000 像素之間。

• 如果您的 PDF 有密碼鎖定，則必須先移除鎖定才能提交。

• 針對 1024 x 768 像素影像的擷取文字高度下限為 12 像素。 此尺寸在 150 點/英吋 (DPI) 時大約相當於 8 點文字。

• 針對自訂模型定型，自訂範本模型的定型資料頁數上限為 500，而自訂神經網路模型的上限則為 50,000。

  • 針對自訂擷取模型定型，範本模型的定型資料大小總計為 50 MB，而神經模型的大小總計則為 1G-MB。

  • 針對自訂分類模型定型，定型資料的大小總計為 1GB (上限為 10,000 頁)。

開始使用版面配置模型

了解如何使用文件智慧服務，從文件中擷取包括文字、資料表、資料表標題、選取標記和結構資訊在內的資料。 您需要下列資源：

• Azure 訂用帳戶-您可以 免費建立一個訂用帳戶。

• Azure 入口網站中的 Document Intelligence 執行個體。 您可以使用免費定價層 （F0） 來試用服務。 部署資源之後，選取 [移至資源 ] 以取得您的金鑰和端點。

注意

Document Intelligence Studio 適用於 v3.0 API 和更新版本。

使用 Document Intelligence Studio (英文) 處理的文件範例

1. 在 [Document Intelligence Studio] 首頁上，選取 [ 版面配置]。

2. 您可以分析範例檔或上傳您自己的檔案。

3. 選取 [ 執行分析] 按鈕，並視需要設定 [分析] 選項：

   

   請嘗試 Document Intelligence Studio。

支援的語言和地區設定

如需支援語言的完整清單，請參閱 我們的 語言支援 — 檔案分析模型 頁面。

資料擷取

版面配置模型會從您的檔中擷取文字、選取標記、表格、段落和段落類型（roles）。

注意

版本 2024-02-29-preview、 2023-10-31-preview和更新版本支援 Microsoft Office （DOCX、XLSX、PPTX） 和 HTML 檔案。 不支援下列功能：

• 每個頁面對象沒有角度、寬度/高度和單位。
• 針對偵測到的每個對象，沒有周框多邊形或周框區域。
• 不支援頁面範圍 （pages） 做為參數。
• 沒有 lines 物件。

頁面

pages 集合是檔中的頁面清單。 每個頁面都會在檔中循序表示，並包含方向角度，指出頁面是否旋轉，寬度和高度（以像素為單位的維度）。 模型輸出中的頁面單位會計算，如下所示：

檔案格式	計算頁面單位	總頁數
圖片（JPEG/JPG、PNG、BMP、HEIF）	每個影像 = 1 個頁面單位	影像總數
PDF	PDF 中的每個頁面 = 1 個頁面單位	PDF 中的總頁數
TIFF	TIFF = 1 頁單位中的每個影像	TIFF 中的影像總數
Word （DOCX）	最多 3,000 個字元 = 1 個頁面單位，不支援內嵌或連結的影像	每頁最多 3,000 個字元的總頁數
Excel （XLSX）	每個工作表 = 1 個頁面單位，不支援內嵌或連結的影像	工作表總計
PowerPoint （PPTX）	每張投影片 = 1 個頁面單位，不支援內嵌或連結的影像	投影片總計
HTML	最多 3,000 個字元 = 1 個頁面單位，不支援內嵌或連結的影像	每頁最多 3,000 個字元的總頁數

"pages": [
    {
        "pageNumber": 1,
        "angle": 0,
        "width": 915,
        "height": 1190,
        "unit": "pixel",
        "words": [],
        "lines": [],
        "spans": []
    }
]

從檔擷取選取的頁面

對於大型多頁檔，請使用 pages 查詢參數來指出文字擷取的特定頁碼或頁面範圍。

段落

版面配置模型會將集合中所有識別的 paragraphs 文字區塊擷取為 底下 analyzeResults的最上層物件。 這個集合中的每個專案都代表文本塊，並包含擷取的文字作為content和周 polygon 框座標。 資訊 span 會指向最上層 content 屬性內的文字片段，其中包含檔中的全文檢索。

"paragraphs": [
    {
        "spans": [],
        "boundingRegions": [],
        "content": "While healthcare is still in the early stages of its Al journey, we are seeing pharmaceutical and other life sciences organizations making major investments in Al and related technologies.\" TOM LAWRY | National Director for Al, Health and Life Sciences | Microsoft"
    }
]

段落角色

新的機器學習型頁面對象偵測會擷取邏輯角色，例如標題、區段標題、頁首、頁尾等等。 文件智慧服務版面配置模型會指派 paragraphs 集合中的特定文字區塊搭配模型所預測的特殊角色或類型。 它們最適合用於非結構化檔，以協助瞭解擷取內容的配置，以進行更豐富的語意分析。 支援下列段落角色：

預測角色	說明	支援的檔案類型
title	頁面中的主要標題	pdf， image， docx， pptx， xlsx， html
sectionHeading	頁面上的一或多個子標題	pdf， image， docx， xlsx， html
footnote	靠近頁面底部的文字	pdf，影像
pageHeader	靠近頁面上邊緣的文字	pdf、image、docx
pageFooter	靠近頁面下邊緣的文字	pdf， image， docx， pptx， html
pageNumber	頁碼	pdf，影像

{
    "paragraphs": [
                {
                    "spans": [],
                    "boundingRegions": [],
                    "role": "title",
                    "content": "NEWS TODAY"
                },
                {
                    "spans": [],
                    "boundingRegions": [],
                    "role": "sectionHeading",
                    "content": "Mirjam Nilsson"
                }
    ]
}

文字、行和文字

文件智慧服務中的文件版面配置模型會將印刷和手寫樣式的文字擷取為 lines 和 words。 如果偵測到線條以及指向相關聯文字之範圍，集合 styles 會包含任何手寫樣式。 此功能適用於 支援的手寫語言。

對於 Microsoft Word、Excel、PowerPoint 和 HTML，檔智慧版本 2024-02-29-preview 和 2023-10-31-preview 版面配置模型會依目前方式擷取所有內嵌文字。 文字會擷取為單字和段落。 不支援內嵌影像。

"words": [
    {
        "content": "While",
        "polygon": [],
        "confidence": 0.997,
        "span": {}
    },
],
"lines": [
    {
        "content": "While healthcare is still in the early stages of its Al journey, we",
        "polygon": [],
        "spans": [],
    }
]

手寫樣式的文字行

回應包含分類每個文字行是否為手寫樣式，以及信賴分數。 如需詳細資訊， 請參閱 手寫語言支援。 下列範例顯示範例 JSON 代碼段。

"styles": [
{
    "confidence": 0.95,
    "spans": [
    {
        "offset": 509,
        "length": 24
    }
    "isHandwritten": true
    ]
}

如果您啟用 字型/樣式附加元件功能，也會取得物件一部分的 styles 字型/樣式結果。

選取標記

版面配置模型也會從檔擷取選取標記。 擷取的選取標記會出現在每個頁面的集合中 pages 。 它們包括周框polygon、 和選取state專案 （selected/unselectedconfidence）。 文字表示法（亦即 :selected: 和 :unselected）也包含在起始索引中，offset而且 length 會參考包含檔中全文檢索的最上層 content 屬性。

{
    "selectionMarks": [
        {
            "state": "unselected",
            "polygon": [],
            "confidence": 0.995,
            "span": {
                "offset": 1421,
                "length": 12
            }
        }
    ]
}

資料表

擷取數據表是處理檔的主要需求，其中包含通常格式化為數據表的大量數據。 版面配置模型會擷 pageResults 取 JSON 輸出區段中的數據表。 擷取的數據表資訊包括數據行和數據列數目、數據列範圍和數據行範圍。 每個具有其周框多邊形的單元格都會輸出，以及是否將區域辨識為 columnHeader 的資訊。 此模型支援擷取旋轉的數據表。 每個數據表數據格都包含數據列和數據行索引，以及周框多邊形座標。 對於儲存格文字，模型會輸出 span 包含起始索引的資訊 （offset）。 此模型也會輸出 length 最上層內容中的 ，其中包含檔中的全文檢索。

注意

如果輸入檔為 XLSX，則不支持資料表。

{
    "tables": [
        {
            "rowCount": 9,
            "columnCount": 4,
            "cells": [
                {
                    "kind": "columnHeader",
                    "rowIndex": 0,
                    "columnIndex": 0,
                    "columnSpan": 4,
                    "content": "(In millions, except earnings per share)",
                    "boundingRegions": [],
                    "spans": []
                    },
            ]
        }
    ]
}

Markdown 格式的輸出

版面配置 API 可以輸出 Markdown 格式的擷取文字。 使用 以 outputContentFormat=markdown Markdown 指定輸出格式。 Markdown 內容會輸出為區段的 content 一部分。

"analyzeResult": {
"apiVersion": "2024-02-29-preview",
"modelId": "prebuilt-layout",
"contentFormat": "markdown",
"content": "# CONTOSO LTD...",
}

數位

檔中的圖表（圖表、影像）在補充和增強文字內容方面扮演了重要角色，提供視覺表示法，有助於瞭解複雜的資訊。 Layout 模型偵測到的圖表物件具有索引鍵屬性，例如 boundingRegions （檔頁面上的圖表空間位置，包括大綱圖界限的頁碼和多邊形座標）， spans （詳細數據與圖表相關的文字範圍，指定檔文字內的位移和長度。此連接有助於將圖形與其相關的文字內容產生關聯， elements （與或描述該圖相關之檔內的文字元素或段落的標識符），如果有 caption 的話。

{
    "figures": [
      {
        "boundingRegions": [],
        "spans": [],
        "elements": [
          "/paragraphs/15",
          ...
        ],
        "caption": {
          "content": "Here is a figure with some text",
          "boundingRegions": [],
          "spans": [],
          "elements": [
            "/paragraphs/15"
          ]
        }
      }
    ]
}

區段

階層式文件結構分析對於組織、理解及處理廣泛的文件至關重要。 這種方法對於語意分割長文件至關重要，可提升理解度、促進流覽，以及改善資訊擷取。 檔產生式 AI 中擷取增強產生 （RAG） 的出現突顯了階層式文件結構分析的重要性。 版面配置模型支持輸出中的區段和子區段，以識別每個區段內區段和對象的關聯性。 階層式結構會在每個區段中維護 elements 。 您可以使用 輸出來 Markdown 格式 ，輕鬆地取得 Markdown 中的區段和子區段。

{
    "sections": [
      {
        "spans": [],
        "elements": [
          "/paragraphs/0",
          "/sections/1",
          "/sections/2",
          "/sections/5"
        ]
      },
...
}

下一步

• 瞭解如何使用 Document Intelligence Studio 處理您自己的表單和檔。

• 完成 Document Intelligence 快速入門，並開始以您選擇的開發語言來建立文件處理應用程式。