記錄桌面流程

  • 發行項

Power Automate 可讓您透過複製要自動化的工作來自動設計桌面流程。

記錄桌面和 Web 流程

若要記錄自動執行桌面和/或 Web 應用程式的流程：

  1. 建立新的桌面流程，並在流程設計工具的工具欄中選取記錄器。

    記錄器按鈕的螢幕擷取畫面。

  2. 在記錄器視窗中選取記錄，然後在適當的應用程式或網頁中執行所需的動作。

    [記錄] 按鈕的螢幕擷取畫面。

    記錄器會追蹤與 UI 元素相關的滑鼠和鍵盤活動，並分別錄製每個動作。 在每個錄製工作階段期間，記錄器可產生 UI 和瀏覽器自動化動作。

    注意

    進行錄製時對 UI 元素執行按滑鼠左鍵或右鍵時，螢光筆會顯示等候動作訊息，指示您等待記錄器錄製並插入動作。

    部分記錄步驟的螢幕擷取畫面。

    若要查看對特定元素的可用動作，請在元素上按一下滑鼠右鍵，以開啟其內容功能表。 可用的選項取決於所選元素的性質。

    錄製內容功能表螢幕擷取畫面。

  3. 完成錄製程序後，選取完成，將已錄製的步驟轉換為桌面流程動作。 產生的 UI 和 web 自動化動作中使用的所有 UI 元素，都會自動新增至 [UI 元素] 窗格。 您可以在使用 UI 元素自動化 中找到有關 UI 元素的更多資訊。

    已錄製流程所產生動作的螢幕擷取畫面。

若要暫時暫停錄製程序，請選取暫停。 若要將留言新增至錄製的動作，請選取新增留言。

[留言] 按鈕的螢幕擷取畫面。

複製拖放步驟

記錄器支援與拖放滑鼠指標相關的步驟；因此，記錄器可以產生像調整視窗大小和移動視窗這樣的動作。 不過，目前不支援拖放視窗的 UI 元素動作。

處理下拉式清單

使用記錄器來自動化桌面和 Web 應用程式時，您可能需要處理下拉式清單。

Power Automate 記錄器會在您每次選取下拉式清單時顯示自訂畫面，並協助您選擇所需的值。 視下拉式清單是否為多重選取而定，此自訂畫面可讓您選擇一個或多個值。

Power Automate 會在執行階段自動選擇已定義的值，並選取確定按鈕。

下拉式清單的自訂畫面螢幕擷取畫面。

啟動網頁瀏覽器

若要在錄製 Web 流程時啟動網頁瀏覽器執行個體，您可以根據自動化案例使用三種不同的方法。

第一種方法是選取記錄器對話方塊右邊的圓點圖示，然後啟動新的網頁瀏覽器。 您可以選擇 Microsoft Edge、Google Chrome、Mozilla Firefox 和 Microsoft Internet Explorer。

選取適當的瀏覽器後，記錄器會自動偵測載入的網頁，並相應地設定啟動瀏覽步驟。

[啟動新網頁瀏覽器] 選項的螢幕擷取畫面。

另一種啟動瀏覽器的方式是在已打開的網頁瀏覽器中開始錄製。 記錄器會自動偵測載入的頁面，並建立 [啟動瀏覽器] 動作。

最後一種啟動瀏覽器的方法是透過其在桌面上的捷徑、「開始」功能表、工作列或資料夾手動啟動它。 如果您執行此方法，則記錄器將會產生按一下瀏覽器捷徑並啟動它的 UI 自動化動作。

處理網頁中的日期與顏色選擇器

跟下拉式清單一樣，Power Automate 記錄器也會顯示自訂畫面，協助您處理網頁中的日期與顏色選擇器。

與日期選擇器互動時，記錄器會開啟文字欄位，您可在其中以指定的格式插入所需的日期。

下列 HTML 輸入類型的自訂畫面會出現：

  • 日期
  • 本地日期時間
  • 個月
  • 時間
  • 週

日期選擇器自訂畫面的螢幕擷取畫面。

同樣的，與顏色選擇器互動時，記錄器會開啟文字欄位，您可在其中填入所需的色彩十六進位碼。

顏色選擇器自訂畫面的螢幕擷取畫面。

使用輸入法編輯器 (IME) 新增文字

輸入法編輯器 (IME) 是軟體元件，可讓使用者用無法在標準 QWERTY 鍵盤上輕鬆顯示的語言輸入文字。 使用者可以輸入按鍵組合，IME 將產生與該按鍵相符的字元或候選字元清單。

電腦版 Power Automate 支援在流程記錄程序期間使用 IME。 若要使用 IME 填寫文字欄位：

  1. 以滑鼠右鍵按一下文字欄位，然後在顯示的功能表中選取填入文字欄位。

    填入文字欄位功能表選項的螢幕擷取畫面。

  2. 使用 IME 用所需的文字填寫跳出對話方塊。

    使用 IME 對話方塊來新增文字的螢幕擷取畫面。

  3. 選取新增文字，以在記錄器視窗中產生各自的步驟。

    桌面記錄器中 IME 產生的文字螢幕擷取畫面。

影像式錄製

在某些案例中，記錄器可能無法在特定應用程式中記錄不符合相應技術需求的動作。 這些應用程式可能不會公開其協助工具 API，或者具有封鎖錄製程序的其他技術限制。

作為錄製流程的替代方式，電腦版 Power Automate 能提供影像式錄製。 影像式錄製使用影像辨識和 OCR 來定位換面上的特定元素並擷取文字。

若要使用影像記錄流程：

  1. 請建立新的桌面流程，並在流程設計工具的工具欄中選取記錄器。

    記錄器按鈕的螢幕擷取畫面。

  2. 選取記錄器對話方塊右邊的原點圖示，然後啟用影像錄製。 啟用此選項後，選取記錄以使用影像辨識開始錄製動作。

    [影像辨識] 按鈕的螢幕擷取畫面。

    點選元素後，將自動擷取影像並使用預設的可編輯名稱儲存。 若要預覽擷取影像，請將游標暫留在其上或選取預覽圖示。

    [預覽影像] 按鈕的螢幕擷取畫面。

使用影像式錄製擷取文字

若要在使用影像式錄製時擷取文字值：

  1. 在畫面上以滑鼠右鍵按一下，然後選取從影像擷取文字。

    [從影像擷取文字] 選項的螢幕擷取畫面。

  2. 等待快顯訊息提示您選取文字區域。

    提示使用者選取文字區域的訊息螢幕擷取畫面。

  3. 使用 Tesseract OCR 引擎在要擷取的文字處選取文字區域。

    所選文字區域的螢幕擷取畫面。

  4. 等待快顯訊息提示您選取錨點區域。

    提示使用者選取錨點區域的訊息螢幕擷取畫面。

  5. 選取不會變更的錨點區域，例如欄位旁的標籤。

    錨點文字區域的螢幕擷取畫面。

錄製與建置桌面流程

錄製結束後，您可以手動編輯透過記錄器建立的任何動作。 使用已在開發中桌面流程的記錄器，將所錄製的步驟新增至其中。

注意

使用記錄器來建立流程的骨幹。 某些簡單工作可能不需要進一步編輯；不過，大部分已錄製的工作都必須加以修改，才能達到最佳效果。 無法錄製特定類型的動作，例如條件和迴圈。 此外，錄製中還可能會有應予移除的多餘動作。

已知問題與限制

  • 問題：記錄器可能無法錄製 Windows 開始功能表或系統匣中的所有步驟。

    因應措施：無

  • 問題：執行影像式錄製所建立的流程時，可能會將按一下傳送到錯誤的位置。

    因應措施：使用流程設計工具來編輯自動產生的動作將滑鼠移至影像，並減少進階設定中的容錯參數。

  • 問題：使用記錄器傳送「按滑鼠右鍵」後出現的從影像擷取文字快顯視窗，可能會隱藏在應用程式的快顯視窗後面。

    因應措施：將「按滑鼠右鍵」傳送到畫面上的另一個位置。

  • 問題：不會錄製任何透過影像式錄製傳送至最大化 RDP 視窗的按鍵輸入。

    因應措施：調整 RDP 視窗的大小，讓它不會遮住整個畫面。