一般
什麼是 WinML？
WinML 或 Windows 機器學習 是在 Windows 裝置上部署硬體加速機器學習 （ML） 模型的高階 API，可讓開發人員利用裝置的功能來執行模型推斷。 重點是模型載入、系結和評估。 WinML 會利用 ONNX 模型格式。
什麼是 DirectML？
DirectML 是適用於機器學習的低階 API，可為各種支援的硬體和驅動程式的常見機器學習工作提供 GPU 加速，包括 AMD、Intel、NVIDIA 和 Qualcomm 等廠商的所有 DirectX 12 功能 GPU。 DirectML 是 WinML 的元件。
什麼是 ONNX？
Open Network Neural Exchange 或 ONNX 是表示 ML 模型的開放式標準格式。 常見的 ML 模型架構，例如 PyTorch、TensorFlow、SciKit-Learn、Keras、Chainer、MATLAB 等，可以匯出或轉換成標準 ONNX 格式。 一旦使用 ONNX 格式，模型就可以在各種平台和裝置上執行。 ONNX 適用於使用不同於定型格式的 ML 模型。
什麼是 ORT？
ONNX Runtime 或 ORT 是一種統一運行時間工具，可用於在不同的架構中執行模型（PyTorch、TensorFlow 等），支持硬體加速器（裝置 CPU、GPU 或 NPU）。
ONNX 與其他 ML 架構有何不同，例如 PyTorch 或 TensorFlow？
PyTorch 和 TensorFlow 可用來開發、定型及執行 AI 應用程式中使用的深度學習模型。 PyTorch 通常用於研究，TensorFlow 通常用於產業部署，而 ONNX 是一種標準化 的模型交換格式 ，可橋接差距，讓您視需要在架構之間切換，並跨平臺相容。
什麼是 NPU？ 與 CPU 或 GPU 有什麼不同？
類神經處理單元或 NPU 是專為執行 AI 工作而設計的專用 AI 晶片。 NPU 的焦點與 CPU 或 GPU 的焦點不同。 中央處理器或 CPU 是計算機中的主要處理器，負責執行指令和一般用途計算。 圖形處理單元或 GPU 是專為轉譯圖形而設計並針對平行處理優化的特製處理器。 它能夠轉譯複雜的影像，以進行影片編輯和遊戲工作。
NPU 的設計目的是要加速深度學習演算法，並可從計算機的 CPU 或 GPU 中移除部分工作，讓裝置更有效率地運作。 NPU 是專為加速類神經網路工作而建置的。 它們擅長以平行方式處理大量數據，因此非常適合影像辨識或自然語言處理等常見 AI 工作。 例如，在影像辨識工作期間，NPU 可能會負責對象偵測或影像加速，而 GPU 則負責影像轉譯。
如何找出我的裝置具有何種CPU、GPU或 NPU？
若要檢查 Windows 裝置上的 CPU、GPU 或 NPU 類型及其執行方式，請開啟 [任務管理器] [Ctrl + Alt + Delete]，然後選取 [效能 ] 索引標籤，您將能夠查看電腦的 CPU、記憶體、Wi-Fi、GPU 和/或 NPU，以及其速度、使用率和其他數據的相關信息。
有用的 AI 概念
什麼是大型語言模型 （LLM）？
LLM 是一種 機器學習 （ML） 模型，以達到一般用途語言產生和理解的能力而聞名。 LLM 是人工神經網路，可藉由學習大量文字文件的統計關聯性，在計算密集的自我監督和半監督訓練過程中取得功能。 LLM 通常用於文字產生，這是一種產生 AI 的形式，鑒於某些輸入文字，會產生最有可能在傳回中建立一致且內容相關句子的文字（或「標記」。 也有小型語言模型（SLM）具有較少的參數和更有限的容量，但可能更有效率（需要較少的計算資源）、符合成本效益且適合特定網域。
什麼是ML模型定型？
在 機器學習 中，模型定型牽涉到將數據集饋送至模型（LLM 或 SLM），以便從數據中學習，讓模型可以根據該數據做出預測或決策，並辨識模式。 它也可能牽涉到反覆調整模型參數，以優化其效能。
什麼是推斷？
使用定型機器學習模型對新看不見的數據進行預測或分類的程序稱為「推斷」。 在數據集上定型語言模型之後，學習其基礎模式和關聯性，即可將此知識套用至真實世界的案例。 推斷是 AI 模型的真相時刻，其會測試在定型期間學習的資訊，以做出預測或解決工作。 使用現有模型進行推斷的程式與定型階段不同，這需要使用定型和驗證數據來開發模型並微調其參數。
什麼是ML模型微調？
微調是機器學習中的關鍵步驟，其中預先定型的模型會調整為執行特定工作。 微調會從頭開始，而不是從頭開始定型模型（通常是在大型數據集上定型），並使用較小的工作特定數據集來調整其參數。 藉由微調，模型會學習工作特定功能，同時保留預先定型期間取得的一般知識，進而改善特定應用程式的效能。
什麼是提示工程？
提示工程是一種策略性方法，用於產生 AI 來塑造語言模型的行為和回應。 它牽涉到精心製作輸入提示或查詢，以達到語言模型所需的結果（例如 GPT-3 或 GPT-4）。 藉由設計有效的提示，您可以引導 ML 模型產生您想要的回應類型。 技術包括調整措辭、指定內容，或使用控制程式代碼來影響模型輸出。
什麼是硬體加速（關於 ML 模型定型）？
硬體加速是指使用特製化計算機硬體，其設計目的是加速 AI 應用程式，超越一般用途 CPU 的可達成目標。 硬體加速可提升機器學習工作的速度、能源效率和整體效能，例如定型模型、進行預測，或將計算卸除至專用硬體元件，這些硬體元件擅長平行處理深度學習工作負載。 GPU 和 NPU 都是硬體加速器的範例。