hyperdrive 套件

包含支援超參數微調的模組和類別。

超參數是您針對引導定型程式的模型定型選擇的可調整參數。 HyperDrive 套件可協助您自動選擇這些參數。 例如,您可以將參數搜尋空間定義為離散或連續,並將搜尋空間上的取樣方法定義為隨機、方格或貝氏。 此外,您也可以指定要在超參數微調實驗中優化的主要計量,以及要將該計量最小化或最大化。 您也可以定義早期終止原則,其中執行效能不佳的實驗執行已取消,並啟動新的實驗執行。 若要定義 HyperDrive 可重複使用的機器學習工作流程,請使用 hyper_drive_step 來建立 Pipeline

單元

error_definition

HyperDrive SDK 的錯誤碼定義。

error_strings

用於 HyperDrive SDK 的錯誤字串集合。

exceptions

HyperDrive 擲回的例外狀況。

parameter_expressions

定義可在 HyperDrive 中用來描述超參數搜尋空間的函式。

這些函式可用來指定不同類型的超參數分佈。 當您設定超參數掃掠的取樣時,會定義分佈。 例如,當您使用 RandomParameterSampling 類別時,您可以選擇從一組離散值或連續值的分佈取樣。 在此情況下,您可以使用 函 choice 式來產生一組離散的值和 uniform 函式,以產生連續值的分佈。

如需使用這些函式的範例,請參閱教學課程: https://docs.microsoft.com/azure/machine-learning/how-to-tune-hyperparameters

類別

BanditPolicy

根據寬限期準則定義早期終止原則,以及評估的頻率和延遲間隔。

使用 Slack 因數、slack_amount和評估間隔,初始化 BanditPolicy。

BayesianParameterSampling

定義超參數搜尋空間上的貝氏取樣。

貝氏取樣會根據先前的樣本執行方式,嘗試以智慧方式挑選下一個超參數樣本,讓新樣本改善報告的主要計量。

初始化 BayesianParameterSampling。

EarlyTerminationPolicy

所有早期終止原則的抽象基類。

初始化早期終止原則。

GridParameterSampling

定義超參數搜尋空間的方格取樣。

初始化 GridParameterSampling。

HyperDriveConfig

定義 HyperDrive 執行的組態。

HyperDrive 設定包含超參數空間取樣、終止原則、主要計量、從設定、估算器和計算目標繼續執行實驗的相關資訊。

初始化 HyperDriveConfig。

HyperDriveRun

HyperDriveRun 包含提交之 HyperDrive 實驗的詳細資料。

這個類別可用來管理、檢查狀態,以及擷取 HyperDrive 回合的執行詳細資料,以及每個產生的子執行。

初始化 HyperDrive 執行。

HyperDriveRunConfig

定義 HyperDrive 執行的組態。

組態包含參數空間取樣、終止原則、主要計量、估算器和計算目標的相關資訊,以執行實驗執行。

初始化 HyperDriveConfig。

HyperParameterSampling

所有超參數取樣演算法的抽象基類。

這個類別會封裝超參數空間、取樣方法,以及衍生取樣類別的其他屬性: BayesianParameterSamplingGridParameterSamplingRandomParameterSampling

初始化 HyperParameterSampling。

MedianStoppingPolicy

根據所有執行之主要計量的執行平均值,定義早期終止原則。

初始化 MedianStoppingPolicy。

NoTerminationPolicy

指定不會套用任何早期終止原則。

每次執行都會執行,直到完成為止。

初始化 NoTerminationPolicy。

RandomParameterSampling

定義超參數搜尋空間的隨機取樣。

初始化 RandomParameterSampling。

TruncationSelectionPolicy

定義在每次評估間隔取消指定執行百分比的早期終止原則。

初始化 TruncationSelectionPolicy。

列舉

PrimaryMetricGoal

定義超參數微調支援的計量目標。

計量目標可用來判斷計量的值較高或更糟。 根據主要計量比較執行時,會使用計量目標。 例如,您可能想要將精確度最大化或最小化錯誤。

當您設定 HyperDrive 執行時, HyperDriveConfig 類別中會指定主要計量名稱和目標。

函數

choice

指定要從中取樣的一組離散選項。

choice(*options)

參數

名稱 Description
options
必要

要從中選擇的選項清單。

傳回

類型 Description

隨機運算式。

lognormal

指定根據 exp (一般 (mu、sigma) ) 繪製的值。

傳回值的對數通常會分散。 優化時,此變數會限制為正數。

lognormal(mu, sigma)

參數

名稱 Description
mu
必要

常態分佈的平均值。

sigma
必要

常態分佈的標準差。

傳回

類型 Description

隨機運算式。

loguniform

指定記錄統一分佈。

系統會根據 exp (統一 (min_value、max_value) ) 來繪製值,讓傳回值的對數平均分佈。 優化時,此變數受限於間隔 [exp (min_value) ,exp (max_value) ]

loguniform(min_value, max_value)

參數

名稱 Description
min_value
必要

範圍中的最小值將會是 exp (min_value) (包含) 。

max_value
必要

範圍中的最大值將會是 exp (max_value) (包容性) 。

傳回

類型 Description

隨機運算式。

normal

指定以平均 mu 和標準差 sigma 一般分佈的實際值。

優化時,這是不受限制的變數。

normal(mu, sigma)

參數

名稱 Description
mu
必要

常態分佈的平均值。

sigma
必要

常態分佈的標準差。

傳回

類型 Description

隨機運算式。

qlognormal

指定值,例如 round (exp (normal (mu, sigma) ) / q) * q。

適用于目標順暢且更順暢且具有變數大小的離散變數,其大小會從一端系結。

qlognormal(mu, sigma, q)

參數

名稱 Description
mu
必要

常態分佈的平均值。

sigma
必要

常態分佈的標準差。

q
必要
int

平滑係數。

傳回

類型 Description

隨機運算式。

qloguniform

指定表單圓角 (exp 的統一分佈, (統一 (min_value,max_value) / q) * q。

這適用于目標為「平滑」的離散變數,並透過值的大小更順暢,但應該同時在上方和下方系結。

qloguniform(min_value, max_value, q)

參數

名稱 Description
min_value
必要

範圍的最小值 (含)。

max_value
必要

範圍的最大值 (含)。

q
必要
int

平滑係數。

傳回

類型 Description

隨機運算式。

qnormal

指定值,例如四捨五入 (一般 (mu、sigma) / q) * q。

適用于可能採用 mu 值但基本上未系結的離散變數。

qnormal(mu, sigma, q)

參數

名稱 Description
mu
必要

常態分佈的平均值。

sigma
必要

常態分佈的標準差。

q
必要
int

平滑係數。

傳回

類型 Description

隨機運算式。

quniform

指定表單圓角 (統一 (min_value的統一分佈,max_value) / q) * q。

這適用于目標仍然有點「平滑」的離散值,但應該同時系結在上方和下方。

quniform(min_value, max_value, q)

參數

名稱 Description
min_value
必要

範圍的最小值 (含)。

max_value
必要

範圍的最大值 (含)。

q
必要
int

平滑係數。

傳回

類型 Description

隨機運算式。

randint

指定範圍 [0, 上層) 的一組隨機整數。

相較于較遠的整數值,此分佈的語意在於附近整數值之間的遺失函式中沒有更多相互關聯。 這是描述隨機種子的適當分佈,例如。 如果遺失函式可能更與鄰近整數值相互關聯,則您應該使用其中一個「量子化」連續分佈,例如 quniform、qloguniform、qnormal 或 qlognormal。

randint(upper)

參數

名稱 Description
upper
必要
int

整數範圍的獨佔上限。

傳回

類型 Description

隨機運算式。

uniform

指定取用樣本的統一分佈。

uniform(min_value, max_value)

參數

名稱 Description
min_value
必要

範圍的最小值 (含)。

max_value
必要

範圍的最大值 (含)。

傳回

類型 Description

隨機運算式。