共用方式為


microsoftml.rx_logistic_regression:羅吉斯迴歸

使用方式

microsoftml.rx_logistic_regression(formula: str,
    data: [revoscalepy.datasource.RxDataSource.RxDataSource,
    pandas.core.frame.DataFrame], method: ['binary',
    'multiClass'] = 'binary', l2_weight: float = 1,
    l1_weight: float = 1, opt_tol: float = 1e-07,
    memory_size: int = 20, init_wts_diameter: float = 0,
    max_iterations: int = 2147483647,
    show_training_stats: bool = False, sgd_init_tol: float = 0,
    train_threads: int = None, dense_optimizer: bool = False,
    normalize: ['No', 'Warn', 'Auto', 'Yes'] = 'Auto',
    ml_transforms: list = None, ml_transform_vars: list = None,
    row_selection: str = None, transforms: dict = None,
    transform_objects: dict = None, transform_function: str = None,
    transform_variables: list = None,
    transform_packages: list = None,
    transform_environment: dict = None, blocks_per_read: int = None,
    report_progress: int = None, verbose: int = 1,
    ensemble: microsoftml.modules.ensemble.EnsembleControl = None,
    compute_context: revoscalepy.computecontext.RxComputeContext.RxComputeContext = None)

Description

機器學習羅吉斯迴歸

詳細資料

羅吉斯迴歸是一種分類方法,可從其關聯性,到假設有羅吉斯分佈的一或多個獨立變數,預測類別相依變數的值。 若相依變數只有兩個可能的值 (成功/失敗),則羅吉斯迴歸為二元。 若相依變數具有兩個以上可能的值 (診斷測試結果給出的血型),則羅吉斯迴歸為多元。

限定記憶體 Broyden-Fletcher-Goldfarb-Shanno (L-BFGS) 是最適合 rx_logistic_regression 使用的技術。 L-BFGS 和一般 BFGS 演算法都使用 quasi-Newtonian 方法,估算 Newton 方法計算步驟時所用之方程式中密集計算的 Hessian 矩陣。 但 L-BFGS 近似值只會使用限定的記憶體數量計算下一個步驟方向,因此特別適合變數數量多的問題。 memory_size 參數可指定要儲存供計算下一個步驟時使用的通過位置和梯度數量。

此學習模組可以使用彈性網路正規化:L1 (lasso) 和 L2 (ridge) 正規化的線性組合。 正規化是一種方法,可藉由強制條件約束提供資訊來補充資料,並利用極端係數值避免模型過度學習,讓不良的問題變得容易處理。 這可藉由選取偏差方差權衡中的最佳複雜度,來改善所學習模型的一般化。 正規化的運作方式是將假設錯誤加上係數值相關聯的懲罰。 具有極端係數值的精確模型會受到較多懲罰,而具有較保守值的不精確模型受到較少懲罰。 L1 和 L2 正規化有不同的效果,而且在某些方面是互補的用法。

  • l1_weight:使用高維度資料時,可以套用到疏鬆的模型。 會提取相對不重要到 0 的小型權數相關聯特徵。

  • l2_weight:不疏鬆資料的建議選項。 會提取大型權數至零。

在正規化中新增 ridge 懲罰,可克服一些 lasso 限制。 例如,當預測值數目大於樣本大小時,可以改善其預測精確度。 若是 x = l1_weighty = l2_weight,則 ax + by = c 會定義正規化項的線性範圍。 x 和 y 的預設值都是 1。 積極正規化可能會因為排除了模型中的重要變數,而危害了預測能力。 因此,選擇正規化參數的最佳值,對於羅吉斯迴歸模型的效能很重要。

引數

公式

如 revoscalepy.rx_formula 互動項 F() 中所列的公式, microsoftml 目前不支援此公式。

data

指定 .xdf 檔案或資料框架物件的資料來源物件或字元字串。

method

指定羅吉斯迴歸類型的字元字串:針對預設二元分類羅吉斯迴歸為 "binary",或針對多元羅吉斯迴歸為 "multiClass"

l2_weight

L2 正規化權數。 其值必須大於或等於 0,且預設值設定為 1

l1_weight

L1 正規化權數。 其值必須大於或等於 0,且預設值設定為 1

opt_tol

最佳化工具收斂的閾值。 換句話說,如果反覆運算之間的改進少於臨界值,此演算法會停止,並傳回目前的模型。 較小的值較慢,但更精確。 預設值是 1e-07

memory_size

L-BFGS 的記憶體大小,指定要儲存的通過位置和梯度數目,以計算下一個步驟。 此最佳化參數限制用來計算下一個步驟範圍和方向的記憶體數量。 當您指定較少的記憶體時,訓練是更快,但較不精確。 必須大於或等於 1,且預設值為 20

max_iterations

設定反覆運算次數上限。 在此步驟數目之後,即使演算法未滿足聚合準則,仍會停止。

show_training_stats

指定 True,以顯示訓練資料和訓練之模型的統計資料,否則為 False。 預設值是 False。 如需模型統計資料的其他資訊,請參閱 summary.ml_model()

sgd_init_tol

設定為大於 0 的數字,以使用隨機梯度下降 (SGD) 來尋找初始參數。 非零值集會指定容錯 SGD 用來判斷聚合。 預設值為 0,指定不使用 SGD。

init_wts_diameter

設定初始權數直徑,指定要用於為初始權數繪製值的範圍。 這些權數會從這個範圍內隨機初始化。 例如,如果將直徑指定為 d,則權數會在 -d/2d/2 之間均勻分佈。 預設值為 0,指定將所有權數全都初始化為 0

train_threads

要用於訓練模型的執行緒數。 這應該設定為電腦上的核心數目。 請注意,L-BFGS 多執行緒處理會嘗試將資料集載入至記憶體中。 若發生記憶體不足問題,請將 train_threads 設定為 1,以關閉多執行緒處理。 若為 None,則要使用的執行緒數會由內部決定。 預設值為 None

dense_optimizer

若為 True,則會強制內部最佳化向量的緻密度。 如果為 False,則會讓羅吉斯迴歸最佳化工具視需要使用疏鬆或密集的內部狀態。 將 denseOptimizer 設定為 True 會要要求內部最佳化工具使用密集的內部狀態。這有助於減輕一些較大問題的記憶體回收行程負載。

正規化

指定所使用的自動正規化類型:

  • "Auto":如果需要正規化,會自動執行。 這是預設選項。

  • "No":不執行正規化。

  • "Yes":執行正規化。

  • "Warn":如果需要正規化,則會顯示警告訊息,但是不會執行正規化。

正規化會將不同的資料範圍重新調整為標準規模。 特徵擴縮可確保資料點之間的距離成比例,並使各種最佳化方法 (例如梯度下降) 能夠更快收斂。 如果執行正規化,會使用 MaxMin 正規化程式。 其會以區間 [a, b] 將值正規化,其中 -1 <= a <= 00 <= b <= 1b - a = 1。 此正規化程式會藉由將零對應至零來保留稀疏性。

ml_transforms

指定在訓練之前要在資料上執行的 MicrosoftML 轉換清單,或者,若未執行任何轉換,則為 None。 請參閱 featurize_textcategoricalcategorical_hash,以了解哪有些支援的轉換。 這些轉換會在任何指定的 Python 轉換之後執行。 預設值為 None

ml_transform_vars

指定要在 ml_transforms 中使用之變數名稱的字元向量,或者,若未使用任何名稱,則為 None。 預設值為 None

row_selection

不支援。 指定資料集中要供模型使用的資料列 (觀測值),可以是來自資料集的邏輯變數名稱 (以引號括住),或是使用資料集中變數的邏輯運算式。 例如:

  • row_selection = "old" 將只會使用 old 變數值為 True 的觀測值。

  • row_selection = (age > 20) & (age < 65) & (log(income) > 10) 只會使用 age 變數值介於 20 到 65 之間且 income 變數 log 值大於 10 的觀察值。

資料列選取會在處理任何資料轉換之後執行 (請參閱引數 transformstransform_function)。 如同所有運算式,可以在函數呼叫之外使用 expression 函數定義 row_selection

轉換

不支援。 代表第一輪變數轉換形式的運算式。 如同所有運算式,可以在函數呼叫之外使用 expression 函數定義 transforms (或 row_selection)。

transform_objects

不支援。 具名清單,其中包含 transformstransform_functionrow_selection 可以參考的物件。

transform_function

變數轉換函數。

transform_variables

轉換函數所需之輸入資料集變數的字元向量。

transform_packages

不支援。 字元向量,用以指定其他 Python 套件 (除了 RxOptions.get_option("transform_packages") 中指定的套件以外) 以供使用,並且預先載入以供變數轉換函數使用。 例如,revoscalepy 函數中透過其 transformstransform_function 引數明確定義的字元向量,或透過其 formularow_selection 引數隱含定義的字元向量。 transform_packages 引數也可能是 None,表示並未預先載入 RxOptions.get_option("transform_packages") 以外的任何套件。

transform_environment

不支援。 使用者定義的環境,用為內部形成之所有環境的父環境,以及用於變數資料轉換。 若 transform_environment = None,則會改用父系為 revoscalepy.baseenv 的新「雜湊」環境。

blocks_per_read

指定要針對從資料來源讀取之每個資料區塊讀取的區塊數目。

report_progress

指定資料列處理進度報告層級的整數值:

  • 0:未報告進度。

  • 1:已列印和更新處理的資料列數目。

  • 2:報告已處理的資料列數目與時間。

  • 3:報告已處理的資料列數與所有時間。

verbose

指定所需輸出數量的整數值。 若為 0,則計算期間不會列印任何詳細資訊輸出。 整數值 14 提供越來越多的資訊量。

compute_context

設定用來執行計算的內容,以有效的 revoscalepy.RxComputeContext 指定。 目前支援本機和 revoscalepy.RxInSqlServer 計算內容。

ensemble

用於集成的控制參數。

傳回

具有已訓練模型的 LogisticRegression 物件。

注意

train_threads > 1 (多執行緒) 時,此演算法會嘗試將整個資料集載入記憶體。

另請參閱

rx_predict

參考資料

Wikipedia:L-BFGS(英文)

Wikipedia:Logistic regression (英文)

可調整訓練的 L1-Regularized Log-Linear 模型 (英文)

測試回合 - 機器學習的 L1 與 L2 正規化

二元分類範例

'''
Binary Classification.
'''
import numpy
import pandas
from microsoftml import rx_logistic_regression, rx_predict
from revoscalepy.etl.RxDataStep import rx_data_step
from microsoftml.datasets.datasets import get_dataset

infert = get_dataset("infert")


import sklearn
if sklearn.__version__ < "0.18":
    from sklearn.cross_validation import train_test_split
else:
    from sklearn.model_selection import train_test_split

infertdf = infert.as_df()
infertdf["isCase"] = infertdf.case == 1
data_train, data_test, y_train, y_test = train_test_split(infertdf, infertdf.isCase)

model = rx_logistic_regression(
    formula=" isCase ~ age + parity + education + spontaneous + induced ",
    data=data_train)

print(model.coef_)
    
# RuntimeError: The type (RxTextData) for file is not supported.
score_ds = rx_predict(model, data=data_test,
                     extra_vars_to_write=["isCase", "Score"])
                     
# Print the first five rows
print(rx_data_step(score_ds, number_rows_read=5))

輸出:

Automatically adding a MinMax normalization transform, use 'norm=Warn' or 'norm=No' to turn this behavior off.
Beginning processing data.
Rows Read: 186, Read Time: 0, Transform Time: 0
Beginning processing data.
Beginning processing data.
Rows Read: 186, Read Time: 0.001, Transform Time: 0
Beginning processing data.
Beginning processing data.
Rows Read: 186, Read Time: 0, Transform Time: 0
Beginning processing data.
LBFGS multi-threading will attempt to load dataset into memory. In case of out-of-memory issues, turn off multi-threading by setting trainThreads to 1.
Beginning optimization
num vars: 6
improvement criterion: Mean Improvement
L1 regularization selected 5 of 6 weights.
Not training a calibrator because it is not needed.
Elapsed time: 00:00:00.0646405
Elapsed time: 00:00:00.0083991
OrderedDict([('(Bias)', -1.2366217374801636), ('spontaneous', 1.9391206502914429), ('induced', 0.7497404217720032), ('parity', -0.31517016887664795), ('age', -3.162723260174971e-06)])
Beginning processing data.
Rows Read: 62, Read Time: 0, Transform Time: 0
Beginning processing data.
Elapsed time: 00:00:00.0287290
Finished writing 62 rows.
Writing completed.
Rows Read: 5, Total Rows Processed: 5, Total Chunk Time: 0.001 seconds 
  isCase PredictedLabel     Score  Probability
0  False          False -1.341681     0.207234
1   True           True  0.597440     0.645070
2  False           True  0.544912     0.632954
3  False          False -1.289152     0.215996
4  False          False -1.019339     0.265156

MultiClass 分類範例

'''
MultiClass Classification
'''
import numpy
import pandas
from microsoftml import rx_logistic_regression, rx_predict
from revoscalepy.etl.RxDataStep import rx_data_step
from microsoftml.datasets.datasets import get_dataset

iris = get_dataset("iris")

import sklearn
if sklearn.__version__ < "0.18":
    from sklearn.cross_validation import train_test_split
else:
    from sklearn.model_selection import train_test_split

irisdf = iris.as_df()
irisdf["Species"] = irisdf["Species"].astype("category")
data_train, data_test, y_train, y_test = train_test_split(irisdf, irisdf.Species)

model = rx_logistic_regression(
    formula="  Species ~ Sepal_Length + Sepal_Width + Petal_Length + Petal_Width ",
    method="multiClass",
    data=data_train)

print(model.coef_)
    
# RuntimeError: The type (RxTextData) for file is not supported.
score_ds = rx_predict(model, data=data_test,
                     extra_vars_to_write=["Species", "Score"])
                     
# Print the first five rows
print(rx_data_step(score_ds, number_rows_read=5))

輸出:

Automatically adding a MinMax normalization transform, use 'norm=Warn' or 'norm=No' to turn this behavior off.
Beginning processing data.
Rows Read: 112, Read Time: 0, Transform Time: 0
Beginning processing data.
Beginning processing data.
Rows Read: 112, Read Time: 0, Transform Time: 0
Beginning processing data.
Beginning processing data.
Rows Read: 112, Read Time: 0, Transform Time: 0
Beginning processing data.
LBFGS multi-threading will attempt to load dataset into memory. In case of out-of-memory issues, turn off multi-threading by setting trainThreads to 1.
Beginning optimization
num vars: 15
improvement criterion: Mean Improvement
L1 regularization selected 9 of 15 weights.
Not training a calibrator because it is not needed.
Elapsed time: 00:00:00.0493224
Elapsed time: 00:00:00.0080558
OrderedDict([('setosa+(Bias)', 2.074636697769165), ('versicolor+(Bias)', 0.4899507164955139), ('virginica+(Bias)', -2.564580202102661), ('setosa+Petal_Width', -2.8389241695404053), ('setosa+Petal_Length', -2.4824044704437256), ('setosa+Sepal_Width', 0.274869441986084), ('versicolor+Sepal_Width', -0.2645561397075653), ('virginica+Petal_Width', 2.6924400329589844), ('virginica+Petal_Length', 1.5976412296295166)])
Beginning processing data.
Rows Read: 38, Read Time: 0, Transform Time: 0
Beginning processing data.
Elapsed time: 00:00:00.0331861
Finished writing 38 rows.
Writing completed.
Rows Read: 5, Total Rows Processed: 5, Total Chunk Time: 0.001 seconds 
      Species   Score.0   Score.1   Score.2
0   virginica  0.044230  0.364927  0.590843
1      setosa  0.767412  0.210586  0.022002
2      setosa  0.756523  0.221933  0.021543
3      setosa  0.767652  0.211191  0.021157
4  versicolor  0.116369  0.498615  0.385016