GBDT股票

A. gbdt和gradient boost是一樣的嗎

adaboost AdaBoost算(通迭代弱類器產終強類器算)更釋義>> [網路短語] AdaBoost AdaBoost,AdaBoost,自適應增強 Gentle AdaBoost 平緩,平緩Adaboost AdaBoost algonithm 號碼識別

B. 為什麼 CTR 預估中，GBDT + LR 模型的效果要比單純使用 GBDT 好

在統計學，統計決策理論和經濟學中，損失函數是指一種將一個事件（在一個樣本空間中的一個元素）映射到一個表達與其事件相關的經濟成本或機會成本的實數上的一種函數。

C. GBDT是如何來做二分類的

GBDT做二分類可以使用sigmoid函數來輸出概率，損失函數使用交叉熵函數，每次計算交叉熵的負梯度來擬合

D. gbdt怎麼用在 點擊率預測中

gbdt是可以直接得到概率的，具體題主可以參見"Greedy function approximation: a gradient boosting machine" 中section 4.5 two class logistic regression. 即使單獨使用gbdt也是可以達到比較高的准確率的。同時也有很多問題需要注意，比如用down sampling處理class imbalance，預測結果的calibration等等

E. 從原理上來說，GBDT 和 SVM 哪個更強為什麼

兩個classifier到底哪個好？或許有人會說這樣簡單的判定哪個好哪個不好很幼稚，每一個classifier都有它的優缺點，但是看看CVPR每年的幾百篇論文，這兩個classifier的地位很難有任何其他的演算法能比吧？

F. GBDT是一次讀入所有數據嗎

GBDT訓練時是一次對所有數據進行訓練

G. GBDT怎麼做回歸問題

GBDT做回歸根據損失函數的負梯度來進行擬合，回歸問題通常用平方損失函數，求梯度後就相當於殘差，每一個建樹過程都對前一棵樹的殘差進行擬合

H. gbdt演算法是什麼

如下圖：

在建立GBDT對象並作fit之後，可以使用如下代碼獲得要的規則代碼：

dot_data = tree。export_graphviz(model_tree， out_file=None，

max_depth=5， feature_names=names_list， filled=True， rounded=True) # 將決策樹規則生成dot對象。

模型最終可以描述為：

Fm(x)=∑m=1MT(x;θm)Fm(x)=∑m=1MT(x;θm)

模型一共訓練M輪，每輪產生一個弱分類器T(x;θm)T(x;θm)。弱分類器的損失函數

θ^m=argminθm∑i=1NL(yi,Fm−1(xi)+T(xi;θm))θ^m=arg⁡minθm⁡∑i=1NL(yi,Fm−1(xi)+T(xi;θm))

Fm−1(x)Fm−1(x)為當前的模型，gbdt通過經驗風險極小化來確定下一個弱分類器的參數。具體到損失函數本身的選擇也就是L的選擇，有平方損失函數，0-1損失函數，對數損失函數等等。如果我們選擇平方損失函數，那麼這個差值其實就是我們平常所說的殘差。

I. gbdt的特徵有必要onehot嗎

查了一下，包括之前也有人告訴我，基於樹模型的離散特徵都不用轉OneHot