此外，xgboost還支持候選分位點(diǎn)切割，特征并行等，可以提升性能。

二、XGBoost原理概述

下面從假設(shè)空間，目標(biāo)函數(shù)，優(yōu)化算法3個(gè)角度對(duì)xgboost的原理進(jìn)行概括性的介紹。

1，假設(shè)空間

2，目標(biāo)函數(shù)

3，優(yōu)化算法

基本思想：貪心法，逐棵樹(shù)進(jìn)行學(xué)習(xí)，每棵樹(shù)擬合之前模型的偏差。

三、第t棵樹(shù)學(xué)什么？

要完成構(gòu)建xgboost模型，我們需要確定以下一些事情。

1，如何boost? 如果已經(jīng)得到了前面t-1棵樹(shù)構(gòu)成的加法模型，如何確定第t棵樹(shù)的學(xué)習(xí)目標(biāo)？

2，如何生成樹(shù)？已知第t棵樹(shù)的學(xué)習(xí)目標(biāo)的前提下，如何學(xué)習(xí)這棵樹(shù)？具體又包括是否進(jìn)行分裂？選擇哪個(gè)特征進(jìn)行分裂？選擇什么分裂點(diǎn)位？分裂的葉子節(jié)點(diǎn)如何取值？

我們首先考慮如何boost的問(wèn)題，順便解決分裂的葉子節(jié)點(diǎn)如何取值的問(wèn)題。

四、如何生成第t棵樹(shù)？

xgboost采用二叉樹(shù)，開(kāi)始的時(shí)候，全部樣本都在一個(gè)葉子節(jié)點(diǎn)上。然后葉子節(jié)點(diǎn)不斷通過(guò)二分裂，逐漸生成一棵樹(shù)。

xgboost使用levelwise的生成策略，即每次對(duì)同一層級(jí)的全部葉子節(jié)點(diǎn)嘗試進(jìn)行分裂。對(duì)葉子節(jié)點(diǎn)分裂生成樹(shù)的過(guò)程有幾個(gè)基本的問(wèn)題：是否要進(jìn)行分裂？選擇哪個(gè)特征進(jìn)行分裂？在特征的什么點(diǎn)位進(jìn)行分裂？以及分裂后新的葉子上取什么值？葉子節(jié)點(diǎn)的取值問(wèn)題前面已經(jīng)解決了。我們重點(diǎn)討論幾個(gè)剩下的問(wèn)題。

1，是否要進(jìn)行分裂？

根據(jù)樹(shù)的剪枝策略的不同，這個(gè)問(wèn)題有兩種不同的處理。如果是預(yù)剪枝策略，那么只有當(dāng)存在某種分裂方式使得分裂后目標(biāo)函數(shù)發(fā)生下降，才會(huì)進(jìn)行分裂。但如果是后剪枝策略，則會(huì)無(wú)條件進(jìn)行分裂，等樹(shù)生成完成后，再?gòu)纳隙聶z查樹(shù)的各個(gè)分枝是否對(duì)目標(biāo)函數(shù)下降產(chǎn)生正向貢獻(xiàn)從而進(jìn)行剪枝。xgboost采用預(yù)剪枝策略，只有分裂后的增益大于0才會(huì)進(jìn)行分裂。

2，選擇什么特征進(jìn)行分裂？

xgboost采用特征并行的方法進(jìn)行計(jì)算選擇要分裂的特征，即用多個(gè)線程，嘗試把各個(gè)特征都作為分裂的特征，找到各個(gè)特征的最優(yōu)分割點(diǎn)，計(jì)算根據(jù)它們分裂后產(chǎn)生的增益，選擇增益最大的那個(gè)特征作為分裂的特征。

3，選擇什么分裂點(diǎn)位？

xgboost選擇某個(gè)特征的分裂點(diǎn)位的方法有兩種，一種是全局掃描法，另一種是候選分位點(diǎn)法。

全局掃描法將所有樣本該特征的取值按從小到大排列，將所有可能的分裂位置都試一遍，找到其中增益最大的那個(gè)分裂點(diǎn)，其計(jì)算復(fù)雜度和葉子節(jié)點(diǎn)上的樣本特征不同的取值個(gè)數(shù)成正比。

而候選分位點(diǎn)法是一種近似算法，僅選擇常數(shù)個(gè)（如256個(gè)）候選分裂位置，然后從候選分裂位置中找出最優(yōu)的那個(gè)。