第28卷第12期模式識(shí)別與人工智能Vol.28 No. 122015年12月PR&AIDec. 2015矩優(yōu)化Boosting算法劉川廖士中(天津大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院天津 300072)摘要間隔分布是Boosting算法的關(guān)鍵,現(xiàn)有的間隔分布泛化誤差界難以計(jì)算,限制Boosting算法的發(fā)展.基于此問(wèn)題,文中提出直接優(yōu)化間隔分布的矩優(yōu)化Boosting算法( MOBoost).首先,推導(dǎo)基于間隔分布一階矩和二階矩的Boosting泛化誤差界( Boosting的矩泛化界) ,直接刻畫(huà)間隔分布對(duì)Boosting 的影響.然后,依據(jù)Boosting 的矩泛化界,給出Boosting的矩準(zhǔn)則，在最大化間隔分布的一階矩同時(shí)最小化間隔分布的二階矩.最后,給出求解Boosting的矩準(zhǔn)則凸二次優(yōu)化問(wèn)題的原始形式和對(duì)偶形式,為Boosting 矩準(zhǔn)則提供有效的計(jì)算方法.理論分析與實(shí)驗(yàn)表明,MOBoost有效可靠.關(guān)鍵詞Boosing, 間隔分布,矩,泛化誤差,模型選擇中圖法分類(lèi)號(hào)TP 181DOI 10. 16451/j. enki. ssn1003 6059.201512002Moment-Optimized Boosting AlgorithmLIU Chuan, LIAO Shi Zhong( School of Computer Science and Technology , Tianjin University , Tianjin 300072)ABSTRACTMargin distribution is critical to Boosting. However, the existing margin-based generalization errorbounds are too complicated to be used for the design of new Boosting algorithms. In this paper, amoment-optimized Boosting ( MOBoost ) algorithm is proposed with direct optimization of the margindistribution. Firstly, a generalization error bound for Boosting based on first and secondary moments ofthe margin distribution is derived to reveal the close relationship between margin distribution andgeneralization error. Then, a moment criterion for Boosting model selection is presented based on themoment generalization bound. The criterion maximizes the first moment and minimizes the second momentof the margin distribution simultaneously. Consequently, the primary and dual forms are formulated forsolving the convex quadratic program of the moment criterion for Boosting. Thus , an efcient computingmethod for the moment criterion is proposed. Theoretical analysis and experimental results show thatMOBoost is effective and reliable.Key Words Booting, Margin Distribution, Moment, Generalizaion Error, Model Selection*國(guó)家自然科學(xué)基金項(xiàng)目( No.61 170019)資助中國(guó)煤化工收稿日期:2015-05-12;修回日期:2015-07-09CNMH G作者簡(jiǎn)介劉川，男 ,1990年生，碩士研究生,主要研究方向?yàn)锽oosting算法.居士+(旭以F有)，另,104年生,博士,教授,主要研究方向?yàn)槿斯ぶ悄軕?yīng)用基礎(chǔ)、理論計(jì)算機(jī)科學(xué). E-mail :szliao@ tju. edu. cn.1068模式識(shí)別與人工智能28卷1引言并不直觀. Shen等[16] 證明Booting最大化非規(guī)范間隔期望的同時(shí),最小化間隔分布的方差,但該證明Boosting算法是當(dāng)前較成功的分類(lèi)算法之一.建立在Boosting生成的弱分類(lèi)器是相互獨(dú)立這-該算法通過(guò)- - 系列弱分類(lèi)器的線性組合產(chǎn)生強(qiáng)分類(lèi)假設(shè)上.此外,Shivaswamy等17-8]受經(jīng)驗(yàn)伯恩斯坦器,其中,弱分類(lèi)器由弱學(xué)習(xí)算法產(chǎn)生,僅要求分類(lèi)界的啟發(fā),提出方差正則化的Boosting 算法,但該性能強(qiáng)于隨機(jī)猜測(cè). Freund 等[' -2] 提出的AdaBoost算法依賴(lài)的泛化誤差界忽略強(qiáng)分類(lèi)器f與訓(xùn)練集s是一種實(shí)用的Boosting 算法，至今仍是常用的之間的關(guān)系,與實(shí)際情況并不相符.Boosting算法之- -.本文在Gao等(41工作的基礎(chǔ)上，推導(dǎo)Boosting學(xué)者在如何解釋Boosting算法的工作原理時(shí)關(guān)于經(jīng)驗(yàn)間隔分布一階矩和二階矩的泛化誤差界,依然存有爭(zhēng)議,兩種最有影響力的解釋分別為統(tǒng)計(jì)并以經(jīng)驗(yàn)間隔分布的二階矩作為正則化因子,最大解釋和間隔理論解釋. Breiman[3] 和Friedman等[4化經(jīng)驗(yàn)間隔分布的一- 階矩,設(shè)計(jì)矩優(yōu)化的Boosting將Boosting算法解釋為函數(shù)空間中梯度下降的優(yōu)算法(Moment-Optimized Boosting Algorithm,化,據(jù)此Mason等[5]提出AnyBoost Boosting 框架,MOBoost).同Gao等[14]基于期望方差的泛化誤差界將Boosting擴(kuò)展到回歸問(wèn)題，甚至非監(jiān)督學(xué)習(xí).統(tǒng)計(jì)相比,本文應(yīng)用經(jīng)驗(yàn)間隔分布的二階矩而不是它的觀點(diǎn)雖然對(duì)Boosting的發(fā)展做出巨大貢獻(xiàn),卻無(wú)法替代統(tǒng)計(jì)量推導(dǎo)理論界,給出的理論界更能反映間解釋Boosting對(duì)于過(guò)擬合的抵抗性.Schapire等[6]隔分布的特征.實(shí)驗(yàn)表明MOBoost有效可靠.提出的間隔理論是另一種通用解釋.該理論首次給出關(guān)于間隔分布的泛化誤差界,從而將Boosting算2基礎(chǔ)知識(shí)法的成功歸因于間隔分布的提高.Breiman[(3推導(dǎo)基于最小間隔的泛化誤差界,比Schapire基于間隔令訓(xùn)練集分布的界更緊.由此, Breiman認(rèn)為最小間隔比間隔S= {x;,y;}"分布更重要.優(yōu)化最小間隔是凸優(yōu)化問(wèn)題,易計(jì)算，獨(dú)立取自未知分布D(X x Y) ,其中,X為特征空間,這使得最大化最小間隔的策略受到廣泛關(guān)注,如Y={- 1,1}. dt為給定的假設(shè)空間,Vh∈H是將Xarg-gv[3] 和LP-AdaBoost!7]等.映射到Y(jié)的弱分類(lèi)器本文中,假設(shè)dH中分類(lèi)器的個(gè)然而，大量實(shí)驗(yàn)表明，上述策略并未提高數(shù)有限,即Boosting的泛化性,甚至?xí)档头夯?因此,間隔|#|=NJ <+∞.理論遭到嚴(yán)重質(zhì)疑.盡管軟間隔最大化Boosting算令C(H)為J4凸閉包的完備,即法表現(xiàn)出較佳性能[8-9] ,卻無(wú)益于緩解間隔理論的爭(zhēng)論.之后,Koltchinskii等[0-11利用拉德馬赫及高.C(#)= {|s= Eath,a.≥0,Za.=1}.斯復(fù)雜度證實(shí)可提高Schapire 的間隔分布界,但并定義預(yù)測(cè)矩陣H∈QMxNn ,其中,Hq=h,(x)是不能證明這些新的泛化界比Breiman的最小間隔弱分類(lèi)器h,(.)對(duì)訓(xùn)練樣例x;的預(yù)測(cè)結(jié)果.為方便界更緊. Reyzin等[12復(fù)制Breiman的實(shí)驗(yàn),不同的起見(jiàn),記H;為H的第i行.是,他們采用決策樹(shù)樁作為弱學(xué)習(xí)器.與決策樹(shù)相Boosting 通過(guò)迭代T步建立-一個(gè)加法模型:比,決策樹(shù)樁能控制模型復(fù)雜性,實(shí)驗(yàn)表明間隔分布比最小間隔更重要.f,(x)= 2 a,h,(x),近期, Wang等[13]提出均衡間隔界( Emargin),其中,h,(x)為第t步選出的“最佳”弱分類(lèi)器,a,為比Breiman的最小間隔界更緊,為間隔解釋提供新相應(yīng)的權(quán),的理論支撐,但考慮因素與Schapire及Breiman 不同. Gao等[14)利用改進(jìn)的經(jīng)驗(yàn)伯恩斯坦界[5),假設(shè)a.≥0,Za,=1.在Breiman等相同的工作條件下,證明關(guān)于間隔分由前面定義可知，模型f,(x)可等價(jià)表示為J4 中所布更緊的泛化界,應(yīng)對(duì)Breiman 的質(zhì)疑,再次肯定有分類(lèi)器線性組合的形式: .間隔分布的核心作用.并且,Gao等[4]還推導(dǎo)關(guān)于中國(guó)煤化工間隔分布期望及方差的泛化誤差界,為設(shè)計(jì)新的Boosting 算法指明方向.然而,盡管文獻(xiàn)[14]的期MYHCNMHG_對(duì)樣例(xy)，問(wèn)隔YJr(%;)反映正確分類(lèi)與望方差界中出現(xiàn)- -項(xiàng)自然反映間隔方差,但方差項(xiàng)誤分類(lèi)的弱分類(lèi)器的權(quán)值差異,即12期川等:矩優(yōu)化 Bosting算法1069y.f(x})=. 2 β,-_ 2 β。3Boosting的矩泛化界對(duì)訓(xùn)練集S,Prs(xf+(x) <θ)可看作θ∈[-1,1]上的一個(gè)分布,即間隔分布.在Gao等(41工作的基礎(chǔ)上,本文進(jìn)- -步給出基于經(jīng)驗(yàn)間隔分布,Cao等[4)] 給出如下泛Boosting關(guān)于經(jīng)驗(yàn)間隔分布一階矩和二階矩的泛化化界.誤差界,稱(chēng)為Boosting的矩泛化界.定理1若訓(xùn)練集引理對(duì)任意正整數(shù)k,示性函數(shù)S= {(x,y)}"抓x)0,投票分類(lèi)器f以至少1-8的證明分情況討論概率滿(mǎn)足1)當(dāng)xf(x) < θ時(shí)，(1 +θ-xrf(x))*≥1*=1 =Mv) θ時(shí),由-1≤yf(x)≤1,0 <θ≤1,亞十了亞。聚[(3)<0]|.得3M1 +θ-xf(x)≥0,其中μ= gIn M In(2N#) + ln-QH2Ng(1 +θ-x(x))*≥0=gu0<在相同假設(shè)下，定理1給出的泛化界比綜上所述,對(duì)任意正整數(shù)k,m) 0,投票分類(lèi)器f至少以1-8的滿(mǎn)足M≥5,對(duì)Vδ > 0,投票分類(lèi)器f以至少1-8的Pr[xf(x) <0]≤Pr[x(x) <0]≤而+_ inf. |Pr([x(x) <0] +兩+. inf.θe(0,1] '(n+/籍的+亞招座),μ= fIn M ln(2Ny) + ln2N#”8證明由引理可得μ=1441n M ln(2Nn)+In(2%).Pr[xf(x) < 0]02(0)=PLu(>) <0]P[x(x) >號(hào)].ly1x) 0,Pr[xf(x)中國(guó)煤化工)=M，(1)因此，定理2表明，最大化Es[x(x)]且最小化Pr[yf(xMHCNMH Gi(.)可提高Boosting的泛化性.≤(1 +0)2-2(1 +0)Es[x(x)] + Es[(x(x))門(mén)]1070模式識(shí)別與人工智能28卷(2)s.t.2 uyh.(x)≤s.(7)將式(1)和式(2)分別代人定理1右端的Pr[xf(x) < ]可見(jiàn)，Boosting的矩準(zhǔn)則的求解問(wèn)題是-個(gè)凸中,即得證定理.二次優(yōu)化問(wèn)題.與定理2給出的泛化界相比,定理3給出的泛化界不含Boosting的矩優(yōu)化算法Pr[xf(x) < 0]項(xiàng),形式簡(jiǎn)潔且只相關(guān)于經(jīng)驗(yàn)間隔的一階矩和二階本節(jié)根據(jù)Boosting的矩準(zhǔn)則，設(shè)計(jì)Boosting 的矩.因而,定理3給出的泛化誤差界更易計(jì)算,并且矩優(yōu)化算法.可直接反映間隔分布對(duì)泛化性的影響.當(dāng)弱分類(lèi)器較少時(shí)，可按式(5)"直接求解Boosting的矩準(zhǔn)則;當(dāng)弱分類(lèi)器較多時(shí)，可應(yīng)用對(duì)4 Boosting的矩準(zhǔn)則偶式(7)并采用列生成算法求解Boosting 的矩準(zhǔn)則.依據(jù)Boosting矩泛化界給出Boosting算法的值得注意的是,式(7)也可看作是一種正則化優(yōu)化準(zhǔn)則,稱(chēng)為Boosting 的矩準(zhǔn)則.因子下的軟間隔LPBoostf8. 不同的是u不再是一由定理3可知,增加經(jīng)驗(yàn)間隔的-階矩或減少個(gè)分布由拉格朗日對(duì)偶性,為使原問(wèn)題收斂更快，經(jīng)驗(yàn)間隔的二階矩,可提高Boosting的泛化性.據(jù)僅需尋找違背式(7)約束不等式最嚴(yán)重的弱分類(lèi)此可得到如下準(zhǔn)則:器,即max(E[)f(x)] - ηE{[(x(x)])，(3)arg max 2 uy.h(x,).(8)其中,η >0,用于給出Es[x(x)]與E([(x(x)]此時(shí)選擇的弱分類(lèi)器h與Boosting -致.的權(quán)衡.式(3)等價(jià)于綜上所述,可設(shè)計(jì)MOBoost,具體步驟如下.max(ZyH,a -點(diǎn)(y,H,a)算法MOBoost輸入訓(xùn)練集S= {(x;,y,) },迭代次數(shù)T,正則s.t. 2a;=1,a;≥0,i=1,2,,M.化參數(shù)η > 0輸出F;(x)= sgn[f,(x)] ,其中ρ=[ρ,r,",pm]'∈[- 1,1]",p:=yHa,f(x)= E a,h,(x)并令1,為以y: ,y.,.. ,Yu為對(duì)角線元素的對(duì)角陣,有step 1初始化訓(xùn)練集的權(quán)值分布ρ =I,Ha.則式(4)可改寫(xiě)為u;=一, i= 1,2,.. ,M.minηp'p - 1'p,(5)step2生成 T個(gè)弱分類(lèi)器s.t. a≥0, 1'a=1,ρ =I,Ha.whilet= 1: T上式顯然是一個(gè)凸二次優(yōu)化問(wèn)題引人變量r,s,u,可得式(5)的拉格朗日函數(shù):由式(8)生成弱分類(lèi)器h;L(a,ρ,r,s,u)=ηρρ-1p-r"a+s(1'a-1) +增加h,到原問(wèn)題式(5),由其對(duì)u'(ρ - I,Ha),應(yīng)的對(duì)偶式(6)更新u.其中r≥0,可得式(5)的對(duì)偶形式:max | -s(u- 1)"(u-1)step3根據(jù)對(duì)偶性得 到原問(wèn)題式(5)的解a,4η~(6)算法結(jié)束s.t. H'I,u ≤s1.MOBoq中國(guó)媒化工均值較大且二展開(kāi)(u-1)"(u- 1),式(6)可進(jìn)-步改寫(xiě)為階矩較小,H.CNMHG大的間隔,可給min|s-2-1'u+一u"u,出直覺(jué)上“好的問(wèn)隔分仰.在求解原始/對(duì)偶問(wèn)題的二次優(yōu)化過(guò)程中,對(duì).12期劉川等:矩優(yōu)化 Boosting 算法1071應(yīng)的矩陣通常是半正定的而不是正定的,故需在矩0.03 ,0.05 ,0.08 ,0.10,0.12,0.13 ,0.15.陣的對(duì)角線加上δ > 0的擾動(dòng).表2給出3種Boosting算法的誤差,最好的結(jié)果標(biāo)注為黑體.由表2可見(jiàn),在大部分?jǐn)?shù)據(jù)集上,6實(shí)驗(yàn)及結(jié)果分析MOBoost有更好的預(yù)測(cè)性能.表1實(shí)驗(yàn)數(shù)據(jù)集本節(jié)通過(guò)實(shí)驗(yàn)驗(yàn)證MOBoost的有效性和可Table 1 Experimental datasets靠性.數(shù)據(jù)集類(lèi)別屬性個(gè)數(shù)樣本數(shù)實(shí)驗(yàn)環(huán)境如下: Intel Core2 Quad Q8200Ionosphere342.33 CHz CPU,內(nèi)存4.0 GB;軟件R3. 0.0;標(biāo)準(zhǔn)數(shù)768據(jù)集選自UCI等數(shù)據(jù)庫(kù).Banknote1371為控制分類(lèi)器的復(fù)雜性,均采用決策樹(shù)樁作為569弱分類(lèi)器,即僅包含--個(gè)節(jié)點(diǎn)的決策樹(shù)對(duì)比算法包German201000括AdaBoost和LPBoost.實(shí)驗(yàn)采用13個(gè)標(biāo)準(zhǔn)數(shù)據(jù)Diabetes68Heart-c303集(見(jiàn)表1) ,按照4: 3: 3的比例隨機(jī)抽取數(shù)據(jù)作為Heart-h94訓(xùn)練集、驗(yàn)證集和測(cè)試集,測(cè)試迭代數(shù)為100和200Heart-statlog270時(shí)3種Boosting算法的性能每次實(shí)驗(yàn)均重復(fù)10次Hepatitis55并取平均值.均衡參數(shù)Labor657Wpbe .99LPBoost的參數(shù)取值為0. 001 ,0. 005 ,0.01 ,0.02 ,Colic表2 AdaBoost、LPBoost和MOBoost的測(cè)試誤差Table 2 Testing errors of AdaBoost , LPBoost and MOBoostT= 100T= 200AdaBoostLPBoostMOBoost9.62土2.05 9.43 +1.33 7.55 +1.49 9.43 +1.89 10.57 +2.70 13.04 +2. 58Pima26.32 +2.30 31.34 +1.58 23.73 +1.2028.09 +0.79 30.00 +1.7727.22 +2. 560.63 +0.44 0.63 +0.53 0.24 +0. 171.12 +0.68 1.02 +0.90 0.58 +0.49Wdbc5.38 +1.72 5.61 +2.13 5.38 +0.765.50 +1.06 5.96 +0.494.09 +0.92 .26.27 +1.40 26.80 +3.48 26.00 +0.94 27.07 +2.88 29.33 +3.47 26.93 +1.1625.97 +4.26 27.72 2.86 25.37 +2.38 27.53 +3.07 29. 16 +4.6625.31 +2.4722.20 +5.68 21.32 +5.69 20.88 +3.01 21.76 +2.51 22.42 +5.0120.44士+4. 7019.55 +4.53 18.88 +3.59 21.57 +3.68 20.00 +3.84 21.80 +4.3220.00 +2.5721.48 +1.87 20.99 +6.42 19.51 +3.94 19.75 +5.01 18.99 +4.86 15.67 +3.4620.00 +7.15 21.70 +4.61 19.15 +3.36 20.43 +4.41 16.60 +1.7813.19 +4.6125.56 +6.33 27.56 +9.72 24.44 +8.43 19.24 +6.80 23.33 +7.3122.56 +7.52Wpbe23.00 +3.80 25.67 +1.49 24.33 +2.79 26.33 +4.62 24.67 +5.45 26.00 +3.21Colice18.20 +3.45 17.66 +1.87 16.58 +1.37 21.80 +3.90 20.36 +2.07 16.76 +3.35圖1給出均衡參數(shù)η對(duì)測(cè)試誤差的影響.當(dāng)η圖2給出迭代數(shù)T =100時(shí)AdaBoost與MOBoost取值過(guò)小或過(guò)大時(shí),算法傾向于只考慮經(jīng)驗(yàn)間隔分在Wdbe、German與Diabetes這3個(gè)數(shù)據(jù)集上的累布的一階矩或二階矩,都不全面,測(cè)試誤差較大.當(dāng)計(jì)間隔分布對(duì)比，其他數(shù)據(jù)集上有相似結(jié)果.η=30 ,,.,30MOBoost的間隔分布曲線通常位于AdaBoost右下時(shí),同時(shí)兼顧經(jīng)驗(yàn)間隔分布的-階矩和二階矩，給出方,這表明MOBoost比AdaBoost具有更好的間隔較好的經(jīng)驗(yàn)間隔分布,此時(shí)的測(cè)試誤差較小且較分布,與之中國(guó)煤化工穩(wěn)定.上述實(shí)YH |c N M H c效性和可靠性..1072模式識(shí)別與人工智能28卷.0.250.380.140.36-0.34-刪0.10糊0.32↑0.15-e 0.08路0.30-冕0.06冕0.28-0.26 t0.05 L0.24-268-log,nlog,7(a) lonosphere(b) Pima(c) Banknote0.090.36r0.36*0.08g 0.070.32[刪0.32-s 0.06↑g 0.30-當(dāng)0.30-冕0.050.280.040.260.032δ246.802.468log.7(d) Wdbc(e)Germnan(f) Diabetes圖1 η對(duì)泛化誤差的影響Fig. 1 Effeet of η on generalization errors1.1.0p0.8至0.6-0.6-否0.6-于0.4本0.4-0.2-MOBoost0.. MOBoost一MOBoost |AdaBoost-- AdaBoost-0.2 0 0.2 0.4 0.6 0.81.0-0.2 0 0.2 0.4 0.6 0.8 1.0間隔(a) Wdbe(b)German(c) Diabetes圖2 MOBoost 與AdaBoost累計(jì)間隔分布的對(duì)比Fig. 2 Comparison of cumulative margin distibution between MOBoost and AdaBoost7,結(jié)束語(yǔ)一階矩和二階矩的Boosting 的矩泛化界,給出最大化經(jīng)驗(yàn)間隔分布期望同時(shí)最小化經(jīng)驗(yàn)間隔分布二階間隔在監(jiān)督學(xué)習(xí)和非監(jiān)督學(xué)習(xí)中都起著重要作矩的Boosting的矩準(zhǔn)則,設(shè)計(jì)基于Boosting的矩優(yōu)化用.直接應(yīng)用間隔最大化的算法，如支持向量機(jī)的MOBoost算法,實(shí)驗(yàn)驗(yàn)證MOBoost比AdaBoost和(SVM)和譜聚類(lèi),可得到較好的泛化性.間隔分布LPBoost更有效.該項(xiàng)工作給出一個(gè)完整的Boosting的好壞也影響算法性能,因此,基于間隔分布的算法算法設(shè)計(jì)的經(jīng)驗(yàn)間隔分布優(yōu)化理論與方法,也為進(jìn)受到廣泛關(guān)注(19-21].然而,關(guān)于間隔分布至今尚未-步研究其他學(xué)習(xí)算法的間隔分布優(yōu)化理論與方法有適用于學(xué)習(xí)算法設(shè)計(jì)的理論、準(zhǔn)則和方法.提供有價(jià)值的參考.矩是隨機(jī)變量的重要統(tǒng)計(jì)特征.本文提出經(jīng)驗(yàn)下一步中國(guó)煤化工定性,給出基于間隔分布矩優(yōu)化Boosting算法,推導(dǎo)基于經(jīng)驗(yàn)間隔經(jīng)驗(yàn)間隔分MHC N M H G的泛化誤差界..12期劉川等:矩優(yōu)化 Boosting算法1073參考文獻(xiàn)Annals of Stistis, 2002, 30(1): 1-50[11] Koltchinskii V, Panchenko D. Complexities of Convex Combina-[1] Freund Y, Schapire R E. Experiments with a New Boosting Algo-tions and Bounding the Generalization Error in Classfication. Therithm // Proc of the 13th Intemational Conference on MachineAnnals of Stistis, 2005 , 33(4): 1455 -1496Leaming. Bari, ltaly, 1996: 148-156[12] Reyzin L, Schapire R E. How Boosing the Margin Can Also Boost[2] Freund Y, Schapire R E A Decision -Theoretic Gencrlizaion of On-Cassifer Complexity /1 Proe of the 23rd Inemational Conferenceline Ieaming and an Application to Boosting. Jourmal of Computeron Machine Leaming. Pttsburgh, USA, 2006: 753-760and System Sciences, 1997, 5s(1): 119-139[13] WangL W, Sugjyama M, JingZ X, et al. A Refined Margin Ana-[3] Breiman L. Prediction Games and Arcing Algorithms. Neural Com-lysis for Boosting Algorithms via Equilibrium Margin. Joumal ofputation, 1999, 11(7): 1493-1517Machine Leaning Research, 2011, 12: 1835-1863[4] Friedman J H, Hastie T, Tibshirani R. Additive Logstic Regres- [14] Gao w, ZhouZ H. On the Doubt about Margin Explanation ofsion: A Statistical View of Boosting. The Annals of Statistics, 2000Bosting. Aricial Ieligence, 2013, 203: 1-1828(2): 337-407[15] Maurer A, Pontil M. Empincal Bernstein Bounds and Sample Va-[5] Mason L, Baxter J, Bartett P, et al. Boosing.Algorithns as Gra-riance Penalzation[ EB/OL]. [ 2015 -04 - 30]. htp://www.dient Descent // SollaS A, Leen T K, Muller K, eds. Advances inandreas -maurer. eu/svp-final. pdiNeural Inomation Processing Systems 12. Cambridge, USA: MIT[16] Shen C H, Li H X. Boosting through Optimization of Margin Disti-Press, 199: 512-518butions. IEEE Trans on Neural Networks, 2010, 21(4): 659-666[6] Schapire R E, Freund Y, BarlettP, et al. Boosting the Margin: A [17] Shivaswamy P K, Jecbara T. Empirical Bemstein Boosting // ProcNew Explanation for the Efectiveness of Voting Methods. Thof the 13th Intemational Conference on Artificial Inelligence andAnnals of Stisics, 1998, 26(5): 1651-1686Statistics. Sardinia, ltaly, 2010, IX: 733-740[7] Crove A J, Schuurmans D. Boosting in the Limit: Maximizing the [18] Shivaswamy P K, Jebara T. Variance Penalizing Adaboost //Margin of Learmed Ensembles /1 Proe of the 15th National Confe-Shawe-TaylorJ, Zemel RS, Bartlett P L, et al. eds. Adrancesrence on Arificial Ielligence. Madison, USA, 1998: 692 -699in Neural Informnation Processing Systens 24. Cambridge, USA:[8] Demiriz A, Bennett K P, Shawe-Taylor 」. Linear ProgranmingMIT Press, 2011: 1908-1916Boosting via Colunn Generation. Machine Leamning. 2002, 46(1): .[19] Garg A. Roth D. Margjin Distribution and Leaming Algorithms //225-254Proc of the 20th Intemational Conference on Machine Leaming.[9] FangY K, Fu Y, ZhouJL, et al. Selective Boosting Algorihm forWashington, USA, 2003: 210-217Maximizing the Soft Margin. Joumal of Software, 2012, 23(5):[20] Liu C, Liao s z. Boosting via Appraching Optimal Margin Distrbu-1132-1147 (in Chinese).tion /1 Proc of the 19th Pacific-Asia Coference on Knowledge Dis-(方育柯,傅彥,周俊臨,等基于選擇性集成的最大化軟間隔算covery and Data Mining. Ho Chi Minh, Vietnam, 2015: 684-695法.軟件學(xué)報(bào), 2012, 23(5): 1132-1147)[21 ] Zhang T, Zhou z H. Large Margin Distribution Machine // Proc of[10] Koltchinski V, Panchenko D. Empincal Margin Distrbutions andthe 20th ACM SIGKDD Conference on Knowledge Discovery andBounding the Generalization Error of Combined Casfers. TheData Mining. New York, USA, 2014: 313-322中國(guó)煤化工MHCNMH G