統(tǒng)計(jì)學(xué)習(xí)那些事
有一個(gè)關(guān)于Gradient Boosting細(xì)節(jié)不得不提。Friedman在做實(shí)驗(yàn)的時(shí)候發(fā)現(xiàn)，把一棵新生成的決策樹(shù)，記為f_m，加到當(dāng)前模型之前，在這棵決策樹(shù)前乘以一個(gè)小的數(shù)，即v×f_m(比如v=0.01)，再加入到當(dāng)前模型中，往往大大提高模型的準(zhǔn)確度。他把這個(gè)叫做“Shrinkage”。接下來(lái)，Hastie，Tibshirani和Friedman進(jìn)一步發(fā)現(xiàn)(我發(fā)現(xiàn)大師們都是親自動(dòng)手寫程序做實(shí)驗(yàn)的)，如果把具有Shrinkage的Gradient Boosting應(yīng)用到線性回歸中時(shí)，得到的Solution Path與Lasso的Solution Path驚人地相似(如圖所示)!他們把這一結(jié)果寫在了ESL的第一版里，并推測(cè)這二者存在著某種緊密的聯(lián)系，但精確的數(shù)學(xué)關(guān)系他們當(dāng)時(shí)也不清楚。Tibshirani說(shuō)他們還請(qǐng)教了斯坦福的優(yōu)化大師(我估計(jì)是Stephen Boyd)，但還是沒(méi)有找到答案。
后來(lái)Tibshirani找到自己的恩師Efron。Tibshirani在“The Science of Bradley Efron”這本書的序言里寫道，“He sat down and pretty much single-handedly solved the problem. Along the way, he developed a new algorithm, ‘least angle regression,’ which is interesting in its own right, and sheds great statistical insight on the Lasso.”我就不逐字逐句翻譯了，大意是：Efron獨(dú)自擺平了這個(gè)問(wèn)題，與此同時(shí)發(fā)明了“Least angle regression (LAR)”。Efron結(jié)論是Lasso和Boosting的確有很緊密的數(shù)學(xué)聯(lián)系，它們都可以通過(guò)修改LAR得到。更令人驚嘆的是LAR具有非常明確的幾何意義。于是，Tibshirani在序言中還有一句，“In this work, Brad shows his great mathematical power–not the twentieth century, abstract kind of math, but the old-fashioned kind: geometric insight and analysis.”讀Prof Efron的文章，可以感受到古典幾何學(xué)與現(xiàn)代統(tǒng)計(jì)學(xué)的結(jié)合之美(推薦大家讀讀Efron教授2010年的一本新書Large-Scale Inference，希望以后有機(jī)會(huì)再寫寫這方面的體會(huì))!總之，Efron的這篇文章是現(xiàn)代統(tǒng)計(jì)學(xué)的里程碑，它結(jié)束了一個(gè)時(shí)代，開(kāi)啟了另一個(gè)時(shí)代。