最新精品国偷自产在线老年人,婷婷丁香五月六月综合激情啪,久久午夜夜伦鲁鲁片免费无码

【AI100 導(dǎo)讀】本文是作者在學(xué)習(xí)機(jī)器學(xué)習(xí)的過程中隨手記下的一些隨想，內(nèi)容涉及數(shù)學(xué)原理、算法分析、系統(tǒng)設(shè)計(jì)和產(chǎn)業(yè)趨勢(shì)，腦洞隨時(shí)開放，思路經(jīng)常穿越，采取微博文體寫作，不拘泥于主題，一事一議，可長(zhǎng)可短。謬誤在所難免，目的在于拋磚引玉。
1. 線性模型是機(jī)器學(xué)習(xí)算法當(dāng)中特別重要的一個(gè)，它既是最容易入門的算法，也是效果最好的算法之一。帶懲罰項(xiàng)的線性回歸和邏輯回歸，在各種問題的測(cè)試當(dāng)中，總是能排到前幾名去。這就有點(diǎn)像形意拳里的五行拳，既是入門套路，又是最高級(jí)的絕技，全看功力深淺。
2. 機(jī)器學(xué)習(xí)的本質(zhì)是根據(jù)證據(jù)（觀察到的數(shù)據(jù)）來猜測(cè)事物背后的規(guī)律。一般來說，規(guī)律是可以表示為某個(gè)函數(shù)的。所以機(jī)器學(xué)習(xí)從某種意義上來說就是根據(jù)數(shù)據(jù)，來猜測(cè)背后支配性的規(guī)律函數(shù) 。很不嚴(yán)謹(jǐn)?shù)匾鲆幌挛籂査固乩苟ɡ?，一個(gè)閉區(qū)間上不管多么復(fù)雜的連續(xù)函數(shù) ，總可以用多項(xiàng)式函數(shù)的線性組合無限逼近。所以不管多么復(fù)雜的規(guī)律，用廣義線性模型總是可以表達(dá)出來的。有人說深度學(xué)習(xí)牛逼是因?yàn)樯疃葘W(xué)習(xí)能夠表示的復(fù)雜度高，恐怕不盡然，難道線性模型不能表達(dá)很高的復(fù)雜度？深度學(xué)習(xí)真正的優(yōu)勢(shì)還是在于它可以自動(dòng)學(xué)習(xí)特征。而特征工程對(duì)于線性模型來說，往往是最難搞也是最具決定性的步驟。
3. 線性模型的另一個(gè)缺點(diǎn)是容易過擬合。過擬合是所有機(jī)器學(xué)習(xí)算法的死穴，本質(zhì)上并沒有好的辦法去解決，但有一些控制手段。線性模型的控制手段就是在優(yōu)化目標(biāo)中添加懲罰項(xiàng) 。
4. 帶懲罰項(xiàng)的線性回歸，最經(jīng)典的是嶺回歸（ridge ）。在統(tǒng)計(jì)學(xué)里，這個(gè)方法的大名叫做“吉洪諾夫正則化（）” ，是由前蘇聯(lián)國(guó)立莫斯科大學(xué)數(shù)學(xué)系教授、蘇聯(lián)科學(xué)院院士安德烈·吉洪諾夫于1943年斯大林格勒戰(zhàn)役烽火連天的時(shí)候提出來的。
安德烈·吉洪諾夫
這個(gè)數(shù)學(xué)家吉洪諾夫跟前蘇聯(lián)著名電影演員維亞切斯拉夫·吉洪諾夫好像沒什么親戚關(guān)系。演員吉洪諾夫在《春天的十七個(gè)瞬間》里塑造的黨衛(wèi)軍旗隊(duì)長(zhǎng)施季里茨激勵(lì)普京報(bào)名參加了克格勃，是前蘇聯(lián)影視經(jīng)典形象。
維亞切斯拉夫·吉洪諾夫
然而數(shù)學(xué)家吉洪諾夫其實(shí)更牛，他21歲就從莫斯科大學(xué)拿到數(shù)學(xué)博士學(xué)位， 27歲當(dāng)教授，33歲成院士，放在哪個(gè)時(shí)代都是難以想象的天才人物。吉洪諾夫是在研究積分問題時(shí)提出這個(gè)正則化方法的，而且很快廣為人知了。這大概還要?dú)w功于二戰(zhàn)時(shí)期形成的反法西斯聯(lián)盟，使得蘇聯(lián)的科學(xué)成果也能很快傳到西方。冷戰(zhàn)之后的蘇聯(lián)數(shù)學(xué)家就沒有這么幸運(yùn)了，很多成果發(fā)表幾十年后都不為西方所知。比如支持向量機(jī)，是由另一個(gè)蘇聯(lián)數(shù)學(xué)家弗拉基米爾·瓦普尼奇于1963年提出來的，一直到三十年后的1992年才傳到西方。很顯然北大人工智能公開課，如果不是蘇聯(lián)解體，瓦普尼奇移民美國(guó)，這個(gè)算法沒準(zhǔn)還會(huì)在蘇聯(lián)封閉更長(zhǎng)時(shí)間。附帶一提，瓦普尼奇現(xiàn)在在。
弗拉基米爾·瓦普尼奇
5. 另一個(gè)流行的懲罰回歸系數(shù)的線性模型算法是 LASSO ，其提出者是斯坦福大學(xué)統(tǒng)計(jì)系教授羅伯特·蒂什拉尼（）。
羅伯特·蒂什拉尼
話說這個(gè)教授跟斯坦福大學(xué)的另一位統(tǒng)計(jì)學(xué)教授合著了兩本書，其中 Theof是機(jī)器學(xué)習(xí)最經(jīng)典的幾本教材之一，號(hào)稱 ESL，與 PRML 齊名。
但由于其數(shù)學(xué)太深，難度太大，兩位教授又合著了一門簡(jiǎn)明教程，Anto，并且以此為教材開了一門在線公開課。我聽了一點(diǎn)，還是覺得吳恩達(dá)的課更對(duì)胃口，所以棄劇了。再開個(gè)腦洞，ESL 這本書還有一個(gè)第三作者叫，他是另一種懲罰線性回歸算法的提出者。
很巧的是機(jī)器學(xué)習(xí)名著《概率圖模型》的第二作者叫 Nir。難道叫的人很喜歡搞機(jī)器學(xué)習(xí)并且給別人做第二、三作者？不過想到經(jīng)濟(jì)學(xué)家弗里德曼和著名專欄作家弗里德曼應(yīng)該都不懂機(jī)器學(xué)習(xí)，我也就釋然了。
6. 其他的懲罰線性回歸方法還有 , LARS,等。
7. 線性模型的一大優(yōu)勢(shì)是速度快，準(zhǔn)確率又相當(dāng)高，所以可以作為一個(gè)基線算法。解決任何問題，可以首先建一個(gè)線性模型作為基準(zhǔn)，再去試其他的算法追求高精度。如果其他的算法效果不好，或者速度太慢，總還是可以回到線性模型。
8. 速度快也很重要，開發(fā)中便于快速迭代調(diào)參，應(yīng)用中更適用于那些需要實(shí)時(shí)出結(jié)果的場(chǎng)合。前不久，地平線機(jī)器人的余凱在北大講人工智能，說他看好互聯(lián)網(wǎng)邊緣的嵌入式人工智能，并且舉了很多例子北大人工智能公開課，是必須實(shí)時(shí)在嵌入式系統(tǒng)上給出判斷結(jié)果的。我想如果他對(duì)于趨勢(shì)的判斷正確，那線性模型在未來嵌入式人工智能中肯定占據(jù)一個(gè)特別重要的位置，因?yàn)樗彀?。
【機(jī)器學(xué)習(xí)的學(xué)習(xí)隨想01】本文到此結(jié)束，希望對(duì)大家有所幫助。