【深度學(xué)習(xí)系列】卷積神經(jīng)網(wǎng)絡(luò)CNN原理詳解(一)——基本原理

開發(fā)技術(shù) 2018/4/24

為什么要用神經(jīng)網(wǎng)絡(luò)？

特征提取的高效性。

 大家可能會(huì)疑惑，對(duì)于同一個(gè)分類任務(wù)，我們可以用機(jī)器學(xué)習(xí)的算法來(lái)做，為什么要用神經(jīng)網(wǎng)絡(luò)呢？大家回顧一下，一個(gè)分類任務(wù)，我們?cè)谟脵C(jī)器學(xué)習(xí)算法來(lái)做時(shí)，首先要明確feature和label，然后把這個(gè)數(shù)據(jù)"灌"到算法里去訓(xùn)練，最后保存模型，再來(lái)預(yù)測(cè)分類的準(zhǔn)確性。但是這就有個(gè)問(wèn)題，即我們需要實(shí)現(xiàn)確定好特征，每一個(gè)特征即為一個(gè)維度，特征數(shù)目過(guò)少，我們可能無(wú)法精確的分類出來(lái)，即我們所說(shuō)的欠擬合，如果特征數(shù)目過(guò)多，可能會(huì)導(dǎo)致我們?cè)诜诸愡^(guò)程中過(guò)于注重某個(gè)特征導(dǎo)致分類錯(cuò)誤，即過(guò)擬合。

舉個(gè)簡(jiǎn)單的例子，現(xiàn)在有一堆數(shù)據(jù)集，讓我們分類出西瓜和冬瓜，如果只有兩個(gè)特征：形狀和顏色，可能沒(méi)法分區(qū)來(lái)；如果特征的維度有：形狀、顏色、瓜瓤顏色、瓜皮的花紋等等，可能很容易分類出來(lái)；如果我們的特征是：形狀、顏色、瓜瓤顏色、瓜皮花紋、瓜蒂、瓜籽的數(shù)量，瓜籽的顏色、瓜籽的大小、瓜籽的分布情況、瓜籽的XXX等等，很有可能會(huì)過(guò)擬合，譬如有的冬瓜的瓜籽數(shù)量和西瓜的類似，模型訓(xùn)練后這類特征的權(quán)重較高，就很容易分錯(cuò)。這就導(dǎo)致我們?cè)谔卣鞴こ躺闲枰ê芏鄷r(shí)間和精力，才能使模型訓(xùn)練得到一個(gè)好的效果。然而神經(jīng)網(wǎng)絡(luò)的出現(xiàn)使我們不需要做大量的特征工程，譬如提前設(shè)計(jì)好特征的內(nèi)容或者說(shuō)特征的數(shù)量等等，我們可以直接把數(shù)據(jù)灌進(jìn)去，讓它自己訓(xùn)練，自我“修正”，即可得到一個(gè)較好的效果。

數(shù)據(jù)格式的簡(jiǎn)易性

在一個(gè)傳統(tǒng)的機(jī)器學(xué)習(xí)分類問(wèn)題中，我們“灌”進(jìn)去的數(shù)據(jù)是不能直接灌進(jìn)去的，需要對(duì)數(shù)據(jù)進(jìn)行一些處理，譬如量綱的歸一化，格式的轉(zhuǎn)化等等，不過(guò)在神經(jīng)網(wǎng)絡(luò)里我們不需要額外的對(duì)數(shù)據(jù)做過(guò)多的處理，具體原因可以看后面的詳細(xì)推導(dǎo)。

參數(shù)數(shù)目的少量性

在面對(duì)一個(gè)分類問(wèn)題時(shí)，如果用SVM來(lái)做，我們需要調(diào)整的參數(shù)需要調(diào)整核函數(shù)，懲罰因子，松弛變量等等，不同的參數(shù)組合對(duì)于模型的效果也不一樣，想要迅速而又準(zhǔn)確的調(diào)到最適合模型的參數(shù)需要對(duì)背后理論知識(shí)的深入了解(當(dāng)然，如果你說(shuō)全部都試一遍也是可以的，但是花的時(shí)間可能會(huì)更多),對(duì)于一個(gè)基本的三層神經(jīng)網(wǎng)絡(luò)來(lái)說(shuō)(輸入-隱含-輸出)，我們只需要初始化時(shí)給每一個(gè)神經(jīng)元上隨機(jī)的賦予一個(gè)權(quán)重w和偏置項(xiàng)b，在訓(xùn)練過(guò)程中，這兩個(gè)參數(shù)會(huì)不斷的修正，調(diào)整到最優(yōu)質(zhì)，使模型的誤差最小。所以從這個(gè)角度來(lái)看，我們對(duì)于調(diào)參的背后理論知識(shí)并不需要過(guò)于精通(只不過(guò)做多了之后可能會(huì)有一些經(jīng)驗(yàn)，在初始值時(shí)賦予的值更科學(xué)，收斂的更快罷了)

有哪些應(yīng)用？

應(yīng)用非常廣，不過(guò)大家注意一點(diǎn)，我們現(xiàn)在所說(shuō)的神經(jīng)網(wǎng)絡(luò)，并不能稱之為深度學(xué)習(xí)，神經(jīng)網(wǎng)絡(luò)很早就出現(xiàn)了，只不過(guò)現(xiàn)在因?yàn)椴粩嗟募由盍司W(wǎng)絡(luò)層，復(fù)雜化了網(wǎng)絡(luò)結(jié)構(gòu)，才成為深度學(xué)習(xí)，并在圖像識(shí)別、圖像檢測(cè)、語(yǔ)音識(shí)別等等方面取得了不錯(cuò)的效果。

基本網(wǎng)絡(luò)結(jié)構(gòu)

一個(gè)神經(jīng)網(wǎng)絡(luò)最簡(jiǎn)單的結(jié)構(gòu)包括輸入層、隱含層和輸出層，每一層網(wǎng)絡(luò)有多個(gè)神經(jīng)元，上一層的神經(jīng)元通過(guò)激活函數(shù)映射到下一層神經(jīng)元，每個(gè)神經(jīng)元之間有相對(duì)應(yīng)的權(quán)值，輸出即為我們的分類類別。

詳細(xì)數(shù)學(xué)推導(dǎo)

去年中旬我參考吳恩達(dá)的UFLDL和mattmazur的博客寫了篇文章詳細(xì)講解了一個(gè)最簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)從前向傳播到反向傳播的直觀推導(dǎo)，大家可以先看看這篇文章--一文弄懂神經(jīng)網(wǎng)絡(luò)中的反向傳播法--BackPropagation。

優(yōu)缺點(diǎn)

前面說(shuō)了很多優(yōu)點(diǎn)，這里就不多說(shuō)了，簡(jiǎn)單說(shuō)說(shuō)缺點(diǎn)吧。我們?cè)囅胍幌氯绻由钗覀兊木W(wǎng)絡(luò)層，每一個(gè)網(wǎng)絡(luò)層增加神經(jīng)元的數(shù)量，那么參數(shù)的個(gè)數(shù)將是M*N（m為網(wǎng)絡(luò)層數(shù)，N為每層神經(jīng)元個(gè)數(shù)），所需的參數(shù)會(huì)非常多，參數(shù)一多，模型就復(fù)雜了，越是復(fù)雜的模型就越不好調(diào)參，也越容易過(guò)擬合。此外我們從神經(jīng)網(wǎng)絡(luò)的反向傳播的過(guò)程來(lái)看，梯度在反向傳播時(shí)，不斷的迭代會(huì)導(dǎo)致梯度越來(lái)越小，即梯度消失的情況，梯度一旦趨于0，那么權(quán)值就無(wú)法更新，這個(gè)神經(jīng)元相當(dāng)于是不起作用了，也就很難導(dǎo)致收斂。尤其是在圖像領(lǐng)域，用最基本的神經(jīng)網(wǎng)絡(luò)，是不太合適的。后面我們會(huì)詳細(xì)講講為啥不合適。

為什么要用卷積神經(jīng)網(wǎng)絡(luò)？

傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的劣勢(shì)

前面說(shuō)到在圖像領(lǐng)域，用傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)并不合適。我們知道，圖像是由一個(gè)個(gè)像素點(diǎn)構(gòu)成，每個(gè)像素點(diǎn)有三個(gè)通道，分別代表RGB顏色，那么，如果一個(gè)圖像的尺寸是（28，28，1），即代表這個(gè)圖像的是一個(gè)長(zhǎng)寬均為28，channel為1的圖像（channel也叫depth,此處1代表灰色圖像）。如果使用全連接的網(wǎng)絡(luò)結(jié)構(gòu)，即，網(wǎng)絡(luò)中的神經(jīng)與與相鄰層上的每個(gè)神經(jīng)元均連接，那就意味著我們的網(wǎng)絡(luò)有28 * 28 =784個(gè)神經(jīng)元，hidden層采用了15個(gè)神經(jīng)元，那么簡(jiǎn)單計(jì)算一下，我們需要的參數(shù)個(gè)數(shù)(w和b)就有：784*15*10+15+10=117625個(gè)，這個(gè)參數(shù)太多了，隨便進(jìn)行一次反向傳播計(jì)算量都是巨大的，從計(jì)算資源和調(diào)參的角度都不建議用傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)。(評(píng)論中有同學(xué)對(duì)這個(gè)參數(shù)計(jì)算不太理解，我簡(jiǎn)單說(shuō)一下：圖片是由像素點(diǎn)組成的，用矩陣表示的，28*28的矩陣，肯定是沒(méi)法直接放到神經(jīng)元里的，我們得把它“拍平”，變成一個(gè)28*28=784 的一列向量，這一列向量和隱含層的15個(gè)神經(jīng)元連接，就有784*15=11760個(gè)權(quán)重w，隱含層和最后的輸出層的10個(gè)神經(jīng)元連接，就有11760*10=117600個(gè)權(quán)重w，再加上隱含層的偏置項(xiàng)15個(gè)和輸出層的偏置項(xiàng)10個(gè)，就是：117625個(gè)參數(shù)了)

圖1 三層神經(jīng)網(wǎng)絡(luò)識(shí)別手寫數(shù)字

卷積神經(jīng)網(wǎng)絡(luò)是什么？

三個(gè)基本層

 卷積層（Convolutional Layer）

上文提到我們用傳統(tǒng)的三層神經(jīng)網(wǎng)絡(luò)需要大量的參數(shù)，原因在于每個(gè)神經(jīng)元都和相鄰層的神經(jīng)元相連接，但是思考一下，這種連接方式是必須的嗎？全連接層的方式對(duì)于圖像數(shù)據(jù)來(lái)說(shuō)似乎顯得不這么友好，因?yàn)閳D像本身具有“二維空間特征”，通俗點(diǎn)說(shuō)就是局部特性。譬如我們看一張貓的圖片，可能看到貓的眼鏡或者嘴巴就知道這是張貓片，而不需要說(shuō)每個(gè)部分都看完了才知道，啊，原來(lái)這個(gè)是貓啊。所以如果我們可以用某種方式對(duì)一張圖片的某個(gè)典型特征識(shí)別，那么這張圖片的類別也就知道了。這個(gè)時(shí)候就產(chǎn)生了卷積的概念。舉個(gè)例子，現(xiàn)在有一個(gè)4*4的圖像，我們?cè)O(shè)計(jì)兩個(gè)卷積核，看看運(yùn)用卷積核后圖片會(huì)變成什么樣。