在我們機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的訓(xùn)練過程中，經(jīng)常會出現(xiàn)過擬合和欠擬合的現(xiàn)象。訓(xùn)練一開始，模型通常會欠擬合，所以會對模型進(jìn)行優(yōu)化，然而等到訓(xùn)練到一定程度的時候，就需要解決過擬合的問題了。

如何判斷過擬合呢？我們在訓(xùn)練過程中會定義訓(xùn)練誤差，驗(yàn)證集誤差，測試集誤差（泛化誤差）。訓(xùn)練誤差總是減少的，而泛化誤差一開始會減少，但到一定程序后不減反而增加，這時候便出現(xiàn)了過擬合的現(xiàn)象。

如下圖所示，從直觀上理解，欠擬合就是還沒有學(xué)習(xí)到數(shù)據(jù)的特征，還有待繼續(xù)學(xué)習(xí)，而過擬合則是學(xué)習(xí)進(jìn)行的太徹底，以至于把數(shù)據(jù)的一些局部特征或者噪聲帶來的特征都給學(xué)到了，所以在進(jìn)行測試的時候泛化誤差也不佳。

如何處理欠擬合

欠擬合是由于學(xué)習(xí)不足，可以考慮添加特征，從數(shù)據(jù)中挖掘出更多的特征，有時候還需要對特征進(jìn)行變換，使用組合特征和高次特征。

模型簡單也會導(dǎo)致欠擬合，例如線性模型只能擬合一次函數(shù)的數(shù)據(jù)。嘗試使用更高級的模型有助于解決欠擬合，如使用SVM，神經(jīng)網(wǎng)絡(luò)等。

正則化參數(shù)是用來防止過擬合的，出現(xiàn)欠擬合的情況就要考慮減少正則化參數(shù)。

如何處理過擬合

過擬合是由于學(xué)習(xí)的太徹底，這可能是由于訓(xùn)練數(shù)據(jù)量太少的緣故。可以增大數(shù)據(jù)的訓(xùn)練量，訓(xùn)練數(shù)據(jù)要足夠大才能使得數(shù)據(jù)中的特征被模型學(xué)習(xí)到。還需要清洗數(shù)據(jù)，盡量減少數(shù)據(jù)中的噪聲，以防止這些噪聲被模型學(xué)習(xí)到。

正則化方法也常用來處理過擬合，正則化包括L1正則化和L2正則化，正則項通常是一個范數(shù)。L1范數(shù)是指向量中各個元素絕對值之和，也叫“稀疏規(guī)則算子”，通?？梢杂脕碜鎏卣鬟x擇，在嵌入式特征選擇使用的就是L1范數(shù)。L2范數(shù)是指向量各元素的平方和然后求平方根，通常的結(jié)果會使權(quán)重參數(shù)變小，使得模型的復(fù)雜度變低，符合奧卡姆剃刀原則，以防止過擬合。

在神經(jīng)網(wǎng)絡(luò)中經(jīng)常使用Dropout方法，或者稱之為隨機(jī)失活，每次訓(xùn)練的時候隨機(jī)去掉一部分隱藏層的神經(jīng)元，可以理解為每個神經(jīng)元隨機(jī)參與，相當(dāng)于多個模型集成。

提前終止（early stoppping）也是神經(jīng)網(wǎng)絡(luò)常使用的方法，可以防止模型復(fù)雜度過于增加，從而防止過擬合。采用交叉驗(yàn)證提前終止，當(dāng)交叉驗(yàn)證錯誤率最小時認(rèn)為泛化性能最好，這時即使訓(xùn)練集錯誤率仍然下降，也終止訓(xùn)練。

逐層歸一化（batch normalization），給每層的輸出做歸一化（相當(dāng)于加了一個線性變換層），這樣使得下一層的輸入相當(dāng)于高斯分布（正態(tài)分布），這個方法相當(dāng)于下一層的權(quán)重參數(shù)訓(xùn)練時避免了其輸入以偏概全, 因而泛化效果也比較好。

不過，數(shù)據(jù)在訓(xùn)練過程中始終是最重要的，有時候往往擁有更多的數(shù)據(jù)勝過一個好的模型，這要求得到更多獨(dú)立同分布的數(shù)據(jù)來進(jìn)行訓(xùn)練。

--------------------- 

原文：https://blog.csdn.net/Liziwepdl/article/details/85019999