反饋神經網路

反饋使得網路具有了非常複雜的動態特性。複雜性、動態性、非線性既使得反饋神經網路蘊涵了巨大的潛能。

反饋就是把輸出訊號又引入到輸入，作為輸入資料的一部分或者全部。這樣，網路就表現出在時間上迭代或者迴圈的行為。

Hopfield首先提出用“能量函式”（Lyapunov函式）來定義網路狀態，考察網路的穩定性，用能量極小化過程來刻畫網路的遷移過程，並由此給出了保證網路穩定性的條件。如果在網路的演化過程中，網路的能量越來越低，即網路能量的增量是負值，那麼網路的能量就會越來越小，直到穩定到一個平衡狀態為止。此時，網路能量具有極小值，網路輸出穩定；而不是出現迴圈、發散、混沌等輸出狀況。

典型的Hopfield網路只有一層神經元，每個神經元的輸出都與其他神經元的輸入相連，但是不給自己反饋，如圖7。25所示。Hopfield網路中神經元之間的權值一般是對稱的。對稱的權矩陣是保證Hopfield網路穩定的充分條件。即權值對稱時，Hopfield網路一定能夠收斂到一個穩定值。如果權值不對稱（Tij≠Tji），則Hopfield網路可能會不穩定，無法收斂。

RNN的輸出能夠體現出過去資料對當前的影響。所以，使用RNN能夠在序列資料上學習出相隔一定時間跨度上兩個輸入資料之間的聯絡。這一點是RNN的獨特之處，CNN做不到。CNN善於發現當前輸入資料內部的特徵聯絡，但是無法發現不同時刻輸入的資料的聯絡。所以，RNN成為學習序列資料跨時間模式的首選武器，也成為自然語言處理中首選的深度學習模型。

在反向計算時，不但要把誤差逐層向前傳遞，用以調整每層權值（即U和V兩個權矩陣），還要把誤差傳遞到反饋層中，用以調整反饋層權值（W權矩陣）。其中，V權矩陣的調整公式與BP演算法一模一樣，即按照輸出層權矩陣方式調整。

在理論上，基本RNN可以保持長時間間隔狀態之間的聯絡。但是當時間間隔過大時，梯度已經非常小，在連線權上能留下的資訊非常小，可以忽略。實際上基本RNN只能學習到短期時間內不同資料之間的聯絡。也就是說，基本RNN會記住最近幾個輸入資料的資訊，但是更早輸入資料的資訊事實上已經被覆蓋，遺忘了。