百年微分方程難題被解決！作者：可以模擬大腦動力學了 | MIT

Pine 蕭簫 發自 凹非寺

量子位 | 公眾號 QbitAI

困擾數學家百年的微分方程難題，被MIT解決了！

這個微分方程可以用來模擬

神經元間透過突觸的相互作用

方式，換言之就是大腦傳遞資訊的過程。現實生活中有諸多應用場景，比如自動駕駛、大腦和心臟的監測等。

然而，以前求解這個微分方程的過程比較複雜，計算量還會隨著資料的增加而暴增——

模擬幾個神經元之間的資訊傳遞還好。但如果像人腦一樣，有幾百億個神經元、幾百萬億個突觸呢？

現在，研究人員終於找到了這個微分方程的

近似解析解

，一下子將計算速度提升了好幾倍。

要知道，論文第一作者表示，從1907年以來，就一直沒有人能找到這個微分方程的解析解。

牽一髮而動全身，論文第一作者還放話稱：

由

數十億

個神經元和

數萬億

個突觸組成的大腦動力學，我們現在也可以模擬了！

還有網友表示：

這將會改善神經網路對大規模資料計算的適應能力。點個贊！

相關論文已發表在最新一期的Nature MI上，立刻引發了不少關注：

到底是什麼樣的一個數學難題，能夠讓網友產生這樣大的反應，一起來看看~

解決了一個什麼樣的難題？

這次MIT的突破，在於找到了兩個神經元之間透過突觸相互作用微分方程的

近似解析解

。

突觸，即一個神經元的衝動傳到另一個神經元或另一細胞間的相互接觸的結構。兩個神經元之間神經衝動，則是由突觸前末梢，傳遞給突觸後神經元的。

要模擬神經元間透過突觸相互作用的過程，就需要模擬傳導的動作電位。

MIT研究人員先是用去年做出來的

“液體”神經網路

（Liquid Time-constant Networks，簡稱LTC）

模擬了這一現象。

如下圖，x（t）就是研究希望求解的突觸後神經元電位，但之前它需要透過直接求解微分方程來計算，也就是圖中左邊的一大堆方程：

BUT，他們很快發現，LTC神經網路模型雖然模擬得好，但常微分方程

（ODE）

計算還是不夠快，通常需要結合ODE求解器來搞定。

即透過左邊的一堆公式，雖然在給定時間t的情況下也能算出x（t）來，但它不僅算得慢，而且誤差還會隨著求解過程中的迭代計算一步步被放大。

但如果能求出x（t）的解析解，也就是求出等式右邊不包含x（t）這個變數的公式，那麼計算效率就能得到成倍的提升。

然而，求解這個常微分方程dv/dt=−glv（t）+S（t）的方法，從1907年提出以來還沒有人求出過它的解析解。

在透過一番計算後，研究人員終於得出了這個微分方程的近似解析解，能很好地近似出x（t）的數值：

最關鍵的是解析解能“一步到位”地求出結果，研究人員表示這比正常求微分方程模型快上1~5倍。

依靠這個新的近似解析解，研究人員提出了一種名叫

CfC

（closed-form continuous-depth networks，閉式連續深度神經網路）

的模型，進一步提升了計算效率、降低了微分方程求解帶來的近似誤差

（approximation error）

。

求解出來與原微分方程的相似度也極高：

所以CfC的提出，究竟解決了什麼問題？

作者：下一步建立大腦計算模型

提到CfC的作用，還得先說回它的基礎，也就是MIT去年建立的“液體”神經網路

（LTC）

。

△圖源：MIT

當時“液體”神經網路的提出，是用於簡化如影片處理、金融資料和醫療診斷這類與連續時間強相關的問題計算。

這類問題往往與時間的相關度很高

（如股票、影片等變數會不停地隨著時間產生變化）

，這也導致它們的變化情況難以預測，往往需要求解非常複雜的偏微分方程。

“液體”神經網路就是為了解決這一點出現的，確實也提升了這類場景的計算效率。

然而，建立“液體”神經網路的靈感雖然來自小物種的大腦，具有很強的靈活性和適應能力，不過計算量仍然不算低——

一旦增加神經元和突觸的數量，計算機可能就因為資料計算量過大“撐不住”了。

這不，今年MIT就帶著CfC神經網路來了！

與“Liquid”神經網路相比，CfC可謂去粗取精，它既保留了“Liquid”網路的靈活、因果、穩定和可解釋性，同時數量級更快、可擴充套件性更高。

換句話說，就是CfC

更快更強

了，而這也意味著它能夠適用於更多工。

論文中的測試結果顯示，CfC在一系列任務中表現都要優於SOTA神經網路。

比如說在一項醫學預測任務中，對8000名患者進行抽樣調查，新模型的速度要比連續潛伏模型快220倍。

其中，CfC在

從運動感測器識別人類活動

、

建立模擬步行機器人的物理動力學模型

以及

基於事件的連續影象處理方面

具有相當高的加速度和效能。

而這對應到現實的實際應用，就是

無人駕駛

、

無人機導航

或者

各類預測任務

。

值得一提的是，據MIT訊息，此前也已有證據證明，CfC神經網路能夠在沒有額外學習的情況下將所學技能遷移到一個全新的環境中，這恰恰是人工智慧研究最基本的挑戰之一。

（沒錯，CfC也是不容小覷的）

這一步研究團隊解決了神經元之間如何相互作用的描述，那下一步準備幹啥？他們立了個flag：

希望透過測量數百萬個神經元連線，建立

大腦動力學模型

。

論文的第一作者，同時也是MIT CSAIL研究所附屬機構的Ramin Hasani也表示：

一旦我們對神經元和突觸的聯絡有了一個解析解描述，我們就可以用數十億個細胞建立大腦的計算模型了。

據神經學家估計，人腦神經元數量在1000億個左右，不知道團隊是否會挑戰“

模擬人類大腦

”這一難題

（手動狗頭）

。

目前CfC模型已經開源，想要拿它用來模擬一些問題計算的小夥伴，可以去看看了~

CfC專案地址：

https：//github。com/raminmh/CfC

論文地址：

https：//www。nature。com/articles/s42256-022-00556-7

— 完 —

量子位 QbitAI · 頭條號簽約