自動追蹤生物運動的 AI 工具：超清晰的“動物世界”，科學家樂瘋了

在一個影片片段中，一隻齧齒目動物伸出一隻爪子抓住了一小塊食物，你會看到它的指關節位置處都自動閃現出彩色的小圓點。而在另一片段中，一匹賽馬正沿著賽道急速馳騁，彩色小圓點在不斷地跟隨它的動作閃爍，追蹤其身體各部位的位置。在第三個影片片段中，兩位人類舞者正圍繞著彼此做轉圈的動作，他們肢體的動作時而流暢，時而停頓，而同樣的這些彩色小點卻不間斷地跟隨著他們的肢體移動。

這些片段來自於一種可以自動追蹤並標記移動生物身體部位的工具—DeepLabCut 的展示影片之中。這一工具是在今年由一對神經科學家夫婦 Mackenzie Mathis 和 Alexander Mathis 共同研發而出，以其簡單、易操作性而見長。任何研究人員都可以從網路上下載任何影片，並在幾十幀素材對其中特定的身體部位進行數字標記。然後，這一工具就會自動學習如何在影片的其餘部分挑選出相同或者類似的功能。並且，這一工具適用於不同的物種，既可以用於蒼蠅和老鼠這些實驗室的“常客”，也適用於一些更不尋常的動物物種，接下來就是這樣的一個例子。

一部拍攝於哥斯大黎加的影片展示了一種被稱為地衣螽斯的昆蟲，這種昆蟲的外觀形態可以與它的生存環境-白色地衣完美的融為一體，透過這種方式來偽裝自己。但是，DeepLabCut 卻能夠透過地衣螽斯的偽裝形態，成功地對它的腳、關節和觸角進行標記。來自哈佛大學神經科學研究團隊 Murthy Lab 的領頭人 Venkatesh Murthy（也是 Mathis 夫婦的同時）說道：“我認為這種方法將徹底改變行為科學，包括神經科學和心理學。”

行為科學領域的許多研究都取決於能否理解人類和動物的行為，而這往往是透過解析錄製下來的動作來進行。例如，來自法國國家科學研究中心的 James Bonaiuto 就對持有工具的人的肢體運動是如何與他們大腦中的神經活動模式相關聯這一問題進行了研究。他表示：“許多研究都需要一批研究生的配合來進行，因為需要他們一幀一幀、煞費苦心地去編碼行為影片。”而 DeepLabCut 能夠讓這項原本繁重的工作自動化進行，因而此類的研究也可以更加快速、更加準確的推進。

來自哥倫比亞大學 Zuckerman 大腦行為研究機構的研究人員 Andres Bendesky 正在使用這一演算法來研究鬥魚的戰鬥行為，他補充道：“我用過很多商業和學術影片追蹤軟體，甚至自己也編寫過一款，DeepLabCut 相比它們來說好了不是一點半點。很長一段時間以來，人們一直都需要這樣一款軟體，我希望至少在一段時間之內它能成為該領域的標準。”

來自以色列本·古裡安大學（Ben Gurion University of the Negev）的神經科學家 Ilana Nisky 博士正在使用 DeepLabCut 來分析外科醫生如何使用他們的手術針這一問題，以更好地程式設計可以協助手術的機器人。她說道：“DeepLabCut 效果非常好，即便在試驗過程中面向攝像頭的一側位置發生變化，它也可以幫助我們很好地追蹤手術針的針頭以及針尾部位。”

DeepLabCut 的出現非常必要。當時 Alexander Mathis 正試圖透過觀察老鼠對氣味痕跡的追蹤行為來探索嗅覺方面的神經科學。要做到這一點，他需要有一種簡單的方法可以在影片中對老鼠的鼻頭這一位置進行標記。但據他表示：“神經科學家所用過的那些經典方法在這裡都以失敗告終。”例如，研究人員經常會在需要觀察的身體部位上點塗或粘上反光點，但是對於像老鼠鼻子這種又小、又敏感的部位來說，這種方法顯然不可行。Alexander 說道：“多年來，我們嘗試了多款商業軟體，也嘗試了很多其他的解決方案，但都行不通。於是我們決定從當下的實驗中暫時後退一步，用一年的時間來嘗試解決這一問題。”

從本質上來看，DeepLabCut 其實是 DeeperCut 的修改版本，DeeperCut 是由其他研究人員建立的一個神經網路，用於檢測和標記影片中的人體姿態。這種神經網路在這方面非常擅長，但是前提是你必須先向它們展示成千上萬幀的手工標記素材來訓練它們。並且，如果你想讓它們對有著不同運動方式的不同物種進行標記，那你需要重新對它們進行訓練。

Mathises 夫婦首先在一個龐大的線上影象資料庫—ImageNet 上對他們的網路進行前期培訓，從而解決了這一繁瑣的操作步驟。這一步也有效地教會了神經網路如何去看待這個世界，併為其提供了一個基礎視覺系統。這樣一來，這一神經網路就能知道怎樣區分草莓與飛機或者是貓與狗。

在這之後，再教會網路去識別一些例如老鼠的爪子、鬥魚的鰭或者是螽斯的腿這樣更為具體的東西也就更為容易了，不需要再手動去對上千上萬幀素材進行標記，只要幾百幀甚至幾十幀就能達到培訓效果。Mackenzie 說道：“這就像是我們對它說，‘你可以看到這個世界，現在我們希望你能找到這些身體部位，我們會先給你幾幀素材。’結果是它真的可以做到。”

將多功能性與可靠性兩點整合到一起，這可以說是非常獨特的成果。在過去的研究中，來自哥倫比亞大學的 Avner Wallach 曾依靠一種複雜的演算法，這種演算法專門用於追蹤單隻齧齒動物鬍鬚的位置，除此之外別無它用。儘管如此，其中仍然出現了很多的錯誤，幾名學生不得不定期對追蹤結果進行核查。Wallach 現在正在使用 DeepLabCut 來追蹤彼氏錐頜象鼻魚（分佈於非洲尼日及剛果河流域，透過自身發出的微弱電流來感知周圍的環境）的運動，他說道：“這樣一種多功能並且具有普適性的演算法絕對可以為世界各地的實驗場所省去大量的工作。”

現在世界各地的研究人員都可以免費使用 DeepLabCut，並且他們也都在充分利用這一工具，其中有許多是透過 Mathises 夫婦二人都無法預料的方式。Alexander 補充道：“有一家公司聯絡了我們，他們想要利用這一工具來預測某一匹馬是否能夠成為一匹優秀的賽馬。”

Mackenzie 說道：“我還收到過許多陌生人的電子郵件，有在實驗中用 DeepLabCut 工具來追蹤影片中靈長類動作的自由行動軌跡的，也有在狩獵過程中用來追蹤斑馬的，還有人用它研究像章魚和電鰻等複雜的生物或者是用來研發手術機器人等等。體育界人士對用它來追蹤棒球遠動員的投球表現非常感興趣。或者你也可以拿上你的 iPhone 手機，拍攝孩子玩耍的影片，回家之後用 DeepLabCut 分析他們的一舉一動。”

原文連結：https：//www。theatlantic。com/science/archive/2018/07/deeplabcut-tracking-animal-movements/564338/

編譯組出品。編輯：郝鵬程