NeurIPS 2018最佳論文出爐：UT陳天琦、華為上榜

經歷了改名、搶票和論文評審等等風波的「預熱」，第 32 屆 NeurIPS 於當地時間 12 月 3 日在加拿大蒙特利爾正式開幕。機器之心有幸參與了「第一屆 NeurIPS」。

在大會第一天的 Opening Remarks 上，NeurIPS 2018 公佈了本屆大會的獲獎論文。來自多倫多大學的陳天琦、麥克馬斯特大學的 Hassan Ashtiani、谷歌 AI 的 Tyler Lu，以及華為諾亞方舟實驗室的 Kevin Scaman 等人成為了最佳論文獎的獲得者。

作為人工智慧的頂級會議，NeurIPS 究竟有多火？首先，讓我們看看參會人數的變化：2016 年有 5000 人註冊參加該會議，2017 年參會人數飆升至 8000，今年參會人數近 9000，且出現了 11 分鐘大會門票被搶光的盛況，僅次於 Beyonce 音樂會的售票速度。

在活動方面，今年新增了 Expo 環節，吸引了全球 32 家公司的參與。在 12 月 2 日的 Expo 中，這些公司共組織了 15 場 Talk&Pannel、17 場 Demonstration、10 場 workshop。此外，為期一週的整個大會包含 4 個 tutorial session、5 場 invited talk、39 場 workshop 等。

至於論文方面，NeurIPS 2018 共收到 4856 篇投稿，創歷史最高記錄，最終錄取了 1011 篇論文，其中 Spotlight 168 篇 （3。5%），oral 論文 30 篇 （0。6%）。

而這些論文涉及的主題包括演算法、深度學習、應用、強化學習與規劃等。大會程式委員聯合主席表示，這些提交論文中，69% 的論文作者表示將放出程式碼（結果只有 44%），42% 將公佈資料。

接收論文主題 Top 10

介紹完大會基本資訊，我們來看看今年的最佳論文：

4 篇最佳論文（Best paper awards）

論文：Neural Ordinary Differential Equations

作者：Ricky T。 Q。 Chen， Yulia Rubanova， Jesse Bettencourt， David Duvenaud（四人均來自多倫多大學向量研究所）

連結：https：//papers。nips。cc/paper/7892-neural-ordinary-differential-equations。pdf

摘要：本研究介紹了一種新的深度神經網路模型家族。我們並沒有規定一個離散的隱藏層序列，而是使用神經網路將隱藏狀態的導數引數化。然後使用黑箱微分方程求解器計算該網路的輸出。這些連續深度模型（continuous-depth model）的記憶體成本是固定的，它們根據輸入調整評估策略，並顯式地用數值精度來換取運算速度。我們展示了連續深度殘差網路和連續時間隱變數模型的特性。此外，我們還構建了連續的歸一化流，即一個可以使用最大似然訓練的生成模型，無需對資料維度進行分割或排序。至於訓練，我們展示瞭如何基於任意 ODE 求解器進行可擴充套件的反向傳播，無需訪問 ODE 求解器的內部操作。這使得在較大模型內也可以實現 ODE 的端到端訓練。

圖 1：左：殘差網路定義離散序列的有限變換。右：ODE 網路定義向量場，其連續變換狀態。兩張圖中的黑色圓圈表示評估位置（evaluation location）。

圖 4：歸一化流和連續歸一化流的對比。歸一化流的模型容量由深度（K）決定，而連續歸一化流可以透過增加寬度（M）來增加模型容量，這使其更加容易訓練。

圖 6：隱 ODE 模型的計算圖。

論文：Nearly tight sample complexity bounds for learning mixtures of Gaussians via sample compression schemes

作者：Hassan Ashtiani、Shai Ben-David 等（麥克馬斯特大學、滑鐵盧大學等）

連結：https：//papers。nips。cc/paper/7601-nearly-tight-sample-complexity-bounds-for-learning-mixtures-of-gaussians-via-sample-compression-schemes。pdf

本文作者證明了

樣本對於學習 R^d 中 k-高斯混合模型是必要及充分的，總變分距離的誤差為ε。這一研究改善了該問題的已知上限和下限。對於軸對齊高斯混合模型，本文表明

樣本是充分的，與已知的下限相匹配。其上限的證明基於一種基於樣本壓縮概念的分佈學習新技術。任何允許這種樣本壓縮方案的類別分佈也可以用很少的樣本來學習。此外，如果一類分佈有這樣的壓縮方案，那麼這些分佈的乘積和混合也是如此。本研究的核心結果是證明了 R^d 中的高斯類別具有有效的樣本壓縮。

論文：Non-delusional Q-learning and value-iteration

作者：Tyler Lu（Google AI）、Dale Schuurmans（Google AI）、Craig Boutilier（Google AI）

連結：https：//papers。nips。cc/paper/8200-non-delusional-q-learning-and-value-iteration。pdf

摘要：本研究發現了使用函式近似的 Q-learning 和其它形式的動態規劃中的一個基本誤差源。當近似架構限制了可表達貪婪策略的類別時，就會產生 delusional bias。由於標準 Q 更新對於可表達的策略類作出了全域性不協調的動作選擇，因此會導致不一致甚至衝突的 Q 值估計，進而導致高估/低估、不穩定、發散等病態行為。為了解決這個問題，作者引入了一種新的策略一致性概念，並定義了一個本地備份過程，該過程透過使用資訊集（這些資訊記錄了與備份 Q 值一致的策略約束）來確保全域性一致性。本文證明，基於模型和無模型的演算法都可以利用這種備份消除 delusional bias，併產生了第一批能夠保證一般情況下最佳結果的已知演算法。此外，這些演算法只需要多項式的資訊集（源於潛在的指數支援）。最後，作者建議了其它嘗試消除 delusional bias 的實用價值迭代和 Q-learning 的啟發式方法。

圖 1：一個簡單的 MDP，展示了 delusional bias。

圖 2：在一個具有隨機特徵表徵的網格世界中進行規劃及學習。圖中的「iterations」是指遍歷狀態-動作對，Q-learning 和 PCQL 除外。深色線：估計可達到的最大期望值。淺色線：貪婪策略所達到的實際期望值。

論文：Optimal Algorithms for Non-Smooth Distributed Optimization in Networks

作者：Kevin Scaman（華為諾亞方舟實驗室）、Francis Bach（PSL 研究大學）、Sébastien Bubeck（微軟研究院）、Yin Tat Lee（微軟研究院）、Laurent Massoulié（PSL 研究大學）

連結：https：//papers。nips。cc/paper/7539-optimal-algorithms-for-non-smooth-distributed-optimization-in-networks。pdf

摘要：本研究考慮使用計算單元網路對非光滑凸函式進行分散式最佳化。我們在兩種規則假設下研究該問題：1）全域性目標函式的利普希茨連續；2）區域性單個函式的利普希茨連續。在區域性假設下，我們得到了最優一階分散式演算法（decentralized algorithm）——多步原始對偶（multi-step primal-dual，MSPD）及其對應的最優收斂速率。該結果重要的方面在於，對於非光滑函式，儘管誤差的主要項在 O（1/ sqrt（t）） 中，但通訊網路（communication network）的結構僅影響 O（1/t） 中的二階項（t 是時間）。也就是說，通訊資源限制導致的誤差會以非常快的速度降低，即使是在非強凸目標函式中。在全域性假設下，我們得到了一個簡單但高效的演算法——分散式隨機平滑（distributed randomized smoothing，DRS）演算法，它基於目標函式的區域性平滑。研究證明 DRS 的最優收斂速率在 d^（1/4） 乘積因子內（d 是潛在維度）。

經典論文獎（Test of time award）

去年的經典論文頒給了核函式加速訓練方法，今年的經典論文也是一篇偏理論的研究論文，它們都是 2007 年的研究。

論文：The Tradeoffs of Large Scale Learning

作者：Leon Bottou（NEC laboratories of America）、Olivier Bousquet（谷歌）

連結：https：//papers。nips。cc/paper/3323-the-tradeoffs-of-large-scale-learning。pdf

該論文的貢獻在於開發了一個理論框架，其考慮了近似最佳化對學習演算法的影響。該分析展示了小規模學習和大規模學習的顯著權衡問題。小規模學習受到一般近似估計權衡的影響，而大規模學習問題通常要在質上進行不同的折中，且這種權衡涉及潛在最佳化演算法的計算複雜度，它基本上是不可求解的。

表 2：梯度下降演算法的漸進結果，倒數第二列為到達準確率的最佳化時間，最後一列為到達超過測試誤差率 epsilon 的最佳化時間。其中 d 為引數維度、n 為樣本數。

作為本次大會的受邀媒體，機器之心來到了蒙特利爾，參與了本次 NeruIPS 大會。未來幾天，我們還將發來最新現場報道，敬請期待。

機器之心NeurIPS 2018 論文報道系列：

NeurIPS 2018相關論文連結：

NeurIPS 2018提前看：生物學與學習演算法

NeurIPS 2018，最佳論文也許就藏在這30篇oral論文中

NeurIPS 2018 | 騰訊AI Lab&北大提出基於隨機路徑積分的差分估計子非凸最佳化

NeurIPS 2018亮點選讀：深度推理學習中的圖網路與關係表徵

NeurIPS 2018提前看：視覺化神經網路泛化能力

Google AI提出物體識別新方法：端到端發現同類物體最優3D關鍵點——NeurIPS 2018提前看

MIT等提出NS-VQA：結合深度學習與符號推理的視覺問答

畫個草圖生成2K高畫質影片，這份效果驚豔研究值得你跑一跑

下一個GAN？OpenAI提出可逆生成模型Glow

CMU、NYU與FAIR共同提出GLoMo：遷移學習新正規化

Quoc Le提出卷積網路專屬正則化方法DropBlock

Edward2。2，一種可以用TPU大規模訓練的機率程式設計

南大周志華等人提出無組織惡意攻擊檢測演算法UMA

MIT新研究參透批歸一化原理

程式翻譯新突破：UC伯克利提出樹到樹的程式翻譯神經網路

將RNN記憶體佔用縮小90%：多倫多大學提出可逆迴圈神經網路

哪種特徵分析法適合你的任務？Ian Goodfellow提出顯著性對映的可用性測試

行人重識別告別輔助姿勢資訊，商湯、中科大提出姿勢無關的特徵提取GAN

作為多目標最佳化的多工學習：尋找帕累托最優解

Dropout可能要換了，Hinton等研究者提出神似剪枝的Targeted Dropout

利用Capsule重構過程，Hinton等人實現對抗樣本的自動檢測