AI 大模型最新突破：幫科學家讀論文，小菜一碟

科研者的福音。

作者 | 施方圓

編輯 | 陳彩嫻

自人類邁入資訊時代開始，資訊資源總量越來越多，資訊過載的現象非常嚴重。

英國學者帶姆·喬丹曾說：“擁有太多資訊使資訊的利用變得不可能。” 美國工程師 Vannever Bush 也觀察到資訊過載的情況，在上個世紀就提出透過計算機來解決日益龐大的資訊量問題。

Meta AI 新近推出的語言大模型 Galactica，正是在這樣的背景下誕生。

由於語言模型可以潛在地儲存、組織和推理科學知識，所以語言模型可以作為一種工具幫人類處理大量的資訊。例如，語言模型可以在一個文獻訓練中發現不同研究中潛在的聯絡，並讓這些見解浮出水面。Galactica 透過自動生成二次內容來整合知識，將論文與程式碼連線起來，為科學研究提供動力。

目前，Meta AI 已開放了 Galactica 所有模型的原始碼。

論文地址：https：//galactica。org/static/paper。pdf

github地址：https：//github。com/paperswithcode/galai

1

精心設計的語料庫

近年來，大型語言模型在 NLP 任務上取得了突破性的進展。這些模型在大型通用語料庫上進行自我監督訓練，並在數百個任務中表現良好。

但自監督的一個缺點是

傾向使用未經整理的資料

，模型可能反映語料庫中的錯誤資訊、刻板印象和偏見等。對於重視真理的科學任務來說，這是不可取的，未經整理的資料也意味著會浪費更多算力預算。

Galactica 用一個大型科學語料庫訓練一個單一的神經網路，以學習不同的科學語言。Galactica 的語料庫包括了論文、參考資料、百科全書和其他學科資源的 1060 億個 token 組成，集合了自然語言來源，如論文、教科書和自然序列，如蛋白質序列和化學公式，能夠捕捉到 LATEX 並對其進行處理，同時還用學術程式碼捕捉計算科學。

與其他規模更大、未經策劃的大型語言模型專案相比，

Galactica 使用的資料集規模更小，而且是經過精心策劃的，

這很關鍵，即我們能否在一個經過策劃和規範的語料庫上製造一個好的大型語言模型。如果可以，我們就能透過設定語料庫的內容，更有目的性地設計出大型語言模型。

研發者們主要透過專業化標記來設計資料集，這會形成不同的模態，例如：蛋白質序列是根據氨基酸殘基來寫的。研發團隊還對不同模態進行了專門的標籤化。在處理好了資料集後，研發者們在 Galactic 的解碼器設定中使用了 Transformer 架構，並進行了以下修改：

GeLU 啟用——對所有模型的尺寸都使用了 GeLU 啟用；

上下文視窗——對所有的模型尺寸都使用了 2048 長度的上下文視窗；

無偏差——遵循 PaLM ，不在任何密集核或層規範中使用偏差；

學習的位置嵌入——對模型使用學習的位置嵌入，在較小的尺度上試驗了 ALi Bi ，但沒有觀察到大的收益，所以研發者們沒有使用它；

詞語——使用 BPE 構建了一個包含 50k 個標記組成的詞彙表，詞彙量是由隨機選擇的 2% 的訓練資料子集中產生的。

2

實驗效果

研發者們還對大型語言模型作為科學模式和自然語言之間的橋樑的潛力進行了初步調查，展示了 Galactica 可以透過自監督來學習 IUPAC 命名等任務。他們發現，增加連線自然語言和自然序列的資料及數量和大小可能進一步提高模型的效能。

研發者們認為語言模型有更多潛力承擔目前人類所擅長的事情。

而且為了考察 Galactica 吸收知識的情況，研發者們還建立了幾個知識探針的基準，並用於確定語料庫內的知識差距，並告知如何確定語料庫內的知識差距和迭代語料庫。

另外，Galactica 在推理方面表現十分出色，

在數學 MMLU 上的表現優於 Chinchilla 41。3% 至 35。7%，在 MATH 上的 PaLM 540B 得分分別為 20。4% 和 8。8%。

在經過四個 epoch 的訓練之後，最大的 120B 引數模型從第五個 epoch 才開始過度擬合。

儘管沒有接受過一般語料庫的訓練，但 Galactica 在 BIG-bench 上的表現優於 BLOOM 和 OPT-175B。根據評估，Galactica 的毒性也明顯低於其他語言模型。

3

Galactica 猶如自動駕駛

Meta AI 釋出 Galactica 後，在 AI 領域引起廣泛注意，並收穫了一眾好評。

Yann LeCun 評論：

Galactica 猶如自動駕駛

這個工具（ Galactica ）於論文寫作而言，就像

輔助

其他研究者則評論：

太神奇了！Galactica 甚至可以針對某個領域寫評論，推導 SVM ，告訴我什麼是線性迴歸演算法！只是生產內容的長度好像有限制？

真是太神奇了！我只是用這個來幫我寫“選擇性注意研究”評論——它看起來很不錯，也許下一步它就可以產生真正的想法！

50 多年來，人類獲取科學知識的主要方式一直是透過儲存和檢索，資訊的推理、組合、組織無法依靠機器，只能透過人的努力完成，這導致知識吞吐量存在瓶頸。在 Galactica 的實踐中，研發者們探討了語言模型可能如何破壞這種舊的形式，帶來人與知識的新介面。

從長遠來看，語言模型的上下文關聯能力可能會給搜尋引擎帶來顯著優勢。在 Galactica 的實踐中，研發者們還證明語言模型可以是一個精心策劃的知識庫，執行知識密集型的問答任務。

雷峰網