DeepMind用AI模擬足球比賽，精確控制球員的動作行為與目標導向

在一個午後約上三兩好友，在郊外的一片空曠地，切磋足球技藝，卸去了一週的緊張與疲憊。足球，已經成為我們日常生活中一項普遍的重要運動。

伴隨著人工智慧（Artificial Intelligence，AI）逐漸融入日常生活，用計算機模擬複雜的人類行為已經變得司空見慣，例如，將人工智慧應用於指紋識別、操控醫學機器人等，在為生活提供便利的同時也更高效的挽救了患者的生命。

▲圖｜相關論文（來源：Science Robotics）

最近， DeepMind獨闢蹊徑，將 AI 技術應用於模擬踢足球之中，並將研究論文發表於Science Robotics上，題目是《從動作控制到模擬足球比賽》（From motor control to team play in simulated humanoid football），其研究了在模擬足球場的環境下控制多智慧體自身的運動和長距離運動決策的整合方法，透過強化學習演算法構建出多時間、多空間、多主體下的 AI 足球比賽。

▲圖｜AI 球員訓練前（來源：Science Robotics）

▲圖｜AI 球員訓練 3 天后（來源：Science Robotics）

▲圖｜AI 球員 50 天后（來源：Science Robotics）

在模擬的足球比賽過程中，AI 球員從零基礎變身為一名合格的足球比賽運動員，需要 50 天的訓練時間。

培訓 AI 球員的方法是透過構建的虛擬智慧體約束 AI 球員做出敏捷的動作，包括：用演算法訓練單智慧體踢球、控制多智慧體進行虛擬比賽、提供額外的獎勵和實施行為塑造策略等。

這一系列的行為塑造過程能夠使系統為 AI 球員自動進行強化學習培訓，使球員提升自身的運動技能和團隊協作水平，進一步做出更高水平的踢球動作，從而增強足球比賽技能。

除此之外，演算法還透過群體模仿訓練，為每個智慧體動態劃分不同目標的優先順序，以此提升智慧體在群體中的排名等。

同時，學習演算法將單智慧體、多智慧體的深度感知學習與模仿學習相結合，還透過使用不斷變換的行為語句，使球員在不同層次上進行動作決策，在簡單的動作基礎上自動構建更復雜的行為。

一旦單人 AI 球員學會了踢足球，它們需要在學習演算法的控制下與一名球員進行比賽，在比賽中自動強化動作。隨著他們技能的不斷提升，更多的 AI 球員被新增進來參與訓練。

最後，專案組將讓小團隊互相比賽，比如，二對二、三對三。隨著 AI 球員對動作行為的構建越來越複雜，就會有更多球員加入進來，直到形成完整的球員數量補充，更接近真實的足球比賽。

▲圖｜強化學習演算法框架（來源：Science Robotics）

足球比賽之中用到的 AI 強化學習演算法主要由以下框架構成。首先，為了誘導 AI 球員產生最初的運動行為，專案組建立了人類動作行為片段的運動原始模組，能夠根據抽象的運動指令產生瞬時的仿人類運動，自動生成原始動作片段中不存在的動作序列。

然後，為了訓練 AI 球員進行長距離的運動（奔跑等），演算法利用在單次的足球訓練任務中預先訓練過的運動模型，訓練多智慧體進行中等水平的足球運動，由此產生的技能被表示為可重複使用的足球技能，可以進一步隨機產生與足球訓練相關的不同行為，將行為正規化。

最後，專案組還用注意力感知演算法模擬出 AI 球員增量訓練的全過程，將球員不斷轉移至球員數量更多的比賽中進一步訓練。

研究結果雖然證實了 AI 強化學習演算法在形成複雜運動動作方面的優勢，但是，在演算法的驅動下，為了使球員專注於動作的協調和控制訓練，虛擬的足球比賽將真實的足球比賽規則簡化，例如，沒有犯規、足球不出界、人數不足等。

因此，實現更接近於現實的 AI 足球比賽還有很長的一段路要走，包括：按照比賽規則更真實地模擬整個足球比賽全過程、透過精進學習演算法將更多 AI 球員加入到比賽之中參與訓練。

在多維空間及時間上實現硬體機器人的物理動作，一直都是人工智慧專家需要解決的問題。因此，運用強化學習演算法在硬體機器人上實現複雜的多空間、多維度、多尺度的智慧足球賽是亟待攻破的難題。

另外，在短時間與快節奏的驅使下，AI 球員還無法像真實球員一樣變換速度、維持體力、保持陣形等，這些更復雜的行為學習演算法都在等待專案組進一步攻破。

參考資料：

https：//www。science。org/doi/10。1126/scirobotics。abo0235

https：//techxplore。com/news/2022-09-ai-soccer。html