科技前瞻

一天訓練 180 年遊戲量,人工智慧 Dota 2 團體戰擊敗人類

近日,伊隆·馬斯克(Elon Musk)成立的人工智慧公司 OpenAI 宣布最新的里程碑。人工智慧在熱門電玩遊戲 Dota 2 的 5 對 5 團體戰中,擊敗排名前 1% 的頂尖業餘玩家。

用 AI 解決複雜的現實問題

OpenAI 去年 8 月首度將 AI 投入 Dota 2 競賽,並在 1 對 1 對戰中擊敗專業玩家。不過 1 對 1 的遊戲類型技術難度較低,並未考驗到 AI 之間的協調及計劃能力,所以 OpenAI 一直以來的目標都是在 5 對 5 團體戰中戰勝人類玩家。

而最近,經過將近一年的研究及測試後,人工智慧成功在 5 對 5 團體戰中戰勝排名前 1% 的頂尖業餘玩家。雖然 OpenAI 尚未挑戰該遊戲的專業玩家,但 OpenAI 宣布將會於今年 8 月舉行的 Dota 2 國際邀請賽(The International)中挑戰專業玩家。

用電玩遊戲訓練 AI 的動機很簡單,如果能訓練 AI 學習電玩遊戲中所需的技能,就能利用 AI 來解決更複雜的現實問題,例如管理城市的交通基礎建設。

電玩遊戲與西洋棋或圍棋這類棋類遊戲的不同,在於 AI 無法全盤分析整個遊戲,並計算出下一步最佳行動,必須習慣遊戲的不確定性。而且,電玩遊戲與棋類遊戲相比,有更多訊息需要處理,以及有大量可能的動作。進行遊戲時,AI 必須在 1 千個不同的操作之間做選擇,同時處理代表遊戲過程的 2 萬個數據點。

[related-post url=”https://tomorrowsci.com/technology/%E7%B9%BC%E5%9C%8D%E6%A3%8B%E4%B9%8B%E5%BE%8C-%E4%BA%BA%E5%B7%A5%E6%99%BA%E6%85%A7-%E9%9B%BB%E7%AB%B6%E8%B3%BD%E6%93%8A%E6%95%97%E9%A0%82%E7%B4%9A%E8%81%B7%E6%A5%AD%E7%8E%A9%E5%AE%B6/”]

一天訓練 180 年的遊戲量

OpenAI 使用一種稱為強化學習(reinforcement learning)的方法來訓練 AI,這種技術看似簡單,卻能讓 AI 學習複雜的行為。工程師在遊戲中設置獎勵功能(AI 在殺死敵人等事件之後,能獲得獎勵點數),然後讓 AI 不斷在遊戲中用試誤法自我學習。

AI 以加速度的方式一天訓練 180 年的遊戲量,並訓練幾個月的時間,自我學習的效率非常驚人。洛克曼表示:「剛開始是完全隨機的,在地圖上遊蕩。然後,經過幾個小時,AI 開始掌握基本技能。」洛克曼還表示,如果需要 12,000 到 20,000 小時的時間學習才能成為專家,那麼 OpenAI 的 AI 每天累積的遊戲經驗是人類一生經驗的 100 倍。

這種 AI 的訓練方式,證明了當代機器學習方法,以及最新電腦晶片能處理大量數據的強大功能。另一方面,這提醒人們 AI 並不夠聰明。這種訓練方式,等於 AI 需要花費數千年的時間才能學會玩電玩遊戲。

AI 玩家的優勢

雖然 OpenAI 的 AI 已進行 5 對 5 團體戰,卻仍未觸及 Dota 2 真正的複雜度。AI 只使用 5 位英雄,而 Dota 2 共有 115 位英雄 ,每位英雄都有獨特的屬性和技能。AI 在遊戲過程中的某些決策甚至是程式寫死的,例如從商店購買的物品,以及在遊戲中使用經驗值升級的技能。此外,遊戲的某些特殊功能被完全禁用,包括隱身、召喚單位和守衛放置,這些功能對進階玩家非常重要。

不過,OpenAI 的 AI 擁有電腦的所有優勢,不但反應時間比人類快,不會失誤,還可以即時又準確的查詢物品庫存、英雄健康狀況,以及地圖上物體之間的距離等數據,這對正確使用某項技能來說非常重要。而人類玩家必須手動查詢,或者憑本能判斷。

[related-post url=”https://tomorrowsci.com/technology/google-deepmind-%E4%BA%BA%E5%B7%A5%E6%99%BA%E6%85%A7%E6%8C%91%E6%88%B0%E6%98%9F%E6%B5%B7%E7%88%AD%E9%9C%B8/”]

用規模克服挑戰

OpenAI 共同創辦人兼技術長格雷戈·洛克曼(Greg Brockman)表示:「如果你對一個問題進行模擬,而且能運行足夠大的規模,那麼執行上就不會有任何障礙。」

洛克曼表示,AI 玩家平均能持續進行遊戲 45 分鐘,這種長時間計畫對 AI 是一種挑戰,甚至很難經由強化學習來訓練,但 OpenAI 卻做到了。洛克曼表示 OpenAI 成功的主要因素,只是因為他們有更多運算能力來解決這個問題,而這確實與規模有關。

注重團隊目標

巴斯大學(University of Bath)人工智慧研究員特奧多羅(Andreas Theodorou)表示,5 對 5 遊戲的最新研究有了一大進展,最重要的成就就是 OpenAI 使用互動式視覺化介面為 AI 除錯。特奧多羅補充:「這項技術顯示,即使是強化學習和機器學習系統也能視覺化操作。這些附加元件增加了系統的價值,特別是教育目的。」

特奧多羅還表示,研究人員使用單獨獎勵功能來鼓勵 AI 玩家一起工作,也是值得注意的。這些獎勵功能被視為團隊精神,並在每場比賽的過程中都會增加。雖然比賽開始時,每個 AI 玩家都追求拼命殺敵等個人目標,但隨著時間進展,AI 玩家更關注於團隊共同的目標。

洛克曼表示,與人類玩家不同,這些 AI 玩家絕對是無私的。他表示:「AI 玩家完全願意為了更大的利益,而犧牲一條路或捨棄一位英雄。為了滿足好奇心測試,我們找了一個人替補其中一個 AI 玩家,而他說自己感受到充分的支持,他想要的任何物品,AI 玩家都會提供給他。」

OpenAI的 AI 團隊目前已經與業餘和半職業團隊進行了五場多人比賽,成績為四勝一和。但他們最大的挑戰將是今年的 Dota 2 國際邀請賽。電腦在比賽中能完勝人類頂級玩家嗎?請拭目以待。

 

參考資料:

  1. James Vincent (June 2018). AI bots trained for 180 years a day to beat humans at Dota 2. The Verge