一天訓練 180 年遊戲量，人工智慧 Dota 2 團體戰擊敗人類
近日，伊隆·馬斯克（Elon Musk）成立的人工智慧公司 OpenAI 宣布最新的里程碑。人工智慧在熱門電玩遊戲 Dota 2 的 5 對 5 團體戰中，擊敗排名前 1% 的頂尖業餘玩家。
用 AI 解決複雜的現實問題
OpenAI 去年 8 月首度將 AI 投入 Dota 2 競賽，並在 1 對 1 對戰中擊敗專業玩家。不過 1 對 1 的遊戲類型技術難度較低，並未考驗到 AI 之間的協調及計劃能力，所以 OpenAI 一直以來的目標都是在 5 對 5 團體戰中戰勝人類玩家。
而最近，經過將近一年的研究及測試後，人工智慧成功在 5 對 5 團體戰中戰勝排名前 1% 的頂尖業餘玩家。雖然 OpenAI 尚未挑戰該遊戲的專業玩家，但 OpenAI 宣布將會於今年 8 月舉行的 Dota 2 國際邀請賽（The International）中挑戰專業玩家。
用電玩遊戲訓練 AI 的動機很簡單，如果能訓練 AI 學習電玩遊戲中所需的技能，就能利用 AI 來解決更複雜的現實問題，例如管理城市的交通基礎建設。
電玩遊戲與西洋棋或圍棋這類棋類遊戲的不同，在於 AI 無法全盤分析整個遊戲，並計算出下一步最佳行動，必須習慣遊戲的不確定性。而且，電玩遊戲與棋類遊戲相比，有更多訊息需要處理，以及有大量可能的動作。進行遊戲時，AI 必須在 1 千個不同的操作之間做選擇，同時處理代表遊戲過程的 2 萬個數據點。
[related-post url=”https://tomorrowsci.com/technology/%E7%B9%BC%E5%9C%8D%E6%A3%8B%E4%B9%8B%E5%BE%8C-%E4%BA%BA%E5%B7%A5%E6%99%BA%E6%85%A7-%E9%9B%BB%E7%AB%B6%E8%B3%BD%E6%93%8A%E6%95%97%E9%A0%82%E7%B4%9A%E8%81%B7%E6%A5%AD%E7%8E%A9%E5%AE%B6/”]一天訓練 180 年的遊戲量
OpenAI 使用一種稱為強化學習（reinforcement learning）的方法來訓練 AI，這種技術看似簡單，卻能讓 AI 學習複雜的行為。工程師在遊戲中設置獎勵功能（AI 在殺死敵人等事件之後，能獲得獎勵點數），然後讓 AI 不斷在遊戲中用試誤法自我學習。
AI 以加速度的方式一天訓練 180 年的遊戲量，並訓練幾個月的時間，自我學習的效率非常驚人。洛克曼表示：「剛開始是完全隨機的，在地圖上遊蕩。然後，經過幾個小時，AI 開始掌握基本技能。」洛克曼還表示，如果需要 12,000 到 20,000 小時的時間學習才能成為專家，那麼 OpenAI 的 AI 每天累積的遊戲經驗是人類一生經驗的 100 倍。
這種 AI 的訓練方式，證明了當代機器學習方法，以及最新電腦晶片能處理大量數據的強大功能。另一方面，這提醒人們 AI 並不夠聰明。這種訓練方式，等於 AI 需要花費數千年的時間才能學會玩電玩遊戲。
AI 玩家的優勢
雖然 OpenAI 的 AI 已進行 5 對 5 團體戰，卻仍未觸及 Dota 2 真正的複雜度。AI 只使用 5 位英雄，而 Dota 2 共有 115 位英雄 ，每位英雄都有獨特的屬性和技能。AI 在遊戲過程中的某些決策甚至是程式寫死的，例如從商店購買的物品，以及在遊戲中使用經驗值升級的技能。此外，遊戲的某些特殊功能被完全禁用，包括隱身、召喚單位和守衛放置，這些功能對進階玩家非常重要。
不過，OpenAI 的 AI 擁有電腦的所有優勢，不但反應時間比人類快，不會失誤，還可以即時又準確的查詢物品庫存、英雄健康狀況，以及地圖上物體之間的距離等數據，這對正確使用某項技能來說非常重要。而人類玩家必須手動查詢，或者憑本能判斷。
[related-post url=”https://tomorrowsci.com/technology/google-deepmind-%E4%BA%BA%E5%B7%A5%E6%99%BA%E6%85%A7%E6%8C%91%E6%88%B0%E6%98%9F%E6%B5%B7%E7%88%AD%E9%9C%B8/”]用規模克服挑戰
OpenAI 共同創辦人兼技術長格雷戈·洛克曼（Greg Brockman）表示：「如果你對一個問題進行模擬，而且能運行足夠大的規模，那麼執行上就不會有任何障礙。」
洛克曼表示，AI 玩家平均能持續進行遊戲 45 分鐘，這種長時間計畫對 AI 是一種挑戰，甚至很難經由強化學習來訓練，但 OpenAI 卻做到了。洛克曼表示 OpenAI 成功的主要因素，只是因為他們有更多運算能力來解決這個問題，而這確實與規模有關。
注重團隊目標
巴斯大學（University of Bath）人工智慧研究員特奧多羅（Andreas Theodorou）表示，5 對 5 遊戲的最新研究有了一大進展，最重要的成就就是 OpenAI 使用互動式視覺化介面為 AI 除錯。特奧多羅補充：「這項技術顯示，即使是強化學習和機器學習系統也能視覺化操作。這些附加元件增加了系統的價值，特別是教育目的。」
特奧多羅還表示，研究人員使用單獨獎勵功能來鼓勵 AI 玩家一起工作，也是值得注意的。這些獎勵功能被視為團隊精神，並在每場比賽的過程中都會增加。雖然比賽開始時，每個 AI 玩家都追求拼命殺敵等個人目標，但隨著時間進展，AI 玩家更關注於團隊共同的目標。
洛克曼表示，與人類玩家不同，這些 AI 玩家絕對是無私的。他表示：「AI 玩家完全願意為了更大的利益，而犧牲一條路或捨棄一位英雄。為了滿足好奇心測試，我們找了一個人替補其中一個 AI 玩家，而他說自己感受到充分的支持，他想要的任何物品，AI 玩家都會提供給他。」
OpenAI的 AI 團隊目前已經與業餘和半職業團隊進行了五場多人比賽，成績為四勝一和。但他們最大的挑戰將是今年的 Dota 2 國際邀請賽。電腦在比賽中能完勝人類頂級玩家嗎？請拭目以待。
參考資料：
- James Vincent (June 2018). AI bots trained for 180 years a day to beat humans at Dota 2. The Verge
