科技前瞻

OpenAI 意外發現非監督式學習的人工智慧,自行學會判斷人類情緒

OpenAI 的研究人員意外發現,一個訓練用來預測亞馬遜網站(Amazon)評論文章下一個字元的神經網路,竟然自行學會情緒的判斷。這種非監督式學習是機器學習領域追求的目標。

 

能自我學習情緒的判斷

今日,多數的人工智慧使用了機器學習中的監督式學習(Supervised learning)方法,也就是說,電腦必須從特定的資料集學習相關資訊後,才能分析並回應結果。換句話說,機器學習演算法必須使用現存資料來預測結果。近日,OpenAI 的研究人員發現,他們開發的一種機器學習系統,原本用於預測亞馬遜評論文字的下一個字元,但已經發展成一種非監督式(Unsupervised)的系統,可以自我學習情緒的判斷。

OpenAI 是一家非營利的人工智慧研究機構,其投資者包括 Tesla 執行長伊隆·馬斯克(Elon Musk)、知名創業家彼得·泰爾(Peter Thiel)以及 Y Combinator 執行長薩姆·奧爾特曼(Sam Altman)。

OpenAI 在部落格提到:「我們的模型學會了一種判斷功能,經由預測亞馬遜評論中的下一個字元,導致發現了情緒的概念,這讓我們感到非常驚訝。」OpenAI 的神經網路能經由區分正面和負面評論,以訓練情緒分析的能力,並能產生帶有正面或負面情緒的文字。

[related-post url=”https://tomorrowsci.com/technology/%E7%B9%BC%E5%9C%8D%E6%A3%8B%E4%B9%8B%E5%BE%8C-%E4%BA%BA%E5%B7%A5%E6%99%BA%E6%85%A7-%E9%9B%BB%E7%AB%B6%E8%B3%BD%E6%93%8A%E6%95%97%E9%A0%82%E7%B4%9A%E8%81%B7%E6%A5%AD%E7%8E%A9%E5%AE%B6/”]

準確率高達 91.8%

這種人工智慧系統使用「相乘性長短期記憶模型」(multiplicative long short-term memory,mLSTM),利用 8200 萬筆亞馬遜評論的詞語庫,設計了 4096 個學習單元,並持續訓練了一個月,以預測評論下一個字元的文字。在完成訓練之後,研究人員對這些學習單元使用線性組合進行分析,並將模型轉變成情緒分類器。研究人員發現,當到這個模型使用少量的學習單元時,只有一個「情緒神經元」能對情緒值進行準確的預測。

這種人工智慧的情緒分析能力,超越了使用 Stanford Sentiment Treebank(SST)進行分析的所有其他相關研究,SST 是一個小型但被廣泛研究的情緒分析資料集。OpenAI 人工智慧的準確率高達 91.8%,比之前作過的最佳準確率 90.2% 還要高。

非監督式學習

非監督式學習是機器學習領域追求的目標,這種人工智慧具有自我學習的能力,不必提供特定的資料集進行訓練。OpenAI 的 mLSTM 模型實現了這個目標,不過,其開發者認為此系統可能不是唯一能進行這種非監督式學習的系統。OpenAI 的研究人員表示:「我們認為這種現象並非這個模型的特性,而是大型神經網路所具有的一般屬性,這些神經網路經過訓練後,能用來預測輸入後的下一個步驟或維度。」

非監督式學習將為人工智慧的能力帶來顯著的提升,不但能減少接受訓練的時間,同時還能提高表現。例如,這種人工智慧可以分析,甚至預測用戶的需要,以提供所需的虛擬協助。不過要實現相關的應用之前,仍需進一步研究非監督式學習演算法的開發。

OpenAI 研究人員解釋:「我們的研究結果,對非監督式表徵學習來說是一項進展。經由探索語言建模的副作用,進而學習高品質的情感判斷,並在仔細選擇的資料集上擴大既有的模型,最後終於找到結果。不過,底層的現象仍然相當神秘,有值得更進一步探索之處。」

 

參考資料:

  1. Radford, A., Sutskever, I, Jozefowicz, R., Clark, J. & Brockman, G. (April 2017). Unsupervised Sentiment Neuron, OpenAI Blog