台灣互動體驗設計協會專欄,  科技前瞻,  行為解碼

【身體與科技的靈肉磨合】優化口罩日常溝通效果的MAScreen

在疫情持續肆虐下,口罩成了抵抗疫情的一大功臣,也已成為當今日常生活的一部分。在我們逐漸習慣這個新日常的同時,直接將臉孔遮擋住一半的口罩,除限制了配戴者利用表情傳達情緒的方式,產生距離感,更容易造成溝通上的阻礙。特別是對於聽障人士,閱讀唇語和面部表情是輔助他們理解話語內容的一個重要依據,口罩會讓他們與人的溝通變得更加困難。前陣子引發討論的手語翻譯員在記者會上沒配戴口問題就是因為表情是手語重要的表達方式,光靠手勢可能產生混淆。

用科技拉近人與人的距離

為了解決諸如此類的問題,韓國科學技術院(KAIST)的研究團隊開發了一種可以增強配戴口罩時溝通效果的系統—MAScreen。

MAScreen 介紹影片

這種系統透過安裝在口罩內側的光折射感應器讀取被隱藏的面部表情和嘴唇動作,並將其及時轉換為像素形狀、表情符號顯示在安裝在口罩裡的 LED 顯示幕上。MAScreen也可以透過麥克風將配戴者說出的句子轉換成文字,甚至可以翻譯成不同語言,以跑馬燈字幕的方式顯示在口罩上。

MAScreen總共可以辨識和轉譯12種嘴型(根據常使用的元音發音嘴型等)和11種面部表情(情緒)。

這樣的設計不僅能為需要透過唇語及表情辨識對話內容的人士帶來多一點的依據,還能打破口罩產生的距離感,在大家的生活中增添些溫度及趣味呢。

參考資料/圖片來源:

MAScreen: Augmenting Speech with Visual Cues of Lip Motions, Facial Expressions, and Text Using a Wearable Display (2020)

https://makinteract.kaist.ac.kr/files/2020/Lee_MAScreen_SiggraphAsiaET20.pdf

https://dl.acm.org/doi/10.1145/3415255.3422886

Pexels

持續關注專欄【身體與科技的靈肉磨合】,請至TIEDA臉書官網

更多互動體驗設計相關的活動、資訊請上: https://tieda-ixd.com/
更多科學與科技新聞都可以直接上 明日科學網站 www.tomorro