科技前瞻

AI讓現實跳躍至3D: 新技術讓現實物件3D化

想像一下,你用智慧手機繞著一個物體轉一圈,就能獲得一個逼真、完全可編輯的3D模型,可以從任何角度觀看。加拿大西蒙·弗雷澤大學(SFU)的研究人員最近揭示了一種新的AI技術,能夠做到這一點。很快,普通消費者不僅能拍攝2D照片,還能捕捉真實物體的3D模型,並像編輯普通2D照片一樣輕鬆地編輯它們的形狀和外觀。

在一篇發表在arXiv預印本服務器上的論文中,研究人員展示了一種名為Proximity Attention Point Rendering(PAPR)的新技術,可以將一組2D照片轉換成表示物體形狀和外觀的3D點雲。然後,每個點都給使用者一個控制該物體的控制點——也就是拖動一個點,以改變物體的形狀,編輯一個點的屬性改變物體的外觀。接著,在一個稱為「渲染」的過程中,3D點雲可以從任何角度觀看,並轉換成2D照片,顯示出從該角度拍攝的編輯過的物體。

使用新的AI技術,研究人員展示了如何將一尊雕像帶入生活,技術自動將雕像的一組照片轉換成3D點雲,然後進行動畫處理。最終結果是一個視頻,展示了雕像的頭部從一側轉到另一側,同時導覽觀眾圍繞它行走的路徑。

SFU計算機科學助理教授、APEX實驗室主任凱·李博士說:「AI和機器學習真的在推動2D影像轉換為3D物體的範式轉變。機器學習在計算機視覺和自然語言等領域的巨大成功,激勵研究人員探索並重新設計傳統的3D圖形管道。」他補充說:「這要比我們預期的要困難得多,需要克服幾個技術挑戰。最令我興奮的是它為消費技術帶來的許多可能性——3D可能會像今天的2D一樣,成為視覺交流和表達的一種常見媒介。」

將每個3D點視為連續控制點

影片來源:Simon Fraser University

這項研究的其中一個最大挑戰是如何表示3D形狀,以便使用者能夠輕鬆直觀地編輯它們。早期的一種方法,稱為神經輻射場(NeRFs),不適合輕鬆形狀編輯,因為它需要使用者提供對每個連續坐標發生的事情的描述。一種更新的方法,稱為3D高斯飛濺(3DGS),也不適合形狀編輯,因為編輯後形狀表面可能會被粉碎或撕裂。

研究人員意識到的一個關鍵洞察是,他們可以將點雲中的每個3D點視為連續插值器中的一個控制點,而不是一個獨立的飛濺。然後當點被移動時,形狀會以一種直觀的方式自動改變。這類似於動畫師在動畫視頻中定義物體運動的方式——通過指定物體在幾個時間點的位置,它們在每個時間點的運動由插值器自動生成。

該研究小組對即將到來的事情感到興奮。李博士說:「這為我們展示的應用領域之外的許多應用打開了大門。」他說:「我們已經在探索各種方法來利用PAPR來模擬移動的3D場景,到目前為止的結果非常有前途。」

這項研究已先發表在未經同擠審查的《arXiv》。

更多科學與科技新聞都可以直接上 明日科學網 http://www.tomorrowsci.com

首圖來源:Simon Fraser University cc By4.0

影片來源:Simon Fraser University cc By4.0

參考論文:

1.PAPR: Proximity Attention Point RenderingarXiv

延伸閱讀:

1.3D列印大腦突破:科學家創造活生生的人腦組織