你知道3D運動雕塑嗎？MIT、Google和UC Berkeley的研究人員創(chuàng)建了一個名為MoSculp的AI系統(tǒng)，只需視頻輸入，利用AI檢測人體2D圖像并恢復(fù)成3D模型，就能創(chuàng)造出超現(xiàn)實主義的3D運動雕塑。

雕塑大家都認(rèn)識，3D電影想必大家也都看過，但你知道3D運動雕塑嗎？

簡單地說，這是一種獨特的展示人體如何運動的方式。3D運動雕塑（3D motion sculpture）可以將任何物體的移動路徑形成3D視圖，物體的形狀、運動軌跡都會影響最后的效果。

將雕塑和3D這兩種藝術(shù)混合起來的這些作品，是由MIT計算機科學(xué)與人工智能實驗室、Google Research以及加州大學(xué)伯克利分校的研究人員共同創(chuàng)造的。他們利用AI系統(tǒng)產(chǎn)生了這些超現(xiàn)實主義的運動與姿勢的混合。

作為輸入的運動影像

創(chuàng)作3D運動雕塑

這個系統(tǒng)被稱為MoSculp，在論文《MoSculp：形狀和時間的交互式可視化》中有詳細描述。該論文將于下個月在德國柏林的用戶界面軟件與技術(shù)大會（UIST）上發(fā)表。

論文的第一作者、MIT博士生張修明（Xiuming Zhang）認(rèn)為，這一技術(shù)可以用來為想要提高技能的運動員提供詳細的運動研究。

3D運動雕塑可用作運動研究

張修明說：“想象一下，你有一段費德勒在網(wǎng)球比賽中發(fā)球的視頻，還有一段你自己練習(xí)打網(wǎng)球的視頻。你可以用MoSculp創(chuàng)建兩種場景的運動雕塑，然后進行對比，更全面地研究你需要改進的地方?！?/p>

具體來說，這個系統(tǒng)的工作有多個步驟：

首先，MoSculp能夠檢測人體及其2D姿態(tài)，利用的是CMU感知計算實驗室開發(fā)的多人關(guān)鍵點實時檢測庫OpenPose，估計每個幀中的關(guān)鍵點（踝關(guān)節(jié)，肘關(guān)節(jié)，髖關(guān)節(jié)等）。

自動檢測關(guān)鍵點

接下來，MoSculp將2D姿態(tài)恢復(fù)成一個3D人體模型，展現(xiàn)人體的整體形狀和人體隨時間運動的姿態(tài)。

AI通過3D空間掃描這個模型，以創(chuàng)建初始運動雕塑，但正如研究人員指出的那樣，這個模型缺乏紋理和結(jié)構(gòu)細節(jié)，比如精細的面部結(jié)構(gòu)、頭發(fā)和衣服。

有沒有聰明的解決方案呢？

研究人員提出將雕塑插入到原始視頻中，而不是將3D內(nèi)容從視頻映射到場景中。

為了防止出現(xiàn)偽影和遮擋，MoSculp估計出每個幀中人物和雕塑的深度圖（depth map），并將兩者進行比較，以確定人是比雕塑更接近攝像機還是更原理攝像機。

然后，MoSculp從所有幀中提取主體的前景蒙版，以細化初始深度圖。

原始視頻

估計模型

以下是該系統(tǒng)在實踐中的工作原理：

將視頻加載到系統(tǒng)后，MoSculp將檢測到的關(guān)鍵點覆蓋在輸入幀上，并通過幾個隨機選擇的幀來驗證。（內(nèi)置的校正工具可以讓用戶在必要時進行調(diào)整。）在對“暫時不一致的檢測”進行校正后，它會生成運動雕塑，并將其加載到自定義界面中。

在MoSculp中，用戶可以在雕塑周圍導(dǎo)航，或使用3D打印機進行打印。系統(tǒng)提供工具允許用戶自定義材料、身體部位、場景背景、光照條件和其他美學(xué)特征。

MoSculp的界面

目前，MoSculp只使用于單個主體的視頻，不過研究團隊希望將其擴展到多人。未來，他們認(rèn)為這個系統(tǒng)可以用來研究社會障礙、團隊動力和人際互動等。

“舞蹈和高技能運動通?？雌饋硐?#39;移動的雕塑'，但它們只能形成稍縱即逝的短暫形狀，”Adobe傳播負責(zé)人Courtney Brigham說。

“這項工作展示了如何利用動作，并將動作轉(zhuǎn)換為具有客觀運動可視化的真實雕塑，為運動員提供了一種分析他們的訓(xùn)練動作的方式，而且成本只需一臺運動相機和一些計算時間?！?/p>