清華新聞網(wǎng)3月26日電 動(dòng)作捕捉技術(shù)廣泛應(yīng)用于虛擬現(xiàn)實(shí)、人體工程學(xué)、醫(yī)療康復(fù)、影視制作等領(lǐng)域。基于慣性傳感器的方法由于對(duì)環(huán)境要求低、無(wú)遮擋問(wèn)題，在捕捉大規(guī)模、復(fù)雜多人環(huán)境中的人體運(yùn)動(dòng)方面具有明顯優(yōu)勢(shì)，尤其是基于少量慣性測(cè)量單元的方法由于其簡(jiǎn)單性和靈活性而具有更大的研究?jī)r(jià)值。但是，這類(lèi)方法往往使用的是深度神經(jīng)網(wǎng)絡(luò)，會(huì)給設(shè)備帶來(lái)較大的計(jì)算負(fù)擔(dān)，提高此類(lèi)方法的計(jì)算效率、減少延遲，并在便攜式終端上進(jìn)行算法部署具有極大挑戰(zhàn)性。
針對(duì)以上問(wèn)題，清華大學(xué)機(jī)械系智能制造與精密加工研究室研究人員提出了一種基于六個(gè)慣性傳感器的新算法結(jié)構(gòu)FIP（Fast Inertial Poser），為便攜式終端的部署帶來(lái)了一種新的思路。該方法分為兩個(gè)階段，關(guān)節(jié)位置估計(jì)和運(yùn)動(dòng)學(xué)逆解。與之前的方法相比，該方法效率提升的主要原因?yàn)椋旱谝?，消除了額外的優(yōu)化設(shè)計(jì)；第二，基于“最小測(cè)量原則”，通過(guò)考慮人體形狀參數(shù)（身高、腿長(zhǎng)、單臂長(zhǎng)）和性別，使用運(yùn)動(dòng)學(xué)逆求解器和不同傳感器的共享模型來(lái)增強(qiáng)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的表達(dá)能力；第三，去除RNN的雙向傳播機(jī)制。在位置估計(jì)階段，F(xiàn)IP使用三個(gè)獨(dú)立的循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）來(lái)估計(jì)葉節(jié)點(diǎn)和其余節(jié)點(diǎn)的位置。為了使模型推理過(guò)程更接近真實(shí)的物理過(guò)程，F(xiàn)IP使用傳感器共享積分RNN來(lái)估計(jì)葉節(jié)點(diǎn)的位置。此外，對(duì)于每個(gè)RNN，人體參數(shù)信息通過(guò)嵌入式編碼的方式輸入到算法網(wǎng)絡(luò)中。
圖1.FIP算法示意圖
網(wǎng)絡(luò)具體設(shè)計(jì)如圖2所示，主要使用的子模塊為單向循環(huán)網(wǎng)絡(luò)RNN和多層感知機(jī)MLP，通過(guò)將人體骨架信息輸入到不同的模塊形成人體形狀相關(guān)的約束，設(shè)計(jì)了一種基于人體運(yùn)動(dòng)樹(shù)的特殊逆運(yùn)動(dòng)學(xué)求解器，幫助模型求解當(dāng)前幀中關(guān)節(jié)的旋轉(zhuǎn)。
在基于開(kāi)源數(shù)據(jù)集的實(shí)驗(yàn)中顯示，F(xiàn)IP在保證重建精度的同時(shí)降低了動(dòng)作重建的延遲和解算時(shí)間，在PC上的計(jì)算時(shí)間僅需要2.7毫秒/幀，在Nvidia NX2TX嵌入式開(kāi)發(fā)板上能夠以15毫秒延遲和65FPS的幀率穩(wěn)定運(yùn)行，為在移動(dòng)終端的實(shí)時(shí)人體運(yùn)動(dòng)重建提供了一種全新的思路。
圖2. FIP算法Pipeline
相關(guān)研究成果以“基于稀疏傳感器考慮人體形狀快速重建人體運(yùn)動(dòng)”（Fast Human Motion reconstruction from sparse inertial measurement units considering the human shape）為題，于3月18日發(fā)表于《自然·通訊》（Nature Communications）雜志。
清華大學(xué)機(jī)械系碩士畢業(yè)生肖軒為論文第一作者，機(jī)械系教授張建富為論文通訊作者，機(jī)械系本科畢業(yè)生宮傲，機(jī)械系教授馮平法、副教授王健健、助理研究員張翔宇共同參與了研究工作。研究得到清華大學(xué)國(guó)強(qiáng)研究院項(xiàng)目的支持。
論文鏈接：
https://doi.org/10.1038/s41467-024-46662-5
供稿：機(jī)械系
題圖設(shè)計(jì)：曾儀
編輯：李華山
審核：郭玲
