動作捕捉技術(shù)（motion capture）在影視、體育、安防等領(lǐng)域具有廣泛應(yīng)用。傳統(tǒng)的動作捕捉分為兩大類，光學(xué)動捕系統(tǒng)通過在采集環(huán)境部署多個紅外攝像頭，再在人員的動捕服上放置光學(xué)標(biāo)記球來求解出采集者的姿態(tài)信息，從而實現(xiàn)對人體運動的捕捉與動畫映射；慣性動捕系統(tǒng)通過慣性測量單元（IMU）來采集肢體的運動信息，采集設(shè)備相對更輕便，但采集精度不如光學(xué)動捕系統(tǒng)。光學(xué)動捕系統(tǒng)包括Motion Analysis，Vicon，Optitrack等，慣性動捕系統(tǒng)有Xsens，諾亦騰等。 然而，無論是光學(xué)動捕還是慣性動捕都需要動作人穿上特定的設(shè)備，不可避免地會影響到人體運動的真實性和動捕的使用范圍。同時，相應(yīng)的專業(yè)動捕設(shè)備往往價格不菲，很多有需求的小型工作室也會望而卻步。因此，學(xué)術(shù)界和工業(yè)界都在極力研究“無標(biāo)記運動捕捉”技術(shù)，即不需要任何穿戴設(shè)備，僅由相機(jī)觀測和算法分析，就實現(xiàn)對多人體運動的實時準(zhǔn)確捕捉。這種技術(shù)有著更加廣泛的應(yīng)用場景，例如無人售貨超市、VR/AR游戲、遠(yuǎn)程全息通訊、數(shù)字人創(chuàng)建、虛擬主播、人機(jī)交互、全天候醫(yī)療監(jiān)護(hù)等。 近幾年，隨著深度學(xué)習(xí)技術(shù)的廣泛普及，無標(biāo)記動捕領(lǐng)域也誕生了許多革命性技術(shù)，例如實時2D多人體關(guān)鍵點檢測技術(shù)OpenPose等。然而，多目標(biāo)實時3D運動捕捉仍然是一個極具挑戰(zhàn)性的問題，主要挑戰(zhàn)因素包括：如何實現(xiàn)實時計算，如何進(jìn)行高效的多視角關(guān)聯(lián)，如何解決緊密交互帶來的觀測失真等。舉個例子，當(dāng)兩個人擁抱在一起的時候，當(dāng)前大多數(shù)檢測或重建算法都會失效。而理論上，多視角的觀測信號能夠在一定算法設(shè)計下互相補(bǔ)充，盡可能解決單視角運動重建的歧義性。如何充分利用多視角的視頻信號，實現(xiàn)復(fù)雜、緊密交互場景下的多人體運動捕捉是當(dāng)前無標(biāo)記運動捕捉領(lǐng)域的核心問題之一。 該項目研究工作提出的多視角人體運動捕捉系統(tǒng)包括相機(jī)采集模塊，2D姿態(tài)檢測模塊，4D關(guān)聯(lián)圖求解模塊，三維骨架求解模塊及渲染模塊。其主要算法貢獻(xiàn)在于提出并實現(xiàn)了4D Association算法。 當(dāng)前的多視角運動捕捉系統(tǒng)大多采用的是序貫地匹配策略，首先對每個視角進(jìn)行獨立的人體檢測和連接（例如，OpenPose檢測關(guān)鍵點和關(guān)鍵點相互連接的概率，從而對人體進(jìn)行連接；Mask-RCNN、AlphaPose和HRNet都需要先檢測每個人的BoundingBox，然后對每個人進(jìn)行獨立的人體檢測），然后對人體進(jìn)行多視角關(guān)聯(lián)和姿態(tài)求解，最后進(jìn)行時域跟蹤。這種常規(guī)方法的缺陷在于，當(dāng)單個視角檢測失敗以后，后續(xù)的算法難以對失敗的檢測結(jié)果進(jìn)行修正，從而將錯誤的檢測傳遞到下一個步驟，影響跟蹤效果，對于緊密交互（例如前文提到的兩人擁抱）的情形，單視角的往往很難給出令人滿意的檢測結(jié)果，因此基于序貫式的算法一般會失效。 相較而言，該研究工作的創(chuàng)新性在于充分利用單圖連接(2D)、多視角連接(1D)、和時域連接(1D)之間的相互約束從而進(jìn)行全局優(yōu)化，用多視角信息和時域信息來避免單視角連接的歧義性，同時也通過單視角連接結(jié)果來優(yōu)化多視角的匹配，從而使得關(guān)聯(lián)結(jié)果更趨向于全局最優(yōu)。具體地，該研究工作提出了一種4D Graph的圖結(jié)構(gòu)，將上一幀的三維人體關(guān)鍵點（在初始幀或者人進(jìn)入動捕范圍的時候可以缺失，不影響算法的運行）和當(dāng)前每一視角的2D關(guān)鍵點建模在同一個圖結(jié)構(gòu)中，用單圖連接、多視角連接、時域連接的概率作為邊的權(quán)值，將人體多視角關(guān)聯(lián)的問題看成提取有效邊的過程。為了快速地求解這個問題，進(jìn)一步提出了一種基于完全子圖的近似求解算法，高效地完成了從4D圖結(jié)構(gòu)中提出正確的人體連接。 最終，該研究工作實現(xiàn)了緊密交互下人體的三維姿態(tài)重建，并展示了實時系統(tǒng)效果。其算法在多個數(shù)據(jù)集上均表現(xiàn)出了良好的視覺效果，在Shelf數(shù)據(jù)集上也取得了當(dāng)前最好的數(shù)值結(jié)果。