機(jī)器人運(yùn)動(dòng)避障與虛擬形象合成技術(shù)
1.痛點(diǎn)問(wèn)題
擬人化的智能體,在人類生活中開始起到越來(lái)越重要的輔助工作、提升生產(chǎn)力和情感交流等作用。具體形式包括實(shí)體化的機(jī)器人和虛擬的數(shù)字人形象兩種形式。
在實(shí)體化的機(jī)器人技術(shù)中,由于各行業(yè)場(chǎng)景范圍的多樣性,移動(dòng)機(jī)器人的避障問(wèn)題是阻礙機(jī)器人廣泛應(yīng)用的一大痛點(diǎn)。
(1)基于視覺(jué)信息和深度強(qiáng)化學(xué)習(xí)來(lái)解決移動(dòng)機(jī)器人避障問(wèn)題,會(huì)因?yàn)榉抡鏀?shù)據(jù)與真實(shí)數(shù)據(jù)的較大差別而導(dǎo)致泛化性能不足,使得真實(shí)場(chǎng)景下的避障的成功率下降。
(2)目前避障問(wèn)題中的深度強(qiáng)化學(xué)習(xí)往往需要針對(duì)不同復(fù)雜程度的場(chǎng)景重新訓(xùn)練或者再訓(xùn)練模型,難以訓(xùn)練出適用各種密度場(chǎng)景的通用模型。
(3)基于雷達(dá)的深度強(qiáng)化學(xué)習(xí)避障方法受限于成本、功耗和仿真的難度等,往往使用單線雷達(dá)。但單線雷達(dá)僅能對(duì)某個(gè)固定的平面進(jìn)行檢測(cè),如果移動(dòng)機(jī)器人具有較高的高度,只對(duì)某個(gè)平面檢測(cè)無(wú)法實(shí)現(xiàn)完美的避障。
此外,隨著虛擬形象在金融、文旅、醫(yī)療、零售等領(lǐng)域的推廣與應(yīng)用,數(shù)字虛擬形象產(chǎn)業(yè)應(yīng)用路線逐漸清晰,但仍存在產(chǎn)業(yè)鏈相對(duì)割裂、產(chǎn)品與需求匹配度低、生產(chǎn)成本高效率低、虛擬形象交互能力弱的問(wèn)題。
2.解決方案
針對(duì)現(xiàn)有技術(shù)存在的問(wèn)題,本成果的解決方案從兩方面入手。首先,在移動(dòng)機(jī)器人避障方面,本成果設(shè)計(jì)了一種同時(shí)結(jié)合單線雷達(dá)與單目相機(jī)的避障方法框架,并設(shè)計(jì)了新的更有效的深度強(qiáng)化學(xué)習(xí)模型。其次,本成果還提供一種虛擬形象說(shuō)話視頻生成方法及系統(tǒng),使用深度學(xué)習(xí)方法,基于訓(xùn)練好的深度神經(jīng)網(wǎng)絡(luò)語(yǔ)音模型,對(duì)預(yù)設(shè)音頻文件進(jìn)行預(yù)測(cè)處理,通過(guò)在說(shuō)話視頻生成過(guò)程中引入三維人臉信息,并結(jié)合神經(jīng)網(wǎng)絡(luò)模型生成頭部姿勢(shì)自然轉(zhuǎn)動(dòng)且具有個(gè)性化說(shuō)話習(xí)慣的說(shuō)話視頻。上述算法可搭載于通用硬件平臺(tái),構(gòu)建低成本高效的虛擬形象視頻生成系統(tǒng)。
基于以上科研成果,本項(xiàng)目將致力于國(guó)民經(jīng)濟(jì)各主流行業(yè)的數(shù)字化轉(zhuǎn)型,在人工智能、機(jī)器學(xué)習(xí)、計(jì)算機(jī)視覺(jué)技術(shù)等領(lǐng)域持續(xù)積累智能場(chǎng)景應(yīng)用創(chuàng)新技術(shù),結(jié)合優(yōu)秀的前沿技術(shù)整合與應(yīng)用開發(fā)融合能力和深厚的市場(chǎng)推廣能力,全力打造智能巡檢/服務(wù)/協(xié)作機(jī)器人和虛擬人平臺(tái)等軟硬件一體化解決方案。以實(shí)體機(jī)器人并搭載虛擬說(shuō)話人虛體,通過(guò)實(shí)體、虛體相結(jié)合的方式打造獨(dú)一無(wú)二、具有全新體驗(yàn)的智能巡檢/服務(wù)/協(xié)作機(jī)器人,提高智能巡檢/服務(wù)/協(xié)作過(guò)程中交互的效率與質(zhì)量。
合作需求
尋求在清潔能源、儲(chǔ)能、新能源等行業(yè)智能運(yùn)維部門和相關(guān)企業(yè)合作,對(duì)相關(guān)技術(shù)進(jìn)行推廣應(yīng)用,在清潔能源、儲(chǔ)能、新能源等行業(yè)中部署巡檢/服務(wù)/協(xié)作機(jī)器人以及虛擬人服務(wù)平臺(tái),打造無(wú)人值守范例,賦能智能化運(yùn)維,共同推動(dòng)行業(yè)進(jìn)步。
清華大學(xué)
2022-07-08