機器人運動避障與虛擬形象合成技術
1.痛點問題
擬人化的智能體,在人類生活中開始起到越來越重要的輔助工作、提升生產力和情感交流等作用。具體形式包括實體化的機器人和虛擬的數字人形象兩種形式。
在實體化的機器人技術中,由于各行業場景范圍的多樣性,移動機器人的避障問題是阻礙機器人廣泛應用的一大痛點。
(1)基于視覺信息和深度強化學習來解決移動機器人避障問題,會因為仿真數據與真實數據的較大差別而導致泛化性能不足,使得真實場景下的避障的成功率下降。
(2)目前避障問題中的深度強化學習往往需要針對不同復雜程度的場景重新訓練或者再訓練模型,難以訓練出適用各種密度場景的通用模型。
(3)基于雷達的深度強化學習避障方法受限于成本、功耗和仿真的難度等,往往使用單線雷達。但單線雷達僅能對某個固定的平面進行檢測,如果移動機器人具有較高的高度,只對某個平面檢測無法實現完美的避障。
此外,隨著虛擬形象在金融、文旅、醫療、零售等領域的推廣與應用,數字虛擬形象產業應用路線逐漸清晰,但仍存在產業鏈相對割裂、產品與需求匹配度低、生產成本高效率低、虛擬形象交互能力弱的問題。
2.解決方案
針對現有技術存在的問題,本成果的解決方案從兩方面入手。首先,在移動機器人避障方面,本成果設計了一種同時結合單線雷達與單目相機的避障方法框架,并設計了新的更有效的深度強化學習模型。其次,本成果還提供一種虛擬形象說話視頻生成方法及系統,使用深度學習方法,基于訓練好的深度神經網絡語音模型,對預設音頻文件進行預測處理,通過在說話視頻生成過程中引入三維人臉信息,并結合神經網絡模型生成頭部姿勢自然轉動且具有個性化說話習慣的說話視頻。上述算法可搭載于通用硬件平臺,構建低成本高效的虛擬形象視頻生成系統。
基于以上科研成果,本項目將致力于國民經濟各主流行業的數字化轉型,在人工智能、機器學習、計算機視覺技術等領域持續積累智能場景應用創新技術,結合優秀的前沿技術整合與應用開發融合能力和深厚的市場推廣能力,全力打造智能巡檢/服務/協作機器人和虛擬人平臺等軟硬件一體化解決方案。以實體機器人并搭載虛擬說話人虛體,通過實體、虛體相結合的方式打造獨一無二、具有全新體驗的智能巡檢/服務/協作機器人,提高智能巡檢/服務/協作過程中交互的效率與質量。
合作需求
尋求在清潔能源、儲能、新能源等行業智能運維部門和相關企業合作,對相關技術進行推廣應用,在清潔能源、儲能、新能源等行業中部署巡檢/服務/協作機器人以及虛擬人服務平臺,打造無人值守范例,賦能智能化運維,共同推動行業進步。
清華大學
2022-07-08