1. 痛點問題
我們生活在一個真實的三維世界中,二維環(huán)境感知是遠無法滿足我們的實際需求。在諸如自動駕駛、機器人抓取和三維目標識別等應(yīng)用中(如圖1),我們經(jīng)常需要推理三維空間中物體之間的位置關(guān)系,從而能夠理解真實三維場景并做出進一步的決策行為。
圖1 自動駕駛、視覺抓取、物體識別
2. 解決方案
本技術(shù)成果提出了一種三維視覺目標檢測與識別方法。在三維視覺目標檢測方面,提出了一種基于關(guān)系推理網(wǎng)絡(luò)的單目三維物體檢測方法,方法流程圖如圖2所示。方法提出了一種新的單目三維物體檢測架構(gòu),訓練了一個深度關(guān)系推理網(wǎng)絡(luò)來估計三維候選和真實物體之間的空間位置關(guān)系,通過測量投影結(jié)果和真實物體之間的視覺擬合度來實現(xiàn)高精的三維空間定位。
圖2 三維目標檢測的流程圖
在三維視覺目標識別方法,提出了一種基于球面分形卷積神經(jīng)網(wǎng)絡(luò)的三維點云識別技術(shù),方法流程圖如圖3所示。方法通過引入球面分形結(jié)構(gòu),將原始三維點云通過可學習的神經(jīng)網(wǎng)絡(luò)投影到球面,使得卷積神經(jīng)網(wǎng)絡(luò)可以高效處理三維點云數(shù)據(jù)并進行特征特征,同時通過設(shè)計基于分形結(jié)構(gòu)的層次化學習框架,提高了三維點云物體識別的精度,實現(xiàn)了對于三維點云目標在旋轉(zhuǎn)條件下特征表示的魯棒性。
合作需求
尋求在人工智能、智能機器人、智慧城市等領(lǐng)域有相關(guān)技術(shù)開發(fā)、市場推廣經(jīng)驗,能推進本技術(shù)落地的高科技企業(yè),可以進行深度合作。本技術(shù)成果有望在自動駕駛、虛擬現(xiàn)實等場景進行落地應(yīng)用。
本技術(shù)成果有著廣泛的應(yīng)用前景,如自動駕駛、機器人視覺抓取、水下環(huán)境感知、工業(yè)檢測、智能安防等,適同于不同的應(yīng)用需求。
2021年11月25日,《北京市智能網(wǎng)聯(lián)汽車政策先行區(qū)自動駕駛出行服務(wù)商業(yè)化試點管理實施細則(試行)》出臺,這標志著國內(nèi)自動駕駛領(lǐng)域從測試示范邁入商業(yè)化試點探索新階段,對全面貫徹新發(fā)展理念,加快構(gòu)建新發(fā)展格局,變革未來出行方式具有里程碑意義。
根據(jù)科爾尼數(shù)據(jù)預(yù)測,至2025年全球自動駕駛(包含車端、道路、云等)市場規(guī)模達800億美元,至2030年市場規(guī)模達2800億美元。預(yù)計自動駕駛領(lǐng)域在未來10年內(nèi)可實現(xiàn)大幅增長。
在自動駕駛應(yīng)用中,相比于使用昂貴的激光雷達等傳感器,相機傳感器成本低廉,且壽命長、易于安裝,同時圖像的檢測技術(shù)相對更加成熟,有利于研究工作的快速進行。難點在于單目三維物體檢測的問題設(shè)置下,唯一的線索只有二維圖像中的外觀信息,而真實的三維信息卻無法獲取。本方法使用一種基于錨點的方法來回歸出物體的尺寸和朝向信息,并構(gòu)建出三維候選,然后根據(jù)相機投影關(guān)系將候選投影到圖片上,并利用一個擬合程度網(wǎng)絡(luò)來推理這些三維候選和物體之間的三維覆蓋率,顯著提高了三維檢測算法的定位精度。
掃碼關(guān)注,查看更多科技成果