一、項目簡介

當前虛實融合技術面臨的重大挑戰可以歸結為以下兩個關鍵科學問題：（1）非配合虛實環境的無縫融合與交互自然呈現。（2）云環境下虛實融合環境的語義理解、統一表達與應用軟件快速定制。為解決上述兩個關鍵科學問題和技術瓶頸，本項目重點研究了自然虛實融合呈現的硬軟件技術和裝置，構建虛實融合應用流程框架和規范，創新云軟件定制和服務模式，實現應用示范。充分利用移動、穿戴式設備的多傳感器優勢以及云端結合方式進行三維結構的重建、語義標注、識別理解與信息關聯。

二、前期研究基礎

目前已發表論文10篇，包括4篇期刊論文等（包括TIP、TMM等權威期刊論文）。申請專利3 項。

三、應用技術成果

1）基于搜索的圖像深度估計，相對誤差低于傳統方法，對訓練集的需求小于基于深度學習的方法。

Make3D數據集的深度估計結果

2）基于雙模深度玻爾茲曼機（DBM）的三維場景物體檢測框架，給出了RGBD訓練數據不足的難題，流程如下

3）基于序列約束的哈希算法在不同比特率情況下均取得了很好的效果。

在LabelMe和Tiny100K上使用不同哈希比特率的效果