成果簡介： 本系統旨在設計一款輔助視覺殘疾人群日常生活的穿戴式設備。該系統具有紙幣識別、交通標志識別、日常用物體識別及場景文字識別等功能。主要應用與輔助視覺殘疾人的日常生活。 紙幣識別的功能對應于視障人群的日常生活的貨幣使用過程，有了這款穿戴式設備的輔助，他們可以自主的各種生活場合中使用紙幣，他們只需要把紙幣在設備前置攝像頭前輕微晃動，設備就可以通過語音給出紙幣的面值反饋給使用者。 交通標志的識別是出于對視覺障礙人群安全的考慮，設備可以識別紅綠燈，并且通過語音實時告知使用者，這可以有效的降低使用者在過馬路危險。 文字識別對應滿足視覺障礙人群的閱讀需求，使用者只需要把手指指向想要了解的內容，設備就會給出報紙或是書本上的文字內容，這樣可以極大的便利他們的閱讀需求。此外通過一定的改進和優化，系統也可以對自然場景下的文字進行識別，比如街頭的廣告牌、物品的外包裝的文字等。 該系統還可以對日常生活中常見的物品進行識別，室內的桌子、茶杯等，還有超市里的各種商品。該功能對應解決使用者在日產生活中購物的需求，有了該系統的輔助他們可以自主的在超市中選擇他們想要的東西，并且完成結賬。 系統采用了穿戴式與計算機視覺和機器學習等理論知識相結合。穿戴式技術具有佩戴舒適甚至無感、使用過程不應干擾正常生活、使用便攜的優點。這樣的系統實現形式有利于簡化使用者的使用門檻，提升使用體驗。計算機視覺和機器學習技術，使用計算機及相關設備對生物視覺的一種模擬，可以有效的獲取外接環境，通過分析外界環境做出相應的回應、給出結果。通過機器學習方法可以有效的對數據進行建模、分析。 系統設計的指標主要包括兩部分，及硬件指標和軟件性能指標。 硬件指標主要有以下幾點： 主控CPU采用的是4核CortexA9處理器 RAM需要大于512M，穩定5V電源 HDMI接口支持，USB 接口支持，常見音視頻編解碼支持 攝像頭采用的720p的高清USB攝像頭 軟件指標只要包括： 指尖檢測部分的主要包括指尖位置的檢測的準確性，以及ROI確定的準確性，能否準確的劃分出待識別目標所在的區域 物品識別部分主要包括可識別物品的類別，以及識別的準確率指標 對紙幣識別的準確率和召回率以及計算的時間成本，主要涉及的算法的時間和空間復雜度 文字識別主要包括檢測的正確率和召回率 系統基本構成如下圖所示，主要包括前端固定眼鏡邊上的高清攝像頭，后端數據處理部分采用的是AMR CortexA9四核處理器作為數據和算法處理單元。 系統基本工作流程為，以手指的一次特定手勢（食指有方向性指向某個物體）為觸發，系統檢測到此手勢后自動在手指尖端區域檢測敏感信息，如字符，物體等，進一步通過計算機視覺算法，對檢測的信息做識別處理，最后對識別結果進行語音播報作為反饋給使用者。用戶只要用手指指向交互的給出識別的物品，那么設備就會開始讀取這個場景，進行識別并將結果語音輸出。 如果該產品可以得到推廣，那么可以極大的幫助視覺殘疾人，這一款穿戴式設備可以甚至可以改變數以千萬記視障人群的日常生活，他們可以減輕對他人的依賴自由獨立的生活。 目前該設備正處于原型開發期，已經取得了階段性的成果，可以準確的定位值之間所在的位置，能較為準確的識別自然場景的中紙幣面值，以及簡單的文字。下一階段著重把性能經一步優化，增添識別物體的功能。 該項目是由電子科技大學程洪教授主導的創新性高新項目。不但具有廣大的市場前景，據可靠統計全國至少有各類殘疾人總數超過8千萬，而其中視覺殘疾的人數找到15%，因此這款設備具有廣闊的市場前景，可以帶來一定經的經濟效益。而且，更為重要定位于輔助他們日常生活產品充分體現出平等關懷的助殘精神，幫助他們更好的生活是我們也是社會的責任所在。