機械臂無模型視覺反饋控制及其自適應操作應用研究
一、項目簡介 隨著科技進步和社會需求的發展,機器人手/臂除了工業生產,也越來越多用于服務人類的其它各個領域,這必然會使機器人承擔比工業中更加多樣的操作任務,面臨更加多變的工作環境。因此,國內外對非結構自然環境下、具備自主操作能力的機器人的研究十分重視。當前,具備視覺感知能力的機器人已被公認為機器人發展的主流趨勢,將視覺與機器人操作相融合,是對人類行為的模擬,由此產生的視覺伺服控制方法為機器人自主操作能力的實現帶來了新的思路,代表了機器人的先進控制技術,也是促進機器人智能化發展的一個重要驅動。可以預見,未來的視覺系統將會成為機器人名副其實的眼睛,視覺伺服技術在機器人自主操作中將具有不可替代的作用。 視覺伺服利用視覺傳感器提供的環境信息對機器人運動進行實時反饋控制,涉及機器人機械幾何設計、運動學和動力學、自動控制理論、計算機視覺圖像處理和攝像機標定等,是智能機器人領域中具有重要理論意義的研究課題之一。迄今為止,機器人手/臂的視覺伺服方法在太空遙操作、機器人手術、水果采摘、工業裝配、焊接、抓取以及微操作等方面得到越來越多的應用。然而,現階段可實際應用的方案主要面向特定的標定環境、模型參數已知,機器人操作是編碼定式的,不具備模型未知條件下的自主操作能力,特別是當面向未來的剛-柔-軟體共融機器人時,其柔型結構造成的運動模型及參數的變化與不確定性,必然使現有確定模型的研究方法失效。因此,無模型(目標幾何模型,手眼標定模型,機器人運動模型)、非結構環境下的自適應操作對機器人提出了新挑戰,是機器人手臂(尤其柔型手臂)視覺伺服控制研究的難點與前沿問題,不斷深入對非結構環境下、無模型的機器人手/臂視覺伺服控制的研究具有重要的理論和現實意義。 在非結構自然環境下使機器人像人一樣協調自適應操作是當今機器人研究領域的一項尚未實現但又令人感興趣的研究工作。從理論上看,非結構自然環境下實現機器人柔性操作,就當前研究依靠單一的控制器設計是困難的。因此,本項目借鑒人的手眼協調操作是自適應學習過程,涉及智能進化和行為優化,將隨機動態規劃理論,結合約束規則與最優化控制,探索一種變參手眼關系,實現機器人在非結構自然環境下的自適應操作。 二、前期研究基礎 研究團隊一直致力于機器人視覺反饋控制的研究。在基礎理論研究上,針對無標定視覺伺服控制方案與設計,均提出了一些新型方法,有扎實的理論基礎和知識積累,并不斷跟蹤和深入在無模型視覺伺服控制的方面研究和前沿問題。目前,已經著手在無模型視覺伺服的可靠性、穩定性控制方面做了充分的探索工作:針對機器人無標定全局穩定操作問題,研究了一種魯棒卡爾曼濾波(RKF)合作Elman神經網絡(ENN)的全局穩定視覺伺服控制方法;提出了一種基于網絡輔助爾曼濾波狀態估計的無標定視覺伺服方法,提高伺服系統的魯棒性。同時,立足機器人發展前沿,建立了多模特征深度學習抓取系統,在無結構環境下實現了機器人智能抓取與定位。 已發表的與項目相關的主要論文有: [1] 仲訓杲,徐敏,仲訓昱,彭俠夫.基于多模特征深度學習的機器人抓取判別方法.自動化學報,2016,7(42), pp:1022-1029. (EI) [2] Xungao Zhong, Xunyu Zhong and Xiafu Peng. Robots Visual Servo Control with Features Constraint Employing Kalman-Neural-Network Filtering Scheme. Neurocomputing, 2015, 151(3), pp:268-277 (SCI) [3] Xungao Zhong, Xunyu Zhong and Xiafu Peng. Robust Kalman FilteringCooperated Elman Neural Network Learning forVision-Sensing-Based RoboticManipulation with Global Stability. Sensors, 2013, 10(13), pp:13464-13486. (SCI) [4] Xungao Zhong, Xiafu Peng, Xunyu Zhongand Lixiong Lin. Dynamic Jacobian Identification Based on State-Space for Robot Manipulation. Applied Mechanics andMaterials, vols. 475-476 (2014)pp: 675-679.(EI) [5] Xungao Zhong, Xiafu Peng, Xunyu Zhong and Xueren Dong. Multi-Channel with RBF Neural Network Aggregation Based on Disparity Space for Color Image Stereo Matching. IEEE 5th International Conference on Advanced Computational Intelligence (ICACI), 10(2012) PP:620-625. (EI) [6]XUNGAO ZHONG, XIAFU PENG, XUNYU ZHONG. NEURAL-BAYESIAN FILTERING BASED ON MONTE CARLO RESAMPLING FOR VISUAL ROBUST TRACKING. Journal of Theoretical and Applied Information Technology, 2013, 2(50), pp: 490-496. [7] Xungao Zhong, Xiafu Peng and Xunyu Zhong. Severe-Dynamic Tracking Problems Based on Lower Particles Resampling. TELKOMNIKA Indonesian Journal of Electrical Engineering. 2014, 12(6), pp:4731-4739. [8] Xunyu Zhong, Xungao Zhong and Xiafu Peng. Velocity-Change-Space-based Dynamic Motion Planning for Mobile Robots Navigation. Neurocomputing. 2014, 143(11), pp:153-163. (SCI) [9] Xunyu Zhong, Xungao Zhong, Xiafu Peng. VCS-based motion planning for distributed mobile robots: collision avoidance and formation. Soft Computing,2016,5(20), pp: 1897-1908. (SCI) [10] 仲訓杲,徐敏, 仲訓昱, 彭俠夫. 基于雅可比預測的機器人無模型視覺伺服定位控制, 控制與決策, 已在線發表, 2018. [11] 仲訓杲,徐敏, 仲訓昱, 彭俠夫. 基于圖像的機器人非標定視覺反饋控制全局定位方法, 廈門大學學報(自然科學版), 已錄用, 2018. 三、應用技術成果 (一)基于多模特征深度學習的機器人抓取判別 研究了多模特征深度學習及其在機器人智能抓取判別中的應用,該方法針對智能機器人抓取判別問題, 研究多模特征深度學習與融合方法. 該方法將測試特征分布偏離訓練特征視為一類噪化, 引入帶稀疏約束的降噪自動編碼 (Denoising auto-encoding, DAE), 實現網絡權值學習; 并以疊層融合策略, 獲取初始多模特征的深層抽象表達, 兩種手段相結合旨在提高深度網絡的魯棒性和抓取判別精確性. 實驗采用深度攝像機與 6 自由度工業機器人組建測試平臺, 對不同類別目標進行在線對比實驗. 結果表明, 設計的多模特征深度學習依據人的抓取習慣, 實現最優抓取判別, 并且機器人成功實施抓取定位, 研究方法對新目標具備良好的抓取判別能力. (二)無標定視覺伺服解決方案及其機器人操作應用 研究了無標定視覺伺服方法及其在機械臂任務操作中的應用。首先提出視覺伺服目標:假設機器人或者攝像節的模型參數未知或者部分未知,視覺伺服的目標是使用攝像節作為傳感器,引導機械臂運動,使當前圖像特征收斂到期望圖像特征,從而完成定位或者跟蹤的任務。 手眼協調關系描述。關節圖像雅克比矩陣定量描述了機械臂關節變化引起圖像特征變化,它是關節-圖像映射的局部線性化矩陣。 建立圖像雅克比的在線估計器。將關節圖像雅克比矩陣的每一個元素作為輔助系統的狀態,建立輔助系統的狀態方程;攝像機提取到的圖像特征作為測量值,建立輔助系統的觀測方程。根據Kalman濾波器理論,我們設計了對關節圖像雅克比的在線實時估計算法。 構建基于圖像矩的目標函數。為了避免傳統的基于點特征的缺陷,例如點特征的標記、提取與匹配過程復雜且通用性較差問題。構建基于圖像矩的圖像特征向量完成視覺伺服任務,來提高視覺伺服系統的穩定性和可靠性。 四、合作企業 廈門萬久科技股份有限公司是一家集銷售、軟件研發、技術服務、加工技術整合為一體的高新技術企業。目前公司的經營范圍涉及CNC軟件開發及數控系統銷售、CNC控制零件銷售及專業維修;工藝優化、機臺升級與技術改造、工程配電與軟件優化、專用機控制系統開發、多軸機的設計與開發、機臺精度檢測與校正優化服務等。公司是國際知名生產制造企業——富士康的產品供應商和技術服務商。
廈門大學
2021-04-11