1. 痛點(diǎn)問題

工業(yè)制造領(lǐng)域目前廣泛使用的機(jī)器人產(chǎn)品僅能依照預(yù)先規(guī)劃的操作流程實(shí)現(xiàn)簡(jiǎn)單的自動(dòng)化操作，無法應(yīng)對(duì)作業(yè)環(huán)境多樣、任務(wù)復(fù)雜度高、人機(jī)交互需求強(qiáng)等諸多挑戰(zhàn)，如汽車工業(yè)的裝配制造場(chǎng)景。造成這一現(xiàn)狀的關(guān)鍵問題在于工業(yè)機(jī)器人控制技術(shù)的智能化程度嚴(yán)重不足。現(xiàn)有控制方案主要依賴人工簡(jiǎn)化的對(duì)象模型進(jìn)行算法設(shè)計(jì)，由于被控對(duì)象的建模誤差大、外部干擾強(qiáng)等因素，導(dǎo)致控制性能低下，場(chǎng)景適應(yīng)性差。以強(qiáng)化學(xué)習(xí)為核心的新一代智能控制技術(shù)正是解決這一問題的有效手段。

2. 解決方案

采用以強(qiáng)化學(xué)習(xí)為核心的控制模型設(shè)計(jì)及其訓(xùn)練技術(shù)，包括：1) 累計(jì)收益連續(xù)化的值分布強(qiáng)化學(xué)習(xí)算法，利用分布式函數(shù)代替期望值，解決了Bellman算子迭代導(dǎo)致的決策過程值函數(shù)過高估計(jì)難題。與當(dāng)前主流算法（如OpenAI的PPO算法、Deepmind的DDPG算法）相比累計(jì)收益提升16.0%，為全球性能第一；2）時(shí)空分離型的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)方法及其雙階段級(jí)聯(lián)訓(xùn)練技術(shù)，破解了現(xiàn)有網(wǎng)絡(luò)結(jié)構(gòu)時(shí)空高度耦合導(dǎo)致推理精度差的難題。在國(guó)際基準(zhǔn)Argoverse數(shù)據(jù)集實(shí)現(xiàn)了大幅性能提升，所有七項(xiàng)指標(biāo)的六項(xiàng)排名第一。

以上述技術(shù)為基礎(chǔ)構(gòu)建控制模型通用開發(fā)平臺(tái)GOPS，實(shí)現(xiàn)了工業(yè)環(huán)境仿真、控制模型構(gòu)建、模型訓(xùn)練求解、模型應(yīng)用部署的完整功能鏈條。在該平臺(tái)支持下將開發(fā)面向工業(yè)制造的智能機(jī)器人控制模型，主要是具備智能化質(zhì)檢和操作能力的汽車裝配機(jī)器人控制器，并集成于智能制造機(jī)器人。