【儀表網(wǎng) 研發(fā)快訊】無線云機(jī)器人系統(tǒng)(Wireless Cloud Robotic System，WCRS)以無線網(wǎng)絡(luò)為媒介，通過將復(fù)雜控制功能虛擬化至云或邊緣云，深度融合感知、通信、計(jì)算與控制能力，可實(shí)現(xiàn)大規(guī)模機(jī)器人云化智能控制，滿足具身智能自主作業(yè)、多機(jī)協(xié)同裝配等場景需求。然而，WCRS的控制精度和穩(wěn)定性高度依賴于無線通信的確定性，受無線傳輸時(shí)延、抖動(dòng)、丟包等問題的嚴(yán)重制約。因控制與通信呈現(xiàn)強(qiáng)耦合特征，單一維度的優(yōu)化無法提升整體性能。
 

　　針對上述問題，中國科學(xué)院沈陽自動(dòng)化研究所工業(yè)控制網(wǎng)絡(luò)與系統(tǒng)研究室科研團(tuán)隊(duì)，采用智能超表面(Reconfigurable Intelligence Surface，RIS)技術(shù)構(gòu)建了全新的無線云機(jī)器人系統(tǒng)架構(gòu)。該架構(gòu)支持對RIS的相移和波束進(jìn)行按需調(diào)節(jié)，進(jìn)而建立確定性通信信道，應(yīng)對復(fù)雜工業(yè)無線環(huán)境下信道時(shí)變衰落、通信不確定等難題。
 

　　在該無線云機(jī)器人系統(tǒng)架構(gòu)下，科研人員針對控制與通信強(qiáng)耦合難題，基于Jensen不等式和Lyapunov-Krasovskii泛函理論推導(dǎo)得到了控制時(shí)延閾值的閉式表達(dá)式，建立了以控制誤差和通信抖動(dòng)為導(dǎo)向的系統(tǒng)穩(wěn)定性最大化問題?？紤]機(jī)器人及通信信道狀態(tài)的時(shí)變性與部分可觀測性，科研人員將問題建模為部分可觀測馬爾可夫決策(POMDP)過程，并提出了基于LSTM-PPO-MATRL的多智能體遷移強(qiáng)化學(xué)習(xí)方法，實(shí)現(xiàn)了控制輸入補(bǔ)償、RIS相移和波束成形等控制和通信參數(shù)的聯(lián)合優(yōu)化，提升了系統(tǒng)穩(wěn)定性。
 

　　團(tuán)隊(duì)在OpenAI Gym與MuJoCo平臺(tái)開展了四種控制任務(wù)的驗(yàn)證，包括直立(INV)、跳躍(HOP)等低動(dòng)態(tài)任務(wù)以及奔跑(HAL)、行走(ANT)等高動(dòng)態(tài)任務(wù)，分別對應(yīng)二自由度機(jī)械臂、單足機(jī)器人、雙足機(jī)器人和四足機(jī)器人。實(shí)驗(yàn)結(jié)果表明：在新的架構(gòu)下，控制-通信聯(lián)合優(yōu)化方法具有算法收斂快、獎(jiǎng)勵(lì)高等優(yōu)勢，可以滿足機(jī)器人云化控制的要求，優(yōu)于控制或通信單一維度優(yōu)化。
 

　　該研究成果以Control-Communication Co-Optimization for Wireless Cloud Robotic System via Multi-Agent Transfer Reinforcement Learning為題，發(fā)表于自動(dòng)化領(lǐng)域國際期刊IEEE/CAA Journal of Automatica Sinica。沈陽自動(dòng)化所許馳研究員為論文第一作者及通訊作者。該研究得到了國家自然科學(xué)基金項(xiàng)目、遼寧省科技計(jì)劃項(xiàng)目的支持。(工業(yè)控制網(wǎng)絡(luò)與系統(tǒng)研究室)