【儀表網(wǎng) 研發(fā)快訊】工業(yè)信息物理系統(tǒng)(Cyber-Physical Systems, CPS)是感知、通信、計(jì)算、控制(簡(jiǎn)稱 S3C)深度耦合的復(fù)雜系統(tǒng)，廣泛支撐智能制造、工業(yè)機(jī)器人集群、邊緣智能等核心場(chǎng)景。當(dāng)前該類系統(tǒng)普遍存在高維狀態(tài)空間、非凸優(yōu)化目標(biāo)、局部觀測(cè)受限等痛點(diǎn)：傳統(tǒng)獨(dú)立優(yōu)化策略難以實(shí)現(xiàn)四域全局協(xié)同；常規(guī)多智能體強(qiáng)化學(xué)習(xí)(MADRL)缺乏先驗(yàn)知識(shí)引導(dǎo)，探索效率低下，極易收斂至局部最優(yōu)，難以滿足工業(yè)場(chǎng)景低時(shí)延、高精度控制需求。
 

　　針對(duì)上述瓶頸，中國(guó)科學(xué)院沈陽自動(dòng)化研究所工業(yè)控制網(wǎng)絡(luò)與系統(tǒng)研究室科研團(tuán)隊(duì)，提出大語言模型(LLM)增強(qiáng)的多智能體遷移強(qiáng)化學(xué)習(xí)算法框架 LLMPT-MADRL，充分挖掘大模型語義推理、先驗(yàn)知識(shí)輸出能力，提升多維度協(xié)同優(yōu)化性能。相關(guān)成果近期發(fā)表于IEEE/CAA Journal of Automatica Sinica。
 

　　科研團(tuán)隊(duì)將“感-通-算-控”聯(lián)合優(yōu)化問題建模為部分可觀察馬爾可夫決策過程，設(shè)計(jì)了包含LLM模塊、MADRL模塊和策略選擇模塊的算法架構(gòu)。其中，LLM模塊通過提示詞輸出優(yōu)質(zhì)指導(dǎo)策略；MADRL模塊采用Actor-Critic結(jié)構(gòu)完成策略優(yōu)化；策略選擇模塊依靠概率機(jī)制動(dòng)態(tài)融合兩類輸出，實(shí)現(xiàn)訓(xùn)練階段策略平滑切換。同時(shí)，他們還設(shè)計(jì)了自適應(yīng)遷移損失函數(shù)，以解決LLM與強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)規(guī)模異構(gòu)問題，保障知識(shí)有效遷移。科研團(tuán)隊(duì)以降低系統(tǒng)時(shí)延與控制誤差為目標(biāo)，對(duì)采樣系數(shù)、通信帶寬、計(jì)算頻率、控制輸入等“感-通-算-控”開展聯(lián)合優(yōu)化仿真，選取MADDPG、MATD3、MAPPO作為對(duì)比基線，采用集中訓(xùn)練、分布式執(zhí)行模式完成驗(yàn)證。
 

　　研究結(jié)果表明，LLMPT-MADR各項(xiàng)指標(biāo)均優(yōu)于傳統(tǒng)多智能體算法，相比基線方法綜合獎(jiǎng)勵(lì)提升16.8%，系統(tǒng)時(shí)延降低24.5%，控制誤差減少10.4%。證明了大模型可加速策略學(xué)習(xí)，抑制策略波動(dòng)，顯著提升系統(tǒng)穩(wěn)定性與控制效果。
 

　　相關(guān)成果以LLM-Enhanced Multi-Agent Transfer Reinforcement Learning for Sensing, Communication, Computing, and Control Co-Optimization in Cyber-Physical Systems為題發(fā)表，碩士生張俊遠(yuǎn)為論文第一作者，許馳研究員為通訊作者。該研究得到了國(guó)家自然科學(xué)基金項(xiàng)目、遼寧省科技計(jì)劃項(xiàng)目和遼寧省“興遼英才”計(jì)劃項(xiàng)目的支持。
 

　　引用：沈陽自動(dòng)化所在大模型賦能“感-通-算-控”協(xié)同優(yōu)化研究方面取得進(jìn)展  中國(guó)科學(xué)院沈陽自動(dòng)化研究所 【2026年7月10日】