【儀表網(wǎng) 研發(fā)快訊】近年來，深度強(qiáng)化學(xué)習(xí)技術(shù)迎來了現(xiàn)象級的爆發(fā)式增長，它在算力、數(shù)據(jù)和算法的協(xié)同進(jìn)步下，展現(xiàn)出解決復(fù)雜決策問題的強(qiáng)大能力，尤其在AlphaGo的成功后，深度強(qiáng)化學(xué)習(xí)已成為人工智能領(lǐng)域最前沿(各類大語言模型)和最受關(guān)注的研究方向之一。也是當(dāng)前火熱的具身智能研究的核心基座技術(shù)，該技術(shù)通過真實(shí)世界的交互來感知、學(xué)習(xí)、理解并行動，促進(jìn)人工智能以更接近人類的學(xué)習(xí)方式，實(shí)現(xiàn)從虛擬世界到現(xiàn)實(shí)世界的智能跨越，為服務(wù)機(jī)器人、工業(yè)自動化、探索救援等多個領(lǐng)域帶來顛覆性變革，并被視為未來通用人工智能實(shí)現(xiàn)的關(guān)鍵路徑。
 

　　近日，蘭州大學(xué)信息科學(xué)與工程學(xué)院周慶國教授研究團(tuán)隊(duì)在深度強(qiáng)化學(xué)習(xí)和機(jī)器人研究中取得新進(jìn)展。相關(guān)成果以題為“Physics-Informed Continuous-Time Reinforcement Learning with Data-Driven Approach for Robotic Arm Manipulation”被工業(yè)領(lǐng)域的國際期刊Journal of Industrial Information Integration接收發(fā)表，蘭州大學(xué)作為第一單位在該期刊發(fā)表。
 

具身智能示意圖
 

　　傳統(tǒng)依賴于數(shù)據(jù)驅(qū)動的深度強(qiáng)化學(xué)習(xí)方法主要依賴經(jīng)驗(yàn)風(fēng)險最小化策略來擬合最優(yōu)值函數(shù)，往往忽略了環(huán)境的動態(tài)系統(tǒng)特性。研究團(tuán)隊(duì)針對現(xiàn)有數(shù)據(jù)驅(qū)動型深度強(qiáng)化學(xué)習(xí)方法在學(xué)習(xí)動態(tài)系統(tǒng)時的局限性，創(chuàng)新地提出了一種基于物理信息的連續(xù)時間強(qiáng)化學(xué)習(xí)方法。該方法從理論層面深入分析了強(qiáng)化學(xué)習(xí)模型中的結(jié)構(gòu)風(fēng)險最小化機(jī)制，并創(chuàng)新性地將物理信息融入離散和連續(xù)強(qiáng)化學(xué)習(xí)算法框架中，全面總結(jié)了不同物理信息約束和邊界約束對學(xué)習(xí)框架的影響。
 

融合物理信息的連續(xù)時間深度強(qiáng)化學(xué)習(xí)示意圖
 

　　實(shí)驗(yàn)結(jié)果從經(jīng)驗(yàn)風(fēng)險最小化和結(jié)構(gòu)風(fēng)險最小化兩個維度驗(yàn)證了模型的有效性，為深度強(qiáng)化學(xué)習(xí)方法在復(fù)雜動態(tài)系統(tǒng)控制策略優(yōu)化方面提供了有力的理論依據(jù)和實(shí)踐證據(jù)，也為解決實(shí)際動態(tài)系統(tǒng)控制問題提供了新的技術(shù)路徑。
 

在PandaGym模擬環(huán)境中的實(shí)驗(yàn)結(jié)果圖
 

　　論文通訊作者為團(tuán)隊(duì)雍賓賓副教授、周慶國教授，第一作者為在讀博士生王金強(qiáng)。論文合作者包括澳大利亞University of Wollongong沈俊教授等。該研究同時得到了國家自然科學(xué)基金(U22A20261)、蘭州大學(xué)中央高?；究蒲袠I(yè)務(wù)費(fèi)專項(xiàng)資金(lzujbky-2024-eyt01)等基金的資助以及蘭州大學(xué)超算中心的支持。