【儀表網(wǎng) 研發(fā)快訊】近日，中國(guó)科學(xué)院合肥物質(zhì)院智能所王紅強(qiáng)研究員團(tuán)隊(duì)在跨模態(tài)機(jī)器視覺(jué)領(lǐng)域取得重要進(jìn)展，提出了一種基于非對(duì)稱孿生Transformer的全局-局部對(duì)齊注意力模型(AST-GLAA)，顯著提升了可見(jiàn)光-X光跨模態(tài)包裹重識(shí)別任務(wù)的性能。該研究成果被信息安全領(lǐng)域頂級(jí)期刊《IEEE信息取證與安全匯刊》正式接收。
 

　　可見(jiàn)光-X光跨模態(tài)包裹重識(shí)別是安檢領(lǐng)域的核心技術(shù)，其難點(diǎn)在于兩種模態(tài)圖像存在顯著的像素級(jí)差異，導(dǎo)致傳統(tǒng)方法難以提取魯棒的跨模態(tài)不變特征。研究團(tuán)隊(duì)創(chuàng)新性地將非對(duì)稱設(shè)計(jì)思想引入孿生Transformer架構(gòu)，提出跨模態(tài)非對(duì)稱孿生Transformer結(jié)構(gòu)，通過(guò)在一側(cè)分支嵌入LayerNorm層和模態(tài)感知編碼，有效增強(qiáng)了模型對(duì)跨模態(tài)不變特征的提取能力。同時(shí)，團(tuán)隊(duì)設(shè)計(jì)了全局-局部跨模態(tài)對(duì)齊注意力模塊，通過(guò)建模全局與局部特征的交互關(guān)系，在提升細(xì)粒度特征表征的同時(shí)，解決了跨模態(tài)圖像空間錯(cuò)位問(wèn)題。
 

　　該研究工作首次將Transformer架構(gòu)引入跨模態(tài)包裹重識(shí)別任務(wù)，突破了現(xiàn)有方法依賴對(duì)稱卷積網(wǎng)絡(luò)的局限。實(shí)驗(yàn)表明，該模型在跨模態(tài)包裹重識(shí)別專用數(shù)據(jù)集上的關(guān)鍵指標(biāo)較現(xiàn)有最優(yōu)方法提升顯著，為安檢智能化提供了可靠技術(shù)支撐。
 

　　論文第一作者為博士生吳勇敢，通訊作者為王紅強(qiáng)研究員。研究獲得國(guó)家自然科學(xué)基金、中國(guó)科學(xué)院裝備研制等項(xiàng)目的支持。
 

可見(jiàn)光-X光跨模態(tài)包裹重識(shí)別任務(wù)及核心思路示意圖
 

基于非對(duì)稱孿生Transformer的全局-局部對(duì)齊注意力模型概覽