【儀表網(wǎng) 研發(fā)快訊】隨著Deepseek-R1、GPT-5以及通義萬(wàn)相等大模型的接連出圈，人工智能生成內(nèi)容(AIGC)技術(shù)受到越來(lái)越多的關(guān)注。AIGC在為內(nèi)容創(chuàng)作、文化傳播帶來(lái)新發(fā)展契機(jī)的同時(shí)，也為虛假信息、合成媒體濫用以及深度偽造等新型社會(huì)安全威脅的滋生與擴(kuò)散提供了技術(shù)基礎(chǔ)和發(fā)展溫床。為此，針對(duì)AI生成式信息的檢測(cè)，亟需發(fā)展具備跨模態(tài)感知與細(xì)粒度辨?zhèn)文芰Φ募夹g(shù)手段，以應(yīng)對(duì)日益復(fù)雜的多重偽造挑戰(zhàn)。
 

　　在國(guó)家自然科學(xué)基金等項(xiàng)目資助下，西安交通大學(xué)電信學(xué)部計(jì)算機(jī)學(xué)院孫鶴立教授團(tuán)隊(duì)針對(duì)視聽(tīng)跨模態(tài)場(chǎng)景下的偽造人臉檢測(cè)開(kāi)展研究，提出通用面部表征建模與強(qiáng)判別性偽造特征捕捉的二階段學(xué)習(xí)范式(如圖1)。具體而言，首先構(gòu)建出當(dāng)前業(yè)界最大的多源混合式自監(jiān)督視聽(tīng)人臉表征學(xué)習(xí)數(shù)據(jù)集以支撐大規(guī)模編碼器預(yù)訓(xùn)練，其次設(shè)計(jì)提出迭代感知的漸進(jìn)式分級(jí)上下文聚合組件以促進(jìn)高效跨模態(tài)融合與偽造線索捕獲，最后引入偽監(jiān)督信號(hào)語(yǔ)義注入策略以從全局層面進(jìn)一步拓寬深度模型的判別邊界，并提升對(duì)于細(xì)微人臉偽造痕跡的魯棒檢測(cè)能力。在多媒體領(lǐng)域國(guó)際頂級(jí)會(huì)議ACM Multimedia 2025(計(jì)算機(jī)學(xué)會(huì)推薦的A類會(huì)議)上，所提出的方法超越了來(lái)自美國(guó)普渡大學(xué)、韓國(guó)成均館大學(xué)、中國(guó)科學(xué)技術(shù)大學(xué)以及Pindrop(美國(guó)語(yǔ)音安全領(lǐng)域頭部公司)等多個(gè)國(guó)內(nèi)外研究團(tuán)隊(duì)，獲得2025年1M-Deepfake檢測(cè)全球挑戰(zhàn)賽總冠軍。在共包含80萬(wàn)條樣本的測(cè)試集上，取得超出第二名4.76個(gè)百分點(diǎn)的優(yōu)異成績(jī)。
 

　　該研究工作為AI生成式信息檢測(cè)技術(shù)的發(fā)展提供了一種新方案，并能夠?yàn)橥ㄓ靡暵?tīng)場(chǎng)景理解以及數(shù)字內(nèi)容安全治理體系的構(gòu)建帶來(lái)可行的實(shí)踐參考。
 

圖1. 面向偽造人臉檢測(cè)的二階段學(xué)習(xí)范式示意圖
 

　　同時(shí)，基于上述研究成果形成的學(xué)術(shù)論文HOLA: Enhancing Audio-visual Deepfake Detection via Hierarchical Contextual Aggregations and Efficient Pre-training已被ACM Multimedia 2025國(guó)際多媒體大會(huì)接收。孫鶴立教授與計(jì)算機(jī)學(xué)院2023級(jí)碩士研究生武雪程為共同第一作者，西安交通大學(xué)為第一署名單位。