【儀表網(wǎng) 研發(fā)快訊】多模態(tài)大模型在通用任務(wù)上表現(xiàn)出色，但缺乏細(xì)粒度感知能力，如何做到又廣(開(kāi)域泛化能力)又深(細(xì)粒度感知能力)，是推動(dòng)大模型從聊天助手到自動(dòng)駕駛、具身智能、醫(yī)療影像、工業(yè)制造等實(shí)際應(yīng)用中急需解決的關(guān)鍵問(wèn)題。針對(duì)上述問(wèn)題，北京大學(xué)王選計(jì)算機(jī)研究所彭宇新教授團(tuán)隊(duì)近期取得了一系列重要進(jìn)展，包括研發(fā)并開(kāi)源了首個(gè)細(xì)粒度多模態(tài)大模型Finedefics、發(fā)表首篇細(xì)粒度多模態(tài)大模型綜述論文等。相關(guān)成果發(fā)表于IEEE TPAMI、CVPR、ICLR等人工智能領(lǐng)域國(guó)際頂級(jí)期刊和會(huì)議，包括CVPR的口頭報(bào)告論文(接收率3.3%)和亮點(diǎn)論文(接收率13.5%)。
 

圖1. 細(xì)粒度多模態(tài)大模型Finedefics
 

　　針對(duì)現(xiàn)有大模型無(wú)法準(zhǔn)確區(qū)分細(xì)粒度類別的問(wèn)題，團(tuán)隊(duì)研發(fā)并開(kāi)源了首個(gè)細(xì)粒度多模態(tài)大模型Finedefics，首先通過(guò)與大模型的多輪交互構(gòu)建細(xì)粒度子類別的屬性知識(shí)，然后通過(guò)判別-生成統(tǒng)一的指令微調(diào)將屬性知識(shí)分別與細(xì)粒度子類別的圖像與文本對(duì)齊，實(shí)現(xiàn)數(shù)據(jù)-知識(shí)協(xié)同訓(xùn)練，提高了多模態(tài)大模型的細(xì)粒度圖像分類能力，準(zhǔn)確率達(dá)到76.84%，相比阿里的通義千問(wèn)大模型(QwenVL-Chat)提高了9.43%，相比HuggingFace的Idefics2大模型提高了10.89%。本工作發(fā)表于人工智能領(lǐng)域國(guó)際頂級(jí)會(huì)議ICLR 2025。
 

圖2. 細(xì)粒度視覺(jué)推理算法DyFo
 

　　針對(duì)現(xiàn)有大模型無(wú)法準(zhǔn)確識(shí)別圖像中微小目標(biāo)的問(wèn)題，團(tuán)隊(duì)提出了細(xì)粒度視覺(jué)推理算法DyFo，通過(guò)視覺(jué)專家模型與多模態(tài)大模型的協(xié)同，在無(wú)需額外訓(xùn)練的前提下，模擬人類視覺(jué)搜索行為逐步聚焦圖像關(guān)鍵區(qū)域，提高了多模態(tài)大模型的細(xì)粒度視覺(jué)識(shí)別能力，準(zhǔn)確率達(dá)到81.15%，相比阿里的通義千問(wèn)大模型(Qwen2-VL)提高了8.90%。本工作發(fā)表于計(jì)算機(jī)視覺(jué)領(lǐng)域國(guó)際頂級(jí)會(huì)議CVPR 2025，入選大會(huì)亮點(diǎn)論文(接收率13.5%)。
 

圖3. 以人為中心的細(xì)粒度人體動(dòng)作質(zhì)量評(píng)估方法Uni-FineParser
 

　　針對(duì)運(yùn)動(dòng)視頻中人體動(dòng)作難以分析的問(wèn)題，團(tuán)隊(duì)提出了以人為中心的細(xì)粒度人體動(dòng)作質(zhì)量評(píng)估方法Uni-FineParser，通過(guò)聚焦前景目標(biāo)動(dòng)作區(qū)域，提取以人為中心的動(dòng)作表征，然后通過(guò)細(xì)粒度對(duì)比回歸將動(dòng)作過(guò)程分解為連續(xù)的動(dòng)作步驟，量化每個(gè)動(dòng)作步驟的質(zhì)量，綜合各步驟質(zhì)量差異預(yù)測(cè)最終動(dòng)作質(zhì)量得分，動(dòng)作得分的斯皮爾曼相關(guān)系數(shù)達(dá)到95.01%。本工作發(fā)表于人工智能領(lǐng)域國(guó)際頂級(jí)期刊IEEE TPAMI(影響因子18.6)。
 

圖4. 細(xì)粒度感知定義
 

　　團(tuán)隊(duì)根據(jù)在細(xì)粒度分析和多模態(tài)大模型領(lǐng)域的技術(shù)積累與前沿探索，發(fā)表了首篇細(xì)粒度多模態(tài)大模型綜述論文，剖析了當(dāng)前多模態(tài)大模型的三大挑戰(zhàn)：模型架構(gòu)在細(xì)粒度特征建模上的不足；高質(zhì)量細(xì)粒度標(biāo)注數(shù)據(jù)稀缺；細(xì)粒度感知與計(jì)算效率之間的矛盾。論文從類別、空間、時(shí)間3個(gè)維度定義了細(xì)粒度感知，系統(tǒng)闡述了細(xì)粒度多模態(tài)大模型的最新研究進(jìn)展，并深入探討了精度-泛化-效率權(quán)衡、知識(shí)增強(qiáng)策略、理解與生成統(tǒng)一、大規(guī)模評(píng)測(cè)基準(zhǔn)、細(xì)粒度多模態(tài)推理等未來(lái)發(fā)展方向。本工作發(fā)表于CJE 2026。
 

　　除上述代表論文外，團(tuán)隊(duì)近期還取得了如下主要研究成果：團(tuán)隊(duì)近期的4篇論文發(fā)表于人工智能領(lǐng)域國(guó)際頂級(jí)期刊IEEE TPAMI，一篇論文入選CVPR大會(huì)口頭報(bào)告(接收率3.3%)，3篇論文入選CVPR大會(huì)亮點(diǎn)論文(接收率11.8%)，兩篇論文入選2025年ESI高被引論文；構(gòu)建并開(kāi)源了兩個(gè)細(xì)粒度人體運(yùn)動(dòng)分析數(shù)據(jù)集和評(píng)測(cè)基準(zhǔn)FineDiving-HM和FineSports，已被斯坦福大學(xué)、英偉達(dá)等60多個(gè)研究機(jī)構(gòu)使用，團(tuán)隊(duì)還研發(fā)了首個(gè)在國(guó)產(chǎn)昇騰處理器上完成訓(xùn)練的生物領(lǐng)域細(xì)粒度多模態(tài)大模型，并發(fā)布到開(kāi)源社區(qū)；團(tuán)隊(duì)研發(fā)了端側(cè)大模型輕量化、美學(xué)理解、大模型強(qiáng)化學(xué)習(xí)加速、電商廣告海報(bào)生成、電商短視頻生成、自動(dòng)駕駛障礙物感知等系統(tǒng)，應(yīng)用于華為、快手、阿里、騰訊、美團(tuán)、蔚來(lái)、中國(guó)電信、中國(guó)鐵塔、中國(guó)航天科工三院等12家頭部企業(yè)；參加CVPR 2025第一視角視頻檢測(cè)競(jìng)賽、CVPR 2025多模態(tài)視覺(jué)問(wèn)答競(jìng)賽、ACM MM 2025視頻生成競(jìng)賽，均獲第一名；彭宇新獲2025年青年科學(xué)基金項(xiàng)目A類(原國(guó)家杰青)延續(xù)資助(當(dāng)年資助期滿的杰青項(xiàng)目中不超過(guò)20%獲延續(xù)資助)，入選2026年度IEEE Fellow、2025年度CCF會(huì)士，當(dāng)選中國(guó)圖象圖形學(xué)學(xué)會(huì)第九屆理事會(huì)副理事長(zhǎng)，連續(xù)5年入選愛(ài)思唯爾“中國(guó)高被引學(xué)者”，主持2025年國(guó)家自然科學(xué)基金重點(diǎn)項(xiàng)目等。