【儀表網(wǎng) 儀表研發(fā)】由地震、滑坡、塌方等掩埋事故造成的視覺(jué)感知障礙對(duì)受困人員的搜索和定位造成阻礙。為了確保最佳救援時(shí)機(jī)，提升搜救成功率和生還率，依托國(guó)家科技創(chuàng)新2030“新一代人工智能”重大項(xiàng)目，針對(duì)極端環(huán)境無(wú)視覺(jué)輸入情況下對(duì)受困人員的識(shí)別與救援需求，中國(guó)科學(xué)院上海微系統(tǒng)與信息技術(shù)研究所研究員陶虎團(tuán)隊(duì)受自然界星鼻鼴鼠“觸嗅融合”感知啟發(fā)，將MEMS嗅覺(jué)、觸覺(jué)柔性傳感器陣列與多模態(tài)機(jī)器學(xué)習(xí)算法融合，構(gòu)建了仿星鼻鼴鼠觸嗅一體智能機(jī)械手。得益于硅基MEMS氣體傳感器(靈敏度超越人類(lèi)1個(gè)數(shù)量級(jí))、壓力傳感器(探測(cè)限超越人類(lèi)1個(gè)數(shù)量級(jí))的優(yōu)異性能，該機(jī)械手手指觸摸物體后可準(zhǔn)確獲取其局部微形貌、材質(zhì)硬度和整體輪廓等關(guān)鍵特征，掌心可同步嗅出物體“指紋”氣味，進(jìn)一步通過(guò)仿生觸嗅聯(lián)覺(jué) (BOT) 機(jī)器學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)實(shí)時(shí)處理，最終完成識(shí)別人體、確認(rèn)部位、判斷掩埋狀態(tài)、移開(kāi)障礙物、閉環(huán)救援。
 

　　上海微系統(tǒng)所科研人員與應(yīng)急管理部上海消防研究所合作，通過(guò)到一線(xiàn)消防救援單位實(shí)地調(diào)研，真實(shí)還原構(gòu)建了人體被瓦礫石堆覆蓋的掩埋場(chǎng)景，在此環(huán)境下對(duì)包括人體在內(nèi)的11種典型物體進(jìn)行識(shí)別，觸嗅聯(lián)覺(jué)識(shí)別準(zhǔn)確率達(dá)96.9%，較單一感覺(jué)提升了15%。相較麻省理工學(xué)院發(fā)表于Nature(DOI：10.1038/s41586-019-1234-z)的單一觸覺(jué)(548個(gè)傳感器)感知研究，該工作通過(guò)觸(70個(gè))、嗅(6個(gè))聯(lián)覺(jué)，僅使用1/7數(shù)量的傳感器，達(dá)到了更理想的識(shí)別目的，并且縮小后的傳感器規(guī)模和樣本量更適合復(fù)雜環(huán)境、資源有限條件下的快速反應(yīng)和應(yīng)用。此外，面對(duì)在實(shí)際救援中常見(jiàn)的存在干擾氣體或器件部分損壞等情況，通過(guò)多模態(tài)感知的互補(bǔ)和神經(jīng)網(wǎng)絡(luò)的快速調(diào)節(jié)，該系統(tǒng)仍保持良好的準(zhǔn)確率(>80%)。
 

　　相關(guān)研究成果以A star-nose-like tactile-olfactory bionic sensing array for robust object recognition in non-visual environments為題，于2022年1月10日發(fā)表在Nature Communications上。研究工作得到科技創(chuàng)新2030-重大項(xiàng)目、國(guó)家重點(diǎn)研發(fā)計(jì)劃、國(guó)家自然科學(xué)基金優(yōu)秀青年基金、中科院基礎(chǔ)前沿科學(xué)研究計(jì)劃“從0到1”原始創(chuàng)新項(xiàng)目、上海市優(yōu)秀學(xué)術(shù)帶頭人計(jì)劃等的支持。