【儀表網(wǎng) 研發(fā)快訊】結(jié)構(gòu)光三維重建技術(shù)廣泛應(yīng)用于智能制造、自動(dòng)駕駛、人臉識別等領(lǐng)域。條紋投影輪廓測量作為主要的結(jié)構(gòu)光3D重建技術(shù)之一，因其穩(wěn)定性和高精度在工業(yè)和科研中得到了廣泛應(yīng)用。然而，條紋輪廓測量的前提是獲取精準(zhǔn)的調(diào)制圖案，這一過程中，受到相機(jī)成像動(dòng)態(tài)范圍的限制，尤其是對于具有不同表面反射率的物體，重建效果往往不理想，極大地限制了其在復(fù)雜場景中的應(yīng)用，特別是在工業(yè)零部件的測量中，傳統(tǒng)的多次曝光圖案合成方法效率低，難以滿足快速和高精度的需求。因此，如何快速準(zhǔn)確地獲取高動(dòng)態(tài)范圍圖像，成為提升三維測量精度的關(guān)鍵挑戰(zhàn)。深度神經(jīng)網(wǎng)絡(luò)作為數(shù)據(jù)驅(qū)動(dòng)的方法，已成為提升高動(dòng)態(tài)范圍(HDR)場景下快速高精度測量的重要方向。
 

　　近日，清華大學(xué)深圳國際研究生院李星輝副教授團(tuán)隊(duì)與鵬城實(shí)驗(yàn)室合作提出了一種基于深度學(xué)習(xí)的HDR結(jié)構(gòu)光三維重建網(wǎng)絡(luò)——高動(dòng)態(tài)范圍結(jié)構(gòu)光網(wǎng)絡(luò)(HDRSL-Net)。該網(wǎng)絡(luò)包含HDR條紋生成模塊和相位求解模塊。HDR條紋生成模塊通過長短曝光的低動(dòng)態(tài)范圍條紋圖輸入，利用注意力權(quán)重引導(dǎo)網(wǎng)絡(luò)聚焦于高反射物體的低曝光條紋和低反射物體的高曝光條紋特征，同時(shí)通過特征層的權(quán)重蒸餾約束特征邊界，從而合成具有相位特征的HDR條紋，顯著減少所需曝光次數(shù)。相位求解模塊則解算重建后的HDR條紋圖案中的相位信息。最終，HDRSL-Net保留了傳統(tǒng)多次曝光相移方法的高精度和抗干擾性，將所需條紋圖案由傳統(tǒng)的K×N×M減少至2×N×1，大幅提升了測量速度。
 

圖1.HDRSL Net網(wǎng)絡(luò)結(jié)構(gòu)
 

　　針對當(dāng)前缺乏HDR場景結(jié)構(gòu)光數(shù)據(jù)集的問題，研究團(tuán)隊(duì)基于工業(yè)應(yīng)用場景，搭建了面向HDR場景的結(jié)構(gòu)光測量系統(tǒng)，并整理了包含1700組金屬物體的結(jié)構(gòu)光數(shù)據(jù)集。該數(shù)據(jù)集涵蓋不同反射率材料、機(jī)加工特征、形狀和尺寸，每個(gè)物體采用4次曝光、4頻、12步相移法處理，結(jié)果作為真值數(shù)據(jù)。該數(shù)據(jù)集可作為HDR場景測量的結(jié)構(gòu)光基準(zhǔn)數(shù)據(jù)集。
 

圖2.HDR結(jié)構(gòu)光測量系統(tǒng)
 

　　圖3.金屬數(shù)據(jù)集(a)-(e)為高反射(鋁合金、不銹鋼、鍍鎳合金、鋁、黃銅)；(f)和(g)為低反射材料(氧化鎂合金、鑄鐵)

 

　　在金屬數(shù)據(jù)集上，HDRSL-Net能同時(shí)重建高反射率、正常反射率和低反射率物體的HDR條紋，并精確求解其絕對相位和三維形貌。該方法在金屬數(shù)據(jù)集上實(shí)現(xiàn)了MAE 0.0105的相位誤差，接近傳統(tǒng)6步相移法，同時(shí)僅需8.3%的條紋圖案，并通過實(shí)驗(yàn)驗(yàn)證了其抗反射干擾的能力。此外，HDRSL-Net在公開的石膏數(shù)據(jù)集上達(dá)到了接近傳統(tǒng)4步相移法的相位精度，并在標(biāo)準(zhǔn)件物體(如球體、平面、金屬階梯)上實(shí)現(xiàn)了sub50微米的三維重建精度，顯著優(yōu)于現(xiàn)有面向HDR場景的各種結(jié)構(gòu)光網(wǎng)絡(luò)。該方法不僅保留了多步PSP方法的高精度與抗干擾性，還顯著減少了對投影條紋圖樣的依賴，推動(dòng)了深度學(xué)習(xí)結(jié)構(gòu)光方法的實(shí)際應(yīng)用。
 

　　圖4. 不同反射率物體結(jié)果(1)物體圖；(2)HDR生成模塊重建條紋；(3)絕對相位誤差；(4)重建的三維點(diǎn)云

 

圖5.HDRSL Net抗金屬互反射特性驗(yàn)證
 

　　研究成果以“HDRSL-Net基于高動(dòng)態(tài)范圍成像的高精度結(jié)構(gòu)光三維重建”(HDRSL-Net for Accurate High Dynamic Range Imaging-based Structured Light 3D Reconstruction)為題，于8月25日發(fā)表于《IEEE圖像處理》(IEEE Transactions on Image Processing)。
 

　　清華大學(xué)深圳國際研究生院2023級博士生王浩為論文第一作者，深圳國際研究生院副教授李星輝為論文通訊作者，鵬城實(shí)驗(yàn)室副研究員梁驍俊為共同通訊作者。其他作者包括鵬城實(shí)驗(yàn)室助理研究員張超波，清華大學(xué)深圳國際研究生院副教授錢翔、教授王曉浩，中南大學(xué)桂衛(wèi)華院士及鵬城實(shí)驗(yàn)室高文院士。研究得到深圳市自然科學(xué)基金項(xiàng)目、鵬城實(shí)驗(yàn)室重大攻關(guān)項(xiàng)目等的支持。