清華新聞網(wǎng)9月4日電 結(jié)構(gòu)光三維重建技術(shù)廣泛應(yīng)用于智能制造、自動(dòng)駕駛、人臉識(shí)別等領(lǐng)域。條紋投影輪廓測(cè)量作為主要的結(jié)構(gòu)光3D重建技術(shù)之一，因其穩(wěn)定性和高精度在工業(yè)和科研中得到了廣泛應(yīng)用。然而，條紋輪廓測(cè)量的前提是獲取精準(zhǔn)的調(diào)制圖案，這一過(guò)程中，受到相機(jī)成像動(dòng)態(tài)范圍的限制，尤其是對(duì)于具有不同表面反射率的物體，重建效果往往不理想，極大地限制了其在復(fù)雜場(chǎng)景中的應(yīng)用，特別是在工業(yè)零部件的測(cè)量中，傳統(tǒng)的多次曝光圖案合成方法效率低，難以滿(mǎn)足快速和高精度的需求。因此，如何快速準(zhǔn)確地獲取高動(dòng)態(tài)范圍圖像，成為提升三維測(cè)量精度的關(guān)鍵挑戰(zhàn)。深度神經(jīng)網(wǎng)絡(luò)作為數(shù)據(jù)驅(qū)動(dòng)的方法，已成為提升高動(dòng)態(tài)范圍（HDR）場(chǎng)景下快速高精度測(cè)量的重要方向。
近日，清華大學(xué)深圳國(guó)際研究生院李星輝副教授團(tuán)隊(duì)與鵬城實(shí)驗(yàn)室合作提出了一種基于深度學(xué)習(xí)的HDR結(jié)構(gòu)光三維重建網(wǎng)絡(luò)——高動(dòng)態(tài)范圍結(jié)構(gòu)光網(wǎng)絡(luò)（HDRSL-Net）。該網(wǎng)絡(luò)包含HDR條紋生成模塊和相位求解模塊。HDR條紋生成模塊通過(guò)長(zhǎng)短曝光的低動(dòng)態(tài)范圍條紋圖輸入，利用注意力權(quán)重引導(dǎo)網(wǎng)絡(luò)聚焦于高反射物體的低曝光條紋和低反射物體的高曝光條紋特征，同時(shí)通過(guò)特征層的權(quán)重蒸餾約束特征邊界，從而合成具有相位特征的HDR條紋，顯著減少所需曝光次數(shù)。相位求解模塊則解算重建后的HDR條紋圖案中的相位信息。最終，HDRSL-Net保留了傳統(tǒng)多次曝光相移方法的高精度和抗干擾性，將所需條紋圖案由傳統(tǒng)的K×N×M減少至2×N×1，大幅提升了測(cè)量速度。
圖1.HDRSL Net網(wǎng)絡(luò)結(jié)構(gòu)
針對(duì)當(dāng)前缺乏HDR場(chǎng)景結(jié)構(gòu)光數(shù)據(jù)集的問(wèn)題，研究團(tuán)隊(duì)基于工業(yè)應(yīng)用場(chǎng)景，搭建了面向HDR場(chǎng)景的結(jié)構(gòu)光測(cè)量系統(tǒng)，并整理了包含1700組金屬物體的結(jié)構(gòu)光數(shù)據(jù)集。該數(shù)據(jù)集涵蓋不同反射率材料、機(jī)加工特征、形狀和尺寸，每個(gè)物體采用4次曝光、4頻、12步相移法處理，結(jié)果作為真值數(shù)據(jù)。該數(shù)據(jù)集可作為HDR場(chǎng)景測(cè)量的結(jié)構(gòu)光基準(zhǔn)數(shù)據(jù)集。
圖2.HDR結(jié)構(gòu)光測(cè)量系統(tǒng)
圖3.金屬數(shù)據(jù)集（a）-（e）為高反射（鋁合金、不銹鋼、鍍鎳合金、鋁、黃銅）；（f）和（g）為低反射材料（氧化鎂合金、鑄鐵）
在金屬數(shù)據(jù)集上，HDRSL-Net能同時(shí)重建高反射率、正常反射率和低反射率物體的HDR條紋，并精確求解其絕對(duì)相位和三維形貌。該方法在金屬數(shù)據(jù)集上實(shí)現(xiàn)了MAE 0.0105的相位誤差，接近傳統(tǒng)6步相移法，同時(shí)僅需8.3%的條紋圖案，并通過(guò)實(shí)驗(yàn)驗(yàn)證了其抗反射干擾的能力。此外，HDRSL-Net在公開(kāi)的石膏數(shù)據(jù)集上達(dá)到了接近傳統(tǒng)4步相移法的相位精度，并在標(biāo)準(zhǔn)件物體（如球體、平面、金屬階梯）上實(shí)現(xiàn)了sub50微米的三維重建精度，顯著優(yōu)于現(xiàn)有面向HDR場(chǎng)景的各種結(jié)構(gòu)光網(wǎng)絡(luò)。該方法不僅保留了多步PSP方法的高精度與抗干擾性，還顯著減少了對(duì)投影條紋圖樣的依賴(lài)，推動(dòng)了深度學(xué)習(xí)結(jié)構(gòu)光方法的實(shí)際應(yīng)用。
圖4. 不同反射率物體結(jié)果（1）物體圖；（2）HDR生成模塊重建條紋；（3）絕對(duì)相位誤差；（4）重建的三維點(diǎn)云
圖5.HDRSL Net抗金屬互反射特性驗(yàn)證
研究成果以“HDRSL-Net基于高動(dòng)態(tài)范圍成像的高精度結(jié)構(gòu)光三維重建”（HDRSL-Net for Accurate High Dynamic Range Imaging-based Structured Light 3D Reconstruction）為題，于8月25日發(fā)表于《IEEE圖像處理》（IEEE Transactions on Image Processing）。
清華大學(xué)深圳國(guó)際研究生院2023級(jí)博士生王浩為論文第一作者，深圳國(guó)際研究生院副教授李星輝為論文通訊作者，鵬城實(shí)驗(yàn)室副研究員梁驍俊為共同通訊作者。其他作者包括鵬城實(shí)驗(yàn)室助理研究員張超波，清華大學(xué)深圳國(guó)際研究生院副教授錢(qián)翔、教授王曉浩，中南大學(xué)桂衛(wèi)華院士及鵬城實(shí)驗(yàn)室高文院士。研究得到深圳市自然科學(xué)基金項(xiàng)目、鵬城實(shí)驗(yàn)室重大攻關(guān)項(xiàng)目等的支持。
論文鏈接：
https://ieeexplore.ieee.org/document/11139108
供稿：深圳國(guó)際研究生院
編輯：李華山
審核：郭玲
