清華新聞網(wǎng)2月24日電 普通相機(jī)只能拍攝物體的二維平面圖像。近年來(lái)，三維立體視覺(jué)在消費(fèi)電子、機(jī)器人、汽車(chē)智能化和工業(yè)自動(dòng)化等新興領(lǐng)域中開(kāi)始扮演愈發(fā)重要的角色。三維空間維度之外，光場(chǎng)提供的額外信息維度，例如偏振、光譜等，可以揭示場(chǎng)景更加豐富的特征，對(duì)于目標(biāo)識(shí)別與追蹤、特征分析、圖像增強(qiáng)等任務(wù)有著重要的作用。為獲取額外維度光場(chǎng)信息，光學(xué)系統(tǒng)通常需要更大的體積、重量和功耗。例如，獲取物體深度信息需要主動(dòng)激光照明或采用多視角拍攝；獲取物體偏振信息需要通過(guò)分振幅、分焦面等方式。通常單一光學(xué)系統(tǒng)難以同時(shí)記錄多個(gè)維度的光場(chǎng)信息。
針對(duì)以上難題，清華大學(xué)精儀系光電工程研究所楊原牧副教授課題組提出利用一種基于半導(dǎo)體工藝制造的新型平面衍射光學(xué)元件“超構(gòu)表面”（metasurface）替代傳統(tǒng)相機(jī)鏡頭組，通過(guò)在亞波長(zhǎng)尺度靈活設(shè)計(jì)超構(gòu)表面結(jié)構(gòu)單元，構(gòu)造對(duì)場(chǎng)景深度、偏振敏感的成像系統(tǒng)點(diǎn)擴(kuò)散函數(shù)，將多維光場(chǎng)信息編碼在相機(jī)傳感器上，結(jié)合相應(yīng)計(jì)算成像算法，實(shí)現(xiàn)了一種新體制小型化多維光場(chǎng)相機(jī)，能夠在無(wú)需主動(dòng)激光照明的情況下，通過(guò)單次拍攝同時(shí)獲取目標(biāo)場(chǎng)景包含二維強(qiáng)度、深度、偏振在內(nèi)的四維光場(chǎng)信息。
圖1. 單目超構(gòu)表面相機(jī)被動(dòng)快照式四維成像框架
該相機(jī)工作原理如圖1所示。超構(gòu)表面由半導(dǎo)體工藝加工的各向異性硅基納米天線(xiàn)陣列構(gòu)成，總口徑為2毫米。通過(guò)對(duì)其點(diǎn)擴(kuò)散函數(shù)進(jìn)行精心設(shè)計(jì)與優(yōu)化，目標(biāo)場(chǎng)景會(huì)在像面上形成一對(duì)空間分離的正交偏振孿生圖像。場(chǎng)景的深度信息與這對(duì)孿生圖像與其幾何像點(diǎn)的局部平移矢量一一對(duì)應(yīng)，由此關(guān)系可以通過(guò)算法重建出場(chǎng)景的擴(kuò)展景深二維圖像、深度圖像與偏振信息。該設(shè)計(jì)解決了以往單目三維成像工作中存在的重建精度差、重建耗時(shí)長(zhǎng)及深度范圍小等問(wèn)題，并進(jìn)一步實(shí)現(xiàn)了對(duì)目標(biāo)場(chǎng)景偏振信息的獲取。
圖2. 室內(nèi)靜態(tài)場(chǎng)景四維成像實(shí)驗(yàn)
本工作中的超構(gòu)表面芯片和由其構(gòu)成的相機(jī)系統(tǒng)實(shí)物如圖2a-c所示。室內(nèi)靜態(tài)場(chǎng)景四維成像實(shí)驗(yàn)部分結(jié)果如圖2d-f所示。利用該相機(jī)同時(shí)拍攝放置在不同深度的紙張、鐵片和陶瓷物體，可以同時(shí)獲取場(chǎng)景的四維光場(chǎng)信息，深度圖誤差僅為0.37%，并且通過(guò)偏振信息可以清晰區(qū)分金屬與非金屬材質(zhì)。
圖3. 室外動(dòng)態(tài)場(chǎng)景四維成像實(shí)驗(yàn)
室外動(dòng)態(tài)場(chǎng)景四維成像實(shí)驗(yàn)部分結(jié)果如圖3所示。在自然光照明下，對(duì)移動(dòng)的玩具小車(chē)進(jìn)行拍攝，可以獲得場(chǎng)景的擴(kuò)展景深偏振圖像以及高精度的深度信息，從而揭示出動(dòng)態(tài)三維場(chǎng)景的準(zhǔn)確時(shí)空關(guān)系。
通過(guò)進(jìn)一步利用超構(gòu)表面的偏振及光譜響應(yīng)，當(dāng)前的單目四維成像技術(shù)框架有望進(jìn)一步拓展至三維空間、偏振、光譜五維成像。當(dāng)前單幀多維圖像計(jì)算恢復(fù)時(shí)間約需0.3秒。通過(guò)優(yōu)化算法框架，有望進(jìn)一步提升恢復(fù)速度，實(shí)現(xiàn)對(duì)更復(fù)雜場(chǎng)景的多維光場(chǎng)重建。
該成果近日以“單目超構(gòu)表面相機(jī)快照式被動(dòng)四維成像”（Monocular metasurface camera for passive single-shot 4D imaging）為題發(fā)表在《自然·通訊》（Nature Communications）上。
該研究的完成單位為清華大學(xué)精密儀器系、精密測(cè)試技術(shù)與儀器國(guó)家重點(diǎn)實(shí)驗(yàn)室，第一作者為精儀系2021級(jí)博士研究生沈子程，通訊作者為楊原牧副教授。精儀系曹良才教授，博士后趙峰、靳淳淇、王帥為論文工作作出了重要貢獻(xiàn)。
該研究得到國(guó)家自然科學(xué)基金和清華大學(xué)國(guó)強(qiáng)研究院的資助。相關(guān)成果正通過(guò)清華大學(xué)技術(shù)轉(zhuǎn)移體系進(jìn)行產(chǎn)業(yè)化落地，擬應(yīng)用于機(jī)器人避障、人臉識(shí)別、手勢(shì)交互等領(lǐng)域，于近日被知名行業(yè)媒體“光電匯”評(píng)為“2022中國(guó)十大光學(xué)產(chǎn)業(yè)技術(shù)”。
論文鏈接：
https://www.nature.com/articles/s41467-023-36812-6
供稿：精儀系
題圖設(shè)計(jì)：任帥
編輯：李華山
審核：郭玲
