對(duì)于頭顯設(shè)備波導(dǎo)不均勻性會(huì)引起視覺偽影

2022年1月17整理發(fā)布：(映維網(wǎng)Nweon 2022年01月17日)對(duì)于頭顯設(shè)備，波導(dǎo)不均勻性會(huì)引起視覺偽影。在名為“Dynamic uniformity correction”的專利申請(qǐng)中，Meta針對(duì)波導(dǎo)不均性問題提出了自己的解決方案。

圖1B示出了示例增強(qiáng)現(xiàn)實(shí)系統(tǒng)100B。增強(qiáng)現(xiàn)實(shí)系統(tǒng)100B可包括含有幀框架112、一個(gè)或多個(gè)顯示器114和計(jì)算系統(tǒng)120的頭顯 110。顯示器114可以是透明或半透明，從而允許佩戴頭顯 110的用戶通過顯示器114查看真實(shí)世界，并同時(shí)向用戶顯示視覺人造現(xiàn)實(shí)內(nèi)容。

頭顯 110可包括可向用戶提供音頻人造現(xiàn)實(shí)內(nèi)容的音頻設(shè)備。頭顯 110可以包括一個(gè)或多個(gè)攝像頭，其可以捕獲環(huán)境的圖像和視頻。頭顯 110可以包括眼動(dòng)追蹤系統(tǒng)。頭顯 110同時(shí)可以包括顯示引擎。

具體來說，專利描述的特定實(shí)施例可以利用基于當(dāng)前眼睛位置和先前幀的校正圖所確定的校正圖，然后動(dòng)態(tài)地校正要顯示的圖像，從而補(bǔ)償波導(dǎo)不均勻性。對(duì)于特定眼睛位置，系統(tǒng)可基于從特定眼睛位置測(cè)量的波導(dǎo)非均勻光傳輸特性生成校正圖。

對(duì)于從特定眼睛位置查看的靜態(tài)圖像，系統(tǒng)可通過應(yīng)用為所述眼睛位置生成的校正圖來消除由波導(dǎo)不均勻性引起的負(fù)面視覺效果。對(duì)于從不同眼睛位置查看的一系列動(dòng)態(tài)圖像，系統(tǒng)可使用眼動(dòng)追蹤追蹤系統(tǒng)來動(dòng)態(tài)測(cè)量眼睛位置，并基于動(dòng)態(tài)測(cè)量的眼睛位置來確定適當(dāng)?shù)男Ｕ龍D。

在特定實(shí)施例中，系統(tǒng)可以使用基于當(dāng)前眼睛位置生成的校正圖和用于校正先前幀的一個(gè)或多個(gè)先前校正圖來校正要顯示的圖像。系統(tǒng)可針對(duì)波導(dǎo)區(qū)域?yàn)槎鄠€(gè)預(yù)先確定的眼睛位置生成校正圖。每個(gè)校正貼圖可以與RGB顏色通道的特定顏色通道相關(guān)聯(lián)，并且每個(gè)預(yù)定的眼睛位置可以與相應(yīng)RGB顏色通道的三個(gè)校正貼圖相關(guān)聯(lián)。

每個(gè)校正映射可以包括縮放因子陣列，以縮放特定顏色通道的圖像像素值。系統(tǒng)可將生成的校正圖存儲(chǔ)在數(shù)據(jù)庫和計(jì)算機(jī)存儲(chǔ)器中。校正圖可以具有相對(duì)較低的空間分辨率，以最小化系統(tǒng)資源使用的負(fù)擔(dān)。

為了校正圖像序列的當(dāng)前幀，系統(tǒng)可以首先使用眼動(dòng)追蹤系統(tǒng)確定用戶的當(dāng)前眼睛位置(X，Y)。如果當(dāng)前眼睛位置(X，Y)落在預(yù)先確定的眼睛位置之一(例如在閾值距離內(nèi))，則系統(tǒng)可選擇與所述眼睛位置相關(guān)聯(lián)的校正圖。

在稍后步驟中由時(shí)間濾波器處理之后，所選擇的校正貼圖可用于校正當(dāng)前幀。如果當(dāng)前眼睛位置(X，Y)沒有落在任何預(yù)定的眼睛位置，系統(tǒng)可識(shí)別與包含當(dāng)前眼睛位置(X，Y)的區(qū)域?qū)?yīng)的16個(gè)預(yù)定眼睛位置。然后，系統(tǒng)可對(duì)與16個(gè)預(yù)定眼睛位置相關(guān)聯(lián)的十六組校正圖應(yīng)用雙三次插值，以生成用于當(dāng)前眼睛位置的校正圖(用于RGB顏色通道)。

系統(tǒng)可以使用雙三次插值分別為三個(gè)RGB顏色通道生成三個(gè)校正貼圖，每個(gè)校正貼圖是基于相同顏色通道的16個(gè)校正貼圖的雙三次插值生成?；蛘?，系統(tǒng)可以識(shí)別最近的4個(gè)預(yù)確定眼睛位置，它們位于包含當(dāng)前眼睛位置(X，Y)的網(wǎng)格區(qū)域的四個(gè)角。

然后，系統(tǒng)可以對(duì)與4個(gè)預(yù)定眼睛位置相關(guān)聯(lián)的四組校正貼圖應(yīng)用雙線性插值，以生成用于當(dāng)前眼睛位置的校正貼圖(用于RGB顏色通道)。系統(tǒng)可以使用雙線性插值分別為RGB顏色通道生成三個(gè)校正貼圖，每個(gè)校正貼圖基于相同顏色通道的四個(gè)校正貼圖的雙線性插值生成。

然后，系統(tǒng)可從計(jì)算機(jī)存儲(chǔ)器檢索用于校正先前幀的先前校正圖。對(duì)于每個(gè)顏色通道，系統(tǒng)可以使用時(shí)間濾波器，并基于雙線性或雙三次插值生成的校正圖和用檢索校正圖來生成優(yōu)化校正圖貼圖。

由于預(yù)定校正圖具有相對(duì)較低的空間分辨率，所以基于預(yù)定校正圖生成的優(yōu)化校正圖同樣具有相對(duì)較低的空間分辨率。系統(tǒng)可使用雙線性插值或類似插值對(duì)優(yōu)化校正貼圖進(jìn)行上采樣，以實(shí)現(xiàn)與圖像分辨率或顯示分辨率匹配的更高分辨率。

然后，系統(tǒng)可以將由上采樣處理生成的高分辨率校正貼圖應(yīng)用于當(dāng)前幀，并且在輸出當(dāng)前幀之前將每個(gè)高分辨率校正貼圖應(yīng)用于一個(gè)顏色通道。應(yīng)用所述高分辨率校正貼圖可以致使當(dāng)前幀中的RGB顏色通道的像素值通過各個(gè)高分辨率校正貼圖的相應(yīng)比例因子進(jìn)行調(diào)整。

結(jié)果，所顯示的內(nèi)容隨著時(shí)間的推移可以看起來更平滑，并且對(duì)眼動(dòng)追蹤數(shù)據(jù)的錯(cuò)誤更具彈性。同時(shí)，波導(dǎo)不均勻性引起的視覺偽影可以消除或減小。