此前,青亭網曾報道索尼在2020年發布的3D顯示屏ELF-SR1,該產品采用8英寸設計,分辨率達4K,亮度500nit,對比度1400:1,特點是加入眼球追蹤功能,識別雙眼后可分別為每只眼睛顯示2K分辨率的畫面,具備3D視差效果。據悉,ELF-SR1的定位主要面向電影、動畫、產品設計、建筑、AR/VR開發等專業領域。

實際上,索尼已經公布ELF-SR1背后的技術細節,包括開發這款產品僅用2年時間,目的是解決3D空間顯示效果,打造一種未來化的電視。近期,該公司在官網上進一步透露了一直以來在3D空間顯示技術領域的探索,以及未來的研發路徑和戰略。
索尼表示:Eye-sensing Light Field Display(直譯為眼球追蹤光場顯示屏)是一種根據人類視覺特性而開發的顯示系統。它是一種支持眼球追蹤的光場顯示方案,可帶來逼真的裸眼3D視覺效果。
目前,市面上已經存在多種3D顯示技術,比如3D電影、裸眼3D相框等等。相比之下,索尼眼球追蹤光場顯示系統號稱優于市面上已有的3D顯示技術。
逼真還原3D空間的顯示方案
據青亭網了解,索尼的光場顯示屏的特點是具備高空間分辨率,可顯示具有空間感、支持任意視角查看的3D圖像,與空間融合的效果也足夠好。因此,其顯示的3D圖像看起來就像在你眼前真實存在一樣,效果比傳統3D顯示單元更沉浸。
在2020年10月,索尼在日本發布15.6英寸的4K空間顯示屏商用機型ELF-SR1,后來該產品也進入北美和中國市場。后來,還發布了32英寸的8K型號,8K型號與ELF-SR1 4K版的像素密度相同,而垂直和水平寬度則是后者二倍,分辨率也提升一倍。
在2021年夏天索尼合作舉辦的恐龍科學展上,展示了這款8K全息屏幕。
三大核心技術
眼球追蹤光場顯示屏(ELF)的關鍵詞之一是光場,其原來是利用光來渲染空間。實際上,人類生存的空間中存在各種光源,你看到的世界也是由光構成的,因此利用無數光線組成的光場,將有望重現3D空間。

不過,考慮到空間中存在大量光線,重現全部光線并不實際,因此索尼ELF技術僅渲染對圖像必要的光線。索尼開發的3D顯示系統,結合眼球追蹤數據來計算并顯示,觀看者視角能看到的光線,而且可以根據視角變化而動態更新渲染內容。
據了解,ELF系統首先確定人眼能看到的3D空間畫面,接著僅渲染能夠進入人眼的光線。因此,將需要采用一種快速、準確的眼球和注視點追蹤技術。除了根據視角變化動態渲染3D場景外,該系統還可以通過眼球追蹤來生成左右眼不同的畫面,形成雙目視差。

為了實現觀感自然、舒適的3D顯示效果,索尼在ELF顯示屏中使用了三項核心技術,包括:眼球追蹤、實時光場渲染、微型光學透鏡。
1,眼球追蹤
人在移動時,觀看3D物體的視角也會變化,為了渲染動態視角的圖像,ELF顯示屏采用了索尼研發的高速視覺傳感器,以及支持高準確性人臉識別算法的眼球追蹤系統,實時追蹤用戶眼球位置,同時動態捕捉用戶的運動。

據悉,索尼高速視覺傳感器每幾秒捕捉一次圖像,用于檢測面部位置、眼睛和面部輪廓等特征,然后通過這些特征信息來預測人臉的3D形態、人臉的距離和方向、運動變化。
ELF配備的攝像頭采用優化的成像鏡頭,可捕捉到水平50°、垂直60°范圍內的視角變化,用于渲染自然、流暢的運動視差。同時,ELF顯示方案從成像到渲染的整個過程的延遲足夠低,從而緩解視角變化產生的重影,或是可能導致暈動癥的圖像延遲等問題。
人臉檢測算法則基于深度神經網絡(DNN)開發,經過優化后,人臉檢測算法更加適應高速視覺傳感器,為用戶帶來舒適和穩定的視覺體驗,降低成像噪音和環境光造成的模糊。即使用戶戴著口罩,也能檢測到面部。
2,實時光場渲染
ELF顯示屏根據用戶的視角變化而動態渲染3D場景,不過其輸出的投影圖像是扭曲的。因此,通過調整3D投影圖像的呈現方式,給觀看者一種圖像沒有扭曲的錯覺,甚至看起來足夠逼真,不像是顯示器而更像是真實存在的場景。

考慮到近年來游戲引擎的渲染效果得到明顯提升,尤其是在3D渲染場景,因此索尼認為,未來開發者們也許能通過游戲引擎,來為ELF顯示屏開發裸眼3D應用和內容。
3,微型光學透鏡
ELF采用微型光學透鏡,負責將實時生成的3D圖像傳送到雙眼。據了解,傳統裸眼3D顯示屏采用雙凸透鏡或視差光柵來覆蓋多個不同的視角,這些透鏡的缺點容易產生視角重疊,導致分辨率和圖像質量下降。

為了改變這一問題,索尼的微型光學透鏡結合注視點傳感和實時光線重建算法,來實現一種為左右眼獨立生成不同動態視角的光學設計。接著,ELF還通過生成足夠多的合成視角,以及控制人眼能看到的圖像,來緩解視角重疊、分辨率降低的問題。
索尼表示:如果微型光學透鏡與3D顯示屏沒有對準,那么將難以實現優質的動態視角變化,因此設備的精確校準相當重要。于是,索尼研發了一種精準的制造技術,可以將元器件位置誤差降低至幾十微米,此外還有一個檢測成品元器件位置的調整系統。根據調整系統設置的數據,ELF在實時圖像處理過程中可同步校正元件錯位問題,進一步提升3D圖像質量。
前所未有的3D觀感
除了上述三項核心技術外,ELF顯示屏還采用了相機技術、顯示技術,以及基于注視點的精準校正系統,并通過處理校正信號來進一步減少視角重疊現象。

索尼還表示:ELF的軟件和算法基于微VR頭顯開發的技術,此外還優化了人體工學設計。比如,ELF顯示屏以傾斜角度放置,更容易營造一種3D空間感。
應用場景
這種裸眼3D顯示系統不僅可以用于娛樂場景,也將適用于教育、企業解決方案、醫療保健等領域。目前,隨著容積捕捉等技術發展,3D內容的應用場景越來越廣泛,而理想的觀看方式不只有AR/VR,用裸眼3D顯示屏查看也同樣沉浸。

不過,該方案目前僅限個人使用,因為眼球追蹤系統只能追蹤一個人的注視點。它可以用來向客戶展示3D設計和模型。索尼認為,未來該技術有望與實時3D視頻捕捉和傳輸技術結合,帶來具有臨場感的裸眼3D視頻通話體驗。
對于未來,索尼也在探索用全息技術來顯示更廣泛的深度圖像。據悉,索尼開發了一款臺式的相位調制SLM光學原型,并通過該原型驗證,RGB全息圖可有效實現多焦距呈現。此外,還訓練了一種可實時計算和生成高質量圖像的深度神經網絡算法。總之,為了進一步實現更自然的3D顯示效果,索尼接下來還將面臨更多技術挑戰,比如圖像質量、計算量、視角和顯示范圍等等。而這些挑戰,可能在未來隨著硬件和信號處理技術發展而得到優化。
實際上,谷歌也在探索基于3D全息顯示的視頻通話系統,不過由于成本較高,目前僅在內部測試。相比之下,索尼ELF顯示技術已經商業化,期待未來在此基礎上加入實時視頻功能。