Magic Leap 和 HoloLens 都是 Augmented Reality （AR）眼鏡的代表。

　　

 

 

AR 眼鏡是透明的，讓你能同時看到現實世界，和疊加在上麵的虛擬成像。應用例子：趕不上 Lady Gaga 的演唱會？沒關係
，戴上眼鏡她就在你家裏開一個。代表產品原型：Magic Leap 和微軟的 HoloLens。

　　

VR 眼鏡是不透明的

，隻顯示虛擬世界，把物理世界完全擋住。應用例子：坐在家裏也能去大溪地“潛水”。代表產品：三星的 Gear VR，穀歌 Cardboard
，Oculus Rift。

 

 

　　

總的來說，這是計算機的必然發展趨勢。2007 年蘋果推出 iPhone 以來，手機發展太迅猛
，用戶隨時隨地帶著它，各項使用數據毫無懸念地都在超越 PC 端。所以
，人機交互界麵的未來主要在於移動。但現在的手機局限在於：

　　

（1）既然要便於攜帶屏幕就做得小

，屏幕小了某些功能就得受限

；

（2）顯示屏幕是平麵也就是二維的，而真實世界是三維的。

　　

未來的 AR 眼鏡有望實現大突破
，就是既能讓用戶隨身攜帶，又能在他眼前顯示超大屏幕

，還能把以假亂真的 3D 內容渲染到他看到的真實世界裏（想象你坐在教室裏聽課，你的老師看起來真實無比

，但其實就是在你的眼鏡上虛擬出來的）。這樣的眼鏡大概不會完全取代手機，但毫無疑問潛力無窮。

　　

跟 VR 比較，AR 的應用場景也更廣闊（你總不能帶著 VR 頭盔大街上走吧）。本質上，AR 是 VR 的超集，鏡片前麵一擋就成了 VR（前提是視角能做到差不多大）。

　　

戴眼鏡好麻煩
，為什麼不直接像《星球大戰》一樣在空氣中顯示全息圖（Hologram）
？

　　

Holography 是人類的美好願景，有一天也許能做成，但近期看離實用還早。現在有一些大學實驗室在研究裸眼光場顯示器（light field display），但需要很複雜笨重昂貴的設備，還隻能在安裝了的地方用。相對而言，眼鏡的可行性要大得多。如果能做成輕便的 AR 眼鏡，將是移動人機交互界麵上也是計算機發展的重大革新。

　　

在 VR 頭盔上加個前視攝像頭不也就成 AR 了嗎？為什麼非要透明的？

　　

好問題。說起來 AR 有兩種，一種是前麵所說的透明 AR（optical see-through）——現實世界是透過鏡片直接看到的。另一種就是“視頻疊加”（video see-through 或者 video overlay）——現實世界是通過攝像頭捕捉
，然後以視頻的方式呈現給用戶（在上麵再渲染一些東西）。事實上，現在手機和平板上已經出現了很多 video overlay 的應用
，比如看星空，求翻譯，選家具等。

　　

那為什麼不用 VR 頭盔加攝像頭實現這種 AR 呢
？當然可以，現在很多 VR 頭盔都在試探這種做法。它和透明 AR 相比各有優劣
，比如優勢在於用視頻實現的虛擬和現實的疊加（overlay）要比透明 AR 簡單得多
，這也是為什麼它已經開始在移動端商用的原因。

　　

但劣勢也可想而知，用戶看到的畢竟隻是一個 2D shipin，zhilianggenyanjingzhijiekandaodeshijiehaishichahendade。erqieshipincongcaijidaoxianshizongguishiyouyanchide，ruguogentiganxinhaobuyizhidehuahuizaochengshentibushi。suoyibuguanzenyangdouhaishihuiyougongsiqianpuhoujidiquzuotouming AR 的，Magic Leap 和 Microsoft HoloLens 就是例子。

　　

　　

前麵說的應用潛力無窮肯定是助力
，同時還有技術，創始人，團隊的原因。

　　

Magic Leap 的核心技術是來自華盛頓大學前研究員 Brian Schowengerdt 的
，他導師 Eric Seibel 是光纖掃描內窺鏡（Scanning Fiber Endoscope）的專家。大家都知道內窺鏡就是醫生們做手術時用來體內成像的，本質是個微小攝像頭。Brian 很聰明地逆轉光路把這個技術用到了顯示上
，這樣通過極細的光纖用激光就可以打出彩色的圖像（如圖所示）。這個技術十幾年前就發表了，後來又不斷改進，生成了一堆專利。Magic Leap 很大程度上是基於 Brian 的這些專利。

　　

那這種技術為什麼重要呢
？我們後麵留成一個專門的問題講。

 

然而光有技術牛是不夠的，AR 眼鏡這種東西，要想做好可想而知是需要投入巨大的人力物力的，軟件硬件都得有重大突破。蘋果
、微軟、穀歌這樣的公司可能有財力去做這個事
，為什麼會相信一個初創小企業能做成？我覺得猶太人創始人 Rony Abovitz 起的作用很大。Rony 之前是 MAKO Surgical 的聯合創始人。這家公司知道的人不多，但他們做的東西說出來就嚇人了——是做機器人手術（robotic surgery）的，主要是骨科手術精準定位。聽起來科幻超前吧
，可是人 2004 年創建
，2008 年就上市了，2013 年以 16.5 億美元賣給了 Stryker Medical。這種 track record 他拉不到投資誰能拉到。

　　

除了創始人兼 CEO，團隊也不是蓋的，計算機視覺部分拉到了 Gary Bradski 和 Jean-Yves Bouguet 這樣的大牛。合作的 Weta Workshop 是在好萊塢給電影做特效的
，《指環王》就是他們做的。所以 Magic Leap 當年用來拉投資用的概念視頻就像一個微型電影一樣。

　　

　　

首先，它是基於極細的光纖的
，可以讓眼鏡做得輕薄。但更重要的是因為 Brian 證明了用這種技術不僅可以投射出一個 2D 圖片，還能顯示出一個光場（Light Field）。

　　

現代的近視眼鏡為了實現 3D 有兩種主要的技術：Stereoscopic（中文翻譯成“立體”，但其實不夠準確），和 Light Field（光場）。Stereoscopic 眼鏡早已商化（比如所有 3D 影院裏用的，還有市麵上幾乎所有 AR 和 VR 眼鏡/原型——包括 Microsoft HoloLens，Epson Moverio，Lumus DK-40
， Facebook Oculus——都是 Stereoscopic）。而 Light Field 還隻在實驗室裏有雛形（Magic Leap 大概是做得最好的一個)。什麼是 Stereoscopic 3D 呢
？為什麼它不夠好還要做 Light Field 呢
？什麼又是Light Field 呢
？

　　

　　

3D 圖像比 2D 圖片多了一個維度
，這個維度就是景深（depth）
，看過 3D 電影和 2D 電影的同學知道感官上有明顯的區別（隻有少數人有雙盲症不能看到）。大家知道人眼感知景深有很多機製，包括單眼（monocular）和雙眼（binocular）的。

　　

單眼能感知的景深信號很多
，比如：一個東西遮擋了另一個（occlusion），熟悉的物體的大小（relative size/height），物體移動的變化（遠的物體變化慢近的物體變化快，即 motion parallax）。在此基礎上，雙眼的景深信號也非常強烈（所以遠古的我們能更好地判斷對麵的老虎或者鹿到底離多遠）。兩隻眼睛看到同一個場景會有細微差別，這讓大腦能通過三角計算（triangulation）來得到物體景深。

　　

Stereoscopic 3D 就是利用這個原理給雙眼分別顯示不同的圖片（如下圖）
，它們很相似，隻在水平方向上有細微差別。而這兩張圖片拍攝的時候
，就是用兩個並排的相機模擬人眼的位置拍的
，現在的 3D 電影都是基於這個原理。

　　

但這樣的 Stereoscopic 3D 有什麼問題呢？簡單講它會引起用戶身體不適如頭暈、惡心等。為什麼呢？這又涉及到人眼的一個有意思的機製。當我們在看一個現實世界中的物體時，眼睛其實有兩種自然反應：

　　

（1）聚焦（Accommodation／Focus）。眼睛的晶狀體就像一個凸透鏡，它會調節凸度來讓那個物體在咱們視網膜上清楚成像。

（2）“會聚”（Convergence）。在每隻眼睛聚焦的同時，兩隻眼球還會有旋轉運動來一起指向那個物體。

　　

很自然地，這兩種反射運動在神經上是聯接的（neurally coupled），也就是說任意一種運動會自動引發另一種運動。這也意味著，在人眼看真實物體的時候，聚焦和會聚的距離總是相等的（vergence distance = accommodation distance，參見下圖A）。

　　

那麼 Stereoscopic 3D 的問題就來了。因為 Stereoscopic 的投射距離總是固定的（也就是 accommodation distance 不變），而圖片的 disparity 會讓眼睛會聚在不同的距離（vergence distance）以產生景深 3D 效果（見下圖B）。所以，這兩種距離經常是不一致的（vergence distance ≠ accommodation distance）
，會造成這兩種神經相連的運動強行分離（neurally decoupled）。

　　

從另一個角度講
，在自然世界裏，當人眼聚焦並會聚到一個物體時，別的距離的物體應該都是模糊的（下圖C）。而在Stereoscopic 3D 裏，不管人眼聚焦到哪兒，別的距離的物體成像都是清楚的（下圖D）。

　　

這些都不符合自然界人眼的規律，因此大腦會產生混亂，長時間就會引起惡心暈眩等症狀。所以 Stereoscopic 其實是用了一個小伎倆讓人能看到 3D 效果，但它並不是真 3D。

　　

　　

光場顯示跟 Stereoscopic 3D bideyigehendabutongjiushitayoubenshinengrangrenyanjujiaodaobutongdejuli，congerhehuijudejulibaochiyizhi。zheshizuifuherenyanguanchaziranshijieguilvdezuofa，yincibeichengwei true-3D。

　　

可以想象要實現這樣的光場顯示，並不是那麼簡單。現在主要是兩種方法：空間複用（space multiplexing）和時間複用（time multiplexing）。“空間複用”簡單說就是把一個像素當幾塊用來實現不同的聚焦距離。Nvidia 在 SIGGRAPH 上展示的那個原型就屬於這種。這個方法最大的問題就是分辨率大打折扣。我曾經試戴過，基本就是霧裏看花。

　　

“時間複用”呢ne，就jiu是shi用yong高gao速su原yuan件jian來lai快kuai速su產chan生sheng不bu同tong的de聚ju焦jiao距ju離li
，讓rang人ren眼yan以yi為wei它ta們men是shi同tong時shi產chan生sheng的de。這zhe樣yang的de好hao處chu就jiu是shi分fen辨bian率lv不bu損sun失shi。大da家jia知zhi道dao人ren眼yan的de速su度du感gan知zhi是shi有you限xian的de
，很hen多duo顯xian示shi器qi都dou是shi 60Hz 的
，因為人眼能分辨的極限值一般就是 60Hz（在某些高速內容比如遊戲裏可能達到 90-120Hz）。這意味著什麼呢
，如果利用高速顯示 360Hz
，就可以實現 6 個不同的聚焦距離。而有研究表明用6 個聚焦距離加上一種線性混合（linear blending）的渲染算法就基本能實現從約 30 厘米到無窮遠讓人眼自然對焦。

　　

Magic Leap 的技術是哪種呢？它最近 demo 用的哪種技術沒有公開


，但很有可能還是基於 Brian 的高速激光光纖掃描（scanning fiber）技術，也是一種時間複用的辦法。Brian 當年先試過隻用一根光纖掃描不同聚焦距離
，這樣做明顯對速度要求太高，後來用一個光纖束（fiber bundle/array）

，比如 16 根
，每個光纖有一點位置差

，然後同時掃描得到不同聚焦距離。

　　

這樣的光場受現實係統的局限肯定不可能是連續的，都是被采樣的（downsampled）。但是

，即使是這樣的光場投射到眼睛裏也在理論上是跟真實世界物體光線進入眼睛是一個道理，因此可以實現 true-3D。回到最初的問題，這也是為什麼 Magic Leap 的技術重要的原因。現在你也理解了為什麼 Rony 說“ HoloLens 會讓人惡心”了吧？

 

　　

1.顯示

　　

首先能實現近眼光場顯示就很難
，現在的公司除了 Magic Leap 還都是用古老的 Stereoscopic 3D 的方法
，用戶戴長了就會眼困頭暈惡心。而 Magic Leap 所用的近眼顯示技術理論上成立，現實中也還有很多問題要解決。比如：

　　

係統大小： Magic Leap 現在還沒有公開過它的原型照片
，據報道都還是像一個冰箱一樣大的

，離可穿戴還有很長的路要走。

　　

光場采樣：既然是采樣就一定有損失

，比如對比度清晰度上
，如何才能最優采樣？

　　

聚焦和會聚（Accommodation-vergence matching）：即便聚焦距離對了，也要保證會聚距離始終與其保持一致。Magic Leap 現在的 demo 視頻還隻是從單眼攝製的，還沒有證據表明他們很好地解決了雙眼問題。

　　

室外顯示：現在大家的 demo 都是室內的。當用戶在室外時
，太陽光強度比顯示光高幾個數量級。至少鏡片需要有自動調光的技術。

　　

捕捉內容：雖然現在可以用計算機圖形來做demo
，但以後的應用一定會需要相機采集的內容，而光場的拍攝本身還有很多問題要解決。

　　

散熱：是一個容易被忽視的問題。當年 Google Glass 出來的時候有人說用著用著臉就像要燒起來了。現在還沒有證據表明HoloLens 和 Magic Leap 的眼鏡能長時間保持涼爽。

　　

2.鏡片

　　

近眼顯示有兩個關鍵部件：顯示器和鏡片。現在大部分的 AR 眼鏡鏡片都是基於分光鏡（beamsplitter prism）的，比如 Google Glass，HoloLens，Epson Moverio。如圖左，簡單的分光鏡就是 45 度角
，把顯示器產生的光從眼鏡框反射進人眼
，也同時讓現實世界的光透進來。這樣做簡單便宜
，但是鏡片厚。

　　

一個以色列公司 Lumus 做出了一個光導（waveguide）技術讓鏡片變得很薄，可惜工藝複雜成本太高。後來也有一些便宜的光導產品出現，但質量還遠不如 Lumus。所以
，鏡片也還有很長的路要走
，不僅要做到視角（Field-of-View）大，還要輕薄，透光性好，在折射/反射顯示光的時候也要盡量保持光的屬性並做到盡量小的光損失。

　　

3.視角（FoV）和分辨率（Resolution）

　　

視角直接決定了用戶體驗。現在的很多 AR 眼鏡視角還在 20°－40°之間，不少試戴了 HoloLens 的記者都對它的視角表示失望。而人眼的橫向視角雙眼差不多有 200°，縱向有 130°。視角大意味著總的分辨率也要很大才能覆蓋，8K*8K 才會比較理想。

　　

4.遮擋（Occlusion）

　　

前麵說到過單眼的景深感知有一個很重要的信號就是物體之間的遮擋。在用透明 AR 眼鏡時，一個關鍵問題就是虛擬物體和現實物體之間的遮擋怎麼實現。

　　

如(ru)果(guo)是(shi)現(xian)實(shi)物(wu)體(ti)在(zai)前(qian)麵(mian)，虛(xu)擬(ni)物(wu)體(ti)在(zai)後(hou)麵(mian)，還(hai)相(xiang)對(dui)比(bi)較(jiao)好(hao)辦(ban)
，就(jiu)是(shi)要(yao)自(zi)動(dong)探(tan)測(ce)現(xian)實(shi)物(wu)體(ti)的(de)距(ju)離(li)

，再(zai)計(ji)算(suan)出(chu)虛(xu)擬(ni)物(wu)體(ti)哪(na)些(xie)部(bu)位(wei)需(xu)要(yao)遮(zhe)擋(dang)從(cong)而(er)不(bu)渲(xuan)染(ran)。但(dan)是(shi)如(ru)果(guo)反(fan)過(guo)來(lai)，虛(xu)擬(ni)物(wu)體(ti)需(xu)要(yao)遮(zhe)擋(dang)現(xian)實(shi)物(wu)體(ti)，就(jiu)沒(mei)那(na)麼(me)直(zhi)接(jie)了(le)，因(yin)為(wei)理(li)論(lun)上(shang)需(xu)要(yao)把(ba)現(xian)實(shi)物(wu)體(ti)的(de)光(guang)從(cong)眼(yan)鏡(jing)上(shang)選(xuan)擇(ze)性(xing)地(di)濾(lv)掉(diao)。從(cong) Magic Leap 最近的 demo 看，在虛擬物體明亮時，它本身的亮度會自然遮擋後麵的真實物體，但當虛擬物體比較暗時，還是有所謂的“鬼影效果”（ghost effect），不符合自然規律，又會讓大腦產生混亂。

 

如果想實現完全正確的遮擋效果，隻能在鏡片上做實時的像素級的濾光機製（per-pixel shutter）
，但現在的技術都還不成熟。

　　

5.渲染黑色

　　

透明 AR yanjingxianzaihaimeibanfaxuanranheise。yinweitashuodaodishixuniguangheziranguangdediejia。ruguohuaheise
，yonghushikanbudaode，zhihuikandaohoumiandebeijingzhenshiwutideguang。leisideansedouyouzhegewenti。

　　

6.延遲

　　

透明 AR 眼鏡還有一個很大的挑戰就是延遲。把虛擬物體疊加到真實物體上（比如放一個虛擬水杯到一個真實桌子上）涉及到一係列計算：探測真實物體→計算它的空間位置和方向→計算疊加位置→渲染虛擬物體等。

　　

這(zhe)一(yi)切(qie)都(dou)必(bi)須(xu)在(zai)一(yi)眨(zha)眼(yan)內(nei)發(fa)生(sheng)，讓(rang)用(yong)戶(hu)感(gan)覺(jiao)不(bu)到(dao)延(yan)遲(chi)。比(bi)如(ru)在(zai)那(na)個(ge)水(shui)杯(bei)例(li)子(zi)裏(li)，我(wo)們(men)的(de)頭(tou)可(ke)能(neng)是(shi)一(yi)直(zhi)在(zai)動(dong)的(de)
，隨(sui)著(zhe)我(wo)們(men)頭(tou)動(dong)，我(wo)們(men)看(kan)到(dao)的(de)那(na)個(ge)水(shui)杯(bei)應(ying)該(gai)在(zai)桌(zhuo)上(shang)原(yuan)來(lai)的(de)位(wei)置(zhi)不(bu)動(dong)才(cai)對(dui)。而(er)如(ru)果(guo)係(xi)統(tong)延(yan)遲(chi)過(guo)大(da)，我(wo)們(men)看(kan)到(dao)的(de)那(na)個(ge)水(shui)杯(bei)的(de)位(wei)置(zhi)可(ke)能(neng)就(jiu)總(zong)是(shi)不(bu)對(dui)，大(da)腦(nao)就(jiu)又(you)混(hun)亂(luan)了(le)。

　　

這對透明 AR 挑戰尤其大
，因為真實世界我們是直接看到的，幾乎沒有任何延遲，而虛擬物體的渲染得能跟上這個速度才顯得自然。在 video overlay 裏，就沒有這個問題，因為我們看到的真實世界的視頻已經是延遲的了
，這樣在上麵的物體疊加就比較容易跟它保持同步。

　　

7.激光

　　

Magic Leap 以(yi)前(qian)的(de)技(ji)術(shu)專(zhuan)利(li)是(shi)用(yong)激(ji)光(guang)直(zhi)接(jie)打(da)到(dao)人(ren)眼(yan)裏(li)，雖(sui)然(ran)據(ju)說(shuo)很(hen)安(an)全(quan)
，但(dan)還(hai)沒(mei)有(you)確(que)切(qie)的(de)科(ke)學(xue)證(zheng)據(ju)。所(suo)以(yi)用(yong)戶(hu)接(jie)受(shou)度(du)是(shi)個(ge)問(wen)題(ti)，很(hen)多(duo)人(ren)估(gu)計(ji)一(yi)聽(ting)到(dao)這(zhe)個(ge)就(jiu)望(wang)而(er)卻(que)步(bu)了(le)。

　　

說了這麼多，下一代移動人機交互界麵到底什麼時候能做成呢
？我個人感覺要做成人民群眾喜聞樂見的版本至少要 5 年時間，也許更長。因為以上列出的這些挑戰，每一個都還需要很多努力才能解決。目前它們很多都還不到量變（隻是需要優化）的階段

，而是需要大的質的飛躍。所以，路漫漫其修遠兮。但既然這是計算機發展的必然方向

，拭目以待吧。

    

關於作者：吳萬敏
，浙江大學計算機專業本科，伊利諾伊大學香檳分校博士。科研成果曾獲雅虎重要科技挑戰獎、ACM多媒體會議2011最佳學生論文獎、ACM計算機領域2012最佳論文獎，SIGMM最佳博士論文獎（全球每年一篇）。畢業後到矽穀工作，曾任理光創新實驗室顧問研究科學家，現在穀歌工作。