作者：Pierre-Alexandre Blanche
翻译整理：趣之化学1
摘要
全息摄影的先驱Gabor, Leith, Upatnieks, 和Denisyuk很早就预言最终的3D显示将基于这种技术。这种信念是基于这样一台事实，即全息摄影是唯一一种可以再现人类视觉系统所演绎的所有光学线索的方法。全息3D显示器是多年来追逐的梦想，面临着各方面的挑战:计算、传输和渲染。由于计算需要6.6×10^15次浮点运算、3×10^15 b/s数据速率和1.6×10^12相位像素，这项任务非常艰巨。本文综述了全息3D显示领域的最新成就。特别是，机器学习和神经网络算法的新发展证明了计算机生成的全息图接近实时处理。其中一节还讨论了数据传输的问题，这个问题可以通过巧妙的压缩算法和光纤传输线路来解决。最后，我们介绍全息3D显示的最后一台障碍，即渲染硬件。然而，没有更多的谜团了。随着更大和更快的空间光调制器(SLM)，全息家用投影系统在不断改进。硅上液晶(LCoS)和微机电系统(MEMS)相位显示器的像素数量正在以百万计的速度增长，新的光子集成电路相控阵正在取得真正的进展。这些系统离开实验室进入消费者世界只是时间问题。3D显示器的未来是全息的，它正在发生。
前言
在Leith和Upatnieks首次演示全息图像后不久【1】，以及Denisyuk2， De Bitetto和其他人使用了一种类似的技术来显示影片全息图【3,4】。顾名思义，影片全息图使用快速连续的静态全息图像来再现3D运动效果。由于这些成功，当时人们希望不久之后能研制出全息电视机。不幸的是，50多年后，全息电视机仍然遥遥无期。与影片相比，全息显示器系统需要捕捉、传输和渲染3D信息。
在交互式显示系统(如计算机屏幕)的情况下，还有一台额外的限制，即需要对3D数据进行实时处理。这使得通用全息3D显示器的开发比预先记录的全息图的简单连续家用投影更具挑战性。为了让大家了解全息显示与其他形式的通信相比有多困难，考虑一下常用的数据速率指标是很有用的。尽管专注于数据速率并没有考虑到其他一些技术方面，如渲染复杂性，但它确实允许在大范围的技术上进行比较。对于全息显示器来说有一台可以接受的视野角（衍射角θ)，衍射定律表明，对于λ = 500 nm的中波长，衍射元件的尺寸d应该在350 nm的数量级。20世纪40年代出现的早期NTSC黑白电子电视机有525条隔行扫描线。
应该注意，元件应该比等式1预测的小大约10倍，以实现高效率闪耀衍射光栅。
70厘米对角线屏幕的电视机机(即50厘米×50厘米)，有效元件的数量必须在2×10^12的数量级。为了适应人类视觉感知，显示器需要60 Hz的最小刷新率(对应于闪烁视觉阈值)，以及至少三种颜色来填充眼睛色度色域。传统显示器的灰度分辨率通常至少为8位(256级)。为了便于比较，我们将对全息图使用相同数量的相位级，尽管相位级与效率有关，而与全息图中的灰度无关。牺牲一些空间带宽和效率，甚至可以用二元全息图重建三维图像5。排除任何类型的压缩算法，这种显示器的结果数据速率将是
图. 1 根据不同电信系统引入的时间，绘制不同电信系统的数据速率(位/秒)。从1798年Napoleon Bonaparte 收到光学电报(或查普的旗语)开始，光学电报的典型传输速率约为每分钟2至3个符号(196种不同类型)，即0.4 b/s。因此，19世纪40年代初使用Samuel Morse's的电码普及的电子电报的传输速率约为100 b/s在1876年，并支持高达64 kb/s[6]的音频传输。以每秒29.97帧的速率和26 Mb/s[7]的比特率显示图像。10年后推出了彩色NTSC格式，将黑白带宽增加了两倍，以适应红色、绿色和蓝色通道[8]。
最近，数字视频格式使得基于HDTV的像素计数(不包括压缩)建立比特率变得更加容易720p@1.33 Gb/s在1990年，2010年超超清电视机2160p(4K)@12.7Gb/s，目前4320p(8K)@47.8Gb/s。请注意，这些值适用于未压缩的数据馈送，为了便于比较，不包括任何类型的压缩算法。
电信设备比特率的演变绘制在Fig. 1显示了一种趋势，可以通过外推预测数据速率为3* 10^15 b/s的全息显示器的出现。这种外推估计到2100年将出现商用全息显示器。尽管这种推断表明了未来的困难，但也非常令人鼓舞。2100年的日期绝不是不可避免的自然规律。与芯片上的晶体管数量每年翻一番类似，全息显示技术的研发投入会以某种方式影响这一预测。在这篇手稿中，我们研究了为啥全息摄影仍然被认为是开发商业3D显示器的最终技术，回顾了朝着这一目标已经取得的进展，并讨论了促进这种3D显示器出现仍然需要的缺失技术。
图1全息技术的阶段: 各种通信设备根据引入年份的大致比特率幅值。
3D人类视觉和3D显示器
理解人类视觉系统以及它是如何感知第三维是开发3D显示器的关键[9-11]。人类视觉系统从许多不同的线索获取输入来确定深度感知。应该指出的是，这些线索大多源自2D现象。其中包括描影（shading）、阴影(shadow)、透视、相对大小、遮挡、模糊和雾度。图2中的例子显示了三个简单的圆盘，你在阅读这篇文章时无论是在什么2D屏幕上，都将它们解释为3D球的，由于这些线索。因为这些2D线索由人类视觉系统处理以确定场景的深度，所以只要这些线索被正确再现，一幅画、一张照片或一部影片是可理解的。当它们不是的时候，这导致了视错觉，比如无限的楼梯和其他不可能的形状。
图2一些影响深度感知的二维视觉线索的例子
这同样适用于任何3D显示系统，在引入任何附加提示之前，该系统必须首先表示这些2D提示。附加的3D线索是立体视差、运动视差和调节。我们将在下面的章节中简要回顾这些线索。
立体视差
立体视差是在左眼和右眼之间观察到的场景的视差的变化。它只需要复制两幅图像，因此是技术上最容易管理的3D线索。事实上，它是如此易于管理，以至于立体显示器的引入早于摄影术的发明。第一台系统是由 Charles Wheatstone在19世纪30年代早期利用绘画图像发明的。然后从两个位置拍照，或者用一台有两个物镜的相机拍照。
当立体家用投影是针对单个人时，例如头戴式显示器，这相对容易保持左视图和右视图分离。通过简单地在两只眼睛之间引入物理隔离物来分离图像[13]。对于更多的观众来说，左视图和右视图之间的分离通常是通过让观众使用具有不同左镜片和右镜片的眼镜来实现的。左和右图像编码可以使用彩色(消色差)、正交偏振或交替快门来实现[14,15]。
从用户的角度来看，对于立体显示的眼镜需求已经在诸如剧院之类的特殊场所被接受，在那里大制作继续以立体3D发布。然而，立体3D电视机的商业失败似乎表明，对于日常体验，公众并不热衷于在自个的起居室佩戴特殊的眼镜[16]。
裸眼3D（Autostereoscopy）
裸眼3D无需特殊眼镜即可实现立体视觉。使用视差栅栏或微透镜阵列将左右视图直接投射到观察者的预期眼睛[17-19]。为了确保正确的眼睛与正确的家用投影相交，裸眼3D系统要求观察者位于特定的位置。这种不便已经被证明足以限制消费市场对裸眼3D电视机的采用[20]。还应注意的是，具有眼睛跟踪机制的裸眼3D系统已经开发出来，减少了固定的观看者区域，但还没有得到广泛的普及[21-23]。
运动视差
运动视差需要家用投影许多视图，使观看者即使在显示器前移动也能看到正确的视差。家用投影的不同视图的密度需要使得裸眼3D信息被正确再现。因此，每个瞳孔间距至少需要两个视图。然而，为了实现从一台视角到下一台视角的平稳过渡，需要更大密度的视图[24]。最佳视图密度取决于显示器的确切配置和预期的观看者距离，但数量大约为每度一台视图[25-27]。
在大多数文献中，再现运动视差的显示器被称为“多视图”或“多视图”显示器，而“光场”显示器基于光线光学和整体成像的概念重建3D图像[28-32]。在多视图显示器中，显示器被设计成使得当观看者的位置改变时，可以平滑地再现运动视差。这被认为是多视角类型的裸眼3D显示器。然而，当显示器也能够重建虚像或实像，通常称为光场显示器。
我们可以对不同类型的电信设备应用前面介绍的相同的数据速率计算(参见Fig. 1)到再现运动视差的多视图(或光场)显示器。在这种情况下，我们发现，对于具有2160p(4K)横向分辨率的显示器来说，再现45°视场的运动视差，比特率大约为12.7 × 90^2 = 10^5 Gb/s。平方因子来自于在这种情况下同时考虑水平和垂直视差的事实。
因为人类视觉系统主要涉及水平的瞳孔间距，并且横向运动优于垂直运动，所以水平视差比垂直视差更重要。后者通常在多视图显示器中被丢弃，以实现12.7 × 90 = 10^3 Gb/s的较低数据速率。
当观看者在多视图显示器前保持不动时，观察到的视差提供了类似于裸眼3D显示器的体验[33]。然而，由于视图数量多得多，光场显示器不像裸眼3D系统那样受限于相同数量的视区[34]。所以用户体验好很多，接受的可能性更大。
考虑到其可实现的数据速率和优于裸眼3D显示的优势，多视图和光场显示是当前深入研究的主题[35-40]。这项技术无疑代表了将出目前市场上的下一台3D显示平台，一些专门的应用已经开始出现[41]。
收敛-适应冲突(The Vergence-Accommodation Conflict)
收敛-适应冲突是我们迄今为止介绍的所有显示系统的致命弱点:立体、裸眼3D、多视图和光场(后者有一些例外，并且当不匹配的视觉3D提示呈现给观察者时发生。收敛-适应冲突的发生是因为由这些显示器家用投影的图像位于固定的距离，因此产生了不可调整的恒定调节提示，而聚散度是由视差提供的，其可以被再现，因此可以在场景内变化。调节和聚散度提示之间的差异会造成感知上的冲突。这种冲突会导致一些视觉不适，这在文献[42-45]中有详细记载。
当光线密度足够大时，光场显示器可以再现一定量的调节。这种情况通常被称为超级多视图[46，47]。因为图像平面可以移入和移出显示平面，所以在光场显示中会出现调节。这是通过将光线从面板的不同部分射向一台体素区域来实现的，如Fig. 3a所示。
图3 a为光场显示器，b为全息显示器将体素家用投影出发射平面的示意图。
然而，有一些观点认为，如果在光场显示器中视图密度不断增加，则调节距离可以随意延长。这种信念来自于外推，即光场显示通过使用线段来近似波前曲率。如果这些段足够小，它们可能变得与真实的波前曲率无法区分。不幸的是，这种光线跟踪的简化并没有发生，因为沿着像素边缘的衍射发生了，限制了体素的分辨率。即使像素密度为每度100秒，当物体被家用投影到离光场显示器的平面太远时，由于像素之间的衍射，它也会变得模糊。这种衍射效应是不可避免的，并且本质上降低了光场显示的深度分辨率和适应性[48,49]。
为了消除所经历的衍射现象对于较小的像素尺寸，需要像素之间的强相干性，使得光场显示变得与全息术无法区分。
再现调节的困难导致视觉不适，因为必须限制视野的显示深度。为了在显示器的平面外再现体素，光应该通过光学系统聚焦在该点。没有随意重新聚焦子像素的能力，光场显示器只能从发射平面产生平坦的波前。如Fig. 3a所示当光场显示器试图再现离发射平面太远的体素时，该体素总是变得模糊。
为了解决这个问题，研究人员开发了多平面光场显示器[50-52]。这是可能的，因为发射平面可以被光学元件重新聚焦，并沿着景深移动。然而，这需要一些复用来产生时间或空间上的不同平面，这增加了系统所需的带宽。另一台不容忽视的方面是，当有许多视域时，不同平面之间的遮挡很难控制[53]。
立体显示器
体积显示器具有位于3D空间中的体素，并且受到与多平面光场显示器相同的遮挡问题的影响。对于这两个系统，遮挡只能在一台观察点正确再现[54，55]。一些系统(包括体积和光场)使用眼球跟踪机制来重新计算遮挡，并在观者所在的位置显示正确的图像。然而，只有一台正确的视角可以实现，排除了对多个观察者的应用。
在体显示器中，遮挡问题的产生是因为体素的发射是全方位的，而且没有吸收体素。尽管如此，体积显示器的优点是能够在不损失分辨率的情况下重现景深。当它们不使用屏幕显示图像时，它们可以更自然地查看。在这种情况下，图像似乎漂浮在稀薄的空气中，这对观众的感知产生了戏剧性的影响[55,57,58]。
体积显示器还具有不能将图像家用投影到有限体积之外的缺点。图像深度受到该体积的限制，并且看起来超出显示器的深度风景或物体不能被再现[54]。立体显示器比特率的数学计算非常简单，只需将2D屏幕的分辨率乘以第三维度、刷新率和动态范围即可。在Fig. 1中4K体积显示的数据速率为
x×y×z×rep.rate×res.×colors= 4096×2160×1000×60×8×3 = 1.3×10^13 b/s （3）
然而，由于体积显示设置易于扩展，低分辨率系统可以很容易地用来展示该技术的潜力[59−61]。
全息3D显示器
自从Leith, Upatnieks, and Denisyuk的研究以来，静态全息图已经证明了这种技术能够再现人类视觉系统用来理解三维空间的所有线索[1，2]。通过使用高质量的光敏材料，目前可以复制现有的文物，并显示令人信服的全彩色全息复制品[62,63]。仍然存在的问题是如何对可刷新的显示进行同样的操作。要制造全息电视机，有三个基本问题需要解决:从3D信息中计算全息图案，将数据从捕获位置传输到需要显示的位置，以及在屏幕上再现全息图案以显示3D图像。
计算生成的全息图
三维衍射图的计算图像是基于光传播的物理模型。基尔霍夫和菲涅耳衍射积分提供了的光圈距离z的视场值任意形状[5]。早期对计算机生成的研究全息图(CGHs)在20世纪60年代末由Lohmann, Brown, Lesem发起[64−66]。虽然数学方程以一种非常长时间，它们的实际计算远非琐碎和经常被称为“计算瓶颈”[67]。即使在今天，每第二个(flops)需要计算的大小和位置衍射元素在实时是超越任何计算机的功能。
为了提供比例感，并遵循Slinger等人[68]的方法，720 p(1280×720)全息显示器的强力方法计算需要对于全视差，每个像素100×100个衍射元件，并且每个元件以60 Hz的速率进行4000次乘法和累加计算，并且对于三种颜色，这计算为1280×720×100×100×4000×360 =6.6千万亿次。全息图的计算方式必须简化。
最强的简化是远离菲涅耳(Fresnel)积分，在远场使用Fraunhofer积分，这是一种傅里叶变换。通过消除z坐标，Fraunhofer积分得到了无穷远处给定强度场的衍射图样的解。由于快速傅立叶变换算法，可以有效地计算出解决方案[69]。然而，傅立叶全息图只有单个图像平面，因此这种简化牺牲了图像深度，这对于3D显示器来说是不希望的。
还应该注意，傅立叶变换产生实数和虚数解。这两个分量对应于全息图的振幅和相位值。大多数时候，用于显示衍射图案的元件(例如空间光调制器)可以只能复制其中一台，不能两个都复制。这意味着当再现图像时，来自单个傅立叶变换的结果将具有大量的噪声。全息图中的其他噪声源来自相位等级的量化误差、像素结构中的衍射以及随机相位引起的散斑[70]。
为了降低噪声和增强信号，Gerchberg和Saxton在1972年[71]开发了一种迭代算法(GS)。但是，GS算法仅适用于2D输入图像，不接受3D信息。然而，为了获得一定的图像深度，可以为不同的离散平面计算单独的全息图[72-74]。这个解决方案提供聚散性和适应性。然而，因为不同图像平面的全息图是彼此分开计算的，而不是作为整个3D场景计算的，所以遮挡只能针对单个视角再现。这与前面提到的关于体积显示器的问题相同。最近，已经开发了一些算法来解决多平面全息图计算中的遮挡问题。这种算法已经证明了在有限的视野区域内呈现正确遮挡的能力[75-77]。
对于3D显示器，直接基于3D模型的全息计算可以完成[78]。虽然对这些算法的详细描述超出了本文的范围，但是应该注意，这些算法可以分为两大类:基于波前的方法和基于射线的方法。
在基于光线的技术中，全息图是从3D场景的非相干捕获的2D图像平面计算的，并且依赖于光传播的几何光学形式。基于光线的方法包括两个不同的类别:全息立体图(HS)和多视点家用投影(MVP)[79-81]。由于不计算波前传播，HS和MVP技术比基于波前的方法要快得多，可以渲染出逼真的图像[82]。然而，因为没有考虑物体的全部波前，所以基于光线的方法可能难以呈现一些3D光学线索。此外，HS技术在景深方面受到一些限制，因为不同的视图以不连贯的方式组合在一起[48]。MVP方法的另一台缺点是需要捕获或渲染大量图像，包括相机位置的小增量。否则，运动视差可能是跳动的，并且不能很好地表现遮挡。在某种意义上，HS和MVP全息图是介于光场显示和全息显示之间的混合体。
在基于波前的方法中光波是从点光源开始计算的照亮物体的点云或多边形表示。通过模拟来自物体的波前和另一台点光源或参考光束之间的干涉来计算CGH。这些方法的优点是它们天生考虑遮挡和视差线索，因此它们的渲染是准确的。然而，这种精度是以高处理要求为代价的，如前所述[48，83，76]。这种处理需求是由以下事实驱动的，即CGH的每个点必须考虑从全息平面中该位置可见的物体部分投射的每个光束之间的干涉。当全息图上的点移动时，物体的透视也相应移动。用于生成CGH的一些计算可以预先存储在查找表[84]中。与计算多次相比，检索这些信息要快得多。在大存储器存储和计算复杂性之间有一台很好的平衡。为了实现这种平衡，不同类型的算法在CGH计算的不同阶段利用了查找表[85-87]。
为了在合理的时间内处理计算3D全息图所需的大量数据，计算有时会在专门构建的硬件加速器上进行[88]。该硬件专用于计算菲涅耳相位图[86，88-91]。
尽管最近在计算机全息术领域取得了进展，但是从可获得的公开图像来看，用基于波前的算法计算的家用投影3D图像的真实性需要显著的改进才能令人信服(参见Fig. 4)[75,92]。这绝不是对该学科所取得的显著成就的批评，而是证明了复制一台完全详细的全息图像是多么困难。
在许多情况下，使用基于波前的方法计算的全息图像缺乏纹理(参见Fig. 4(2))。考虑到纹理渲染会考虑材质表面的最细微的细节，这并不奇怪。计算机还无法达到这种细致程度。可以与更熟悉的2D动画世界进行比较，早期影片描绘了缺乏光泽的块状人物，但在现代，制作团队可以使用任何级别的照片写实主义，以满足故事的艺术需求(例如，见例子[93])。
图4最近发表之基于波前之计算机生成全息图之光学重建例子。(1)摘自[75]。聚焦于龙的a、c头部和b、d尾部的数值和光学重建结果。(2)[93]给出了不同表面a、d粗糙表面b、e光滑表面c、f具有纹理的粗糙表面的渲染图像和光学重建图像。
机器学习、神经网络和人工智能等技术最近已成功应用于全息图形的计算[94-98]。在最一般的意义上，与这些技术相关联的算法通过训练计算网络来工作现代电子游戏中使用的图案。视频游戏将这些信息与虚拟摄像机的位置一起处理，以显示2D图像。同样，如果显示器需要，游戏引擎可以显示3D图像。作为一台恰当的例子，视频游戏可以使用立体虚拟现实头戴设备进行调整和播放。我们知道，要传输到显示系统的数据量并不庞大，可以很容易地被当今的技术所容纳。
然而，从3D图像来看，其全息图的计算极大地增加了信息量，因为衍射图案不能被缩放以适应人眼的横向分辨率(1弧分或0.3 mrad)，而是必须根据可见光的波长(500纳米)。这种缩放可以是赞赏于Fig. 1通过比较由于数据量的增加，它可能会更大一些输入图像(地面实况)并使用照相机观察由光学系统产生的全息图。该算法优化了代码的参数，以最小化迫使全息图向原始图像会聚的损失函数。一旦训练完成，参数被冻结，算法最终能够计算任何输入图像的全息图。一旦训练周期结束，这些技术在执行快速计算和解决与纹理渲染相关的问题时特别有效[99，96]。然而，在大多数情况下，这些算法适用于2D图像，但预计很快会扩展到3D图像。
全息图的传输
为全息显示器捕获的图像可以满足人眼的最低要求，并且不必像静态全息图那样使用相干照明和解析纳米干涉条纹。
为了适应人眼的调节，要再现的3D信息可以具有仅几厘米的深度分辨率，而不是用全息术获得的纳米[10]。这样的形象甚至可以是压缩成一台由纹理图案覆盖的3D网格模型，就像在现代电子游戏中使用的那样。 视频游戏将此信息与对象的位置一起处理虚拟摄像机来显示2D图像。用同样的方法游戏引擎可以显示三维图像，如果显示需要它。电子游戏就是一台很好的例子。使用立体虚拟现实耳机进行播放。
我们知道，传输到显示系统的数据量并不大，而且可以很容易地被当今的技术所适应。然而，从3d 图像来看，全息图的计算大大增加了信息量，因为衍射图样不能按比例缩放以适应人眼的横向分辨率(1弧分或0.3毫拉德) ，而必须按可见光的波长(500nm)来计算尺寸。这种缩放可以通过比较体积显示器(≈10^13b/s)和全息显示器(≈10^15b/s)的数据速率来判断。
因为数据大小增加了，这样的图像甚至可以被压缩成由纹理覆盖的3D网格模型传输3D图像/模型比全息图案更有效[100,101]。在这种情况下，全息图的计算应该在客户端(接收器)位置执行。这种模型被称为“胖客户端”，因为计算是在本地执行的，以避免使长距离传输介质不堪重负。这意味着本地站点需要大量的计算能力来支持这种解码(参见上面关于计算生成全息图的部分)。
或者，可以使用远程服务器来快速有效地计算全息图。在这种配置中，在接收机处只需要具有有限处理能力的“瘦客户端”,其功能是处理本地传输以用于显示目的。在这种情况下，几乎全部的数据量(10^14 b/s)都需要由服务器通过一台“大管道”网络传输到客户机。
全息图像的传输和复制模型在Fig. 5以及每个阶段所需的不同数量级的计算和数据速率。
图5全息电视机传输过程示意图。 瘦客户端架构和胖客户端架构的比较。
我们已经熟悉了这种用于手机和云计算的瘦客户端/胖管道架构。为了支持全息照相术，整个传输网络必须升级以支持10^6倍的数据流(从HDTV到全息照相术)Fig. 1).考虑到在过去的20年里我们已经经历了五代手机网络，这种增长是合理的[102，103]。
胖客户端模型和瘦客户端模型之间没有明显的优势。主要原因是传输3D全息图像和影片的需要尚不存在。然而，应该注意的是，用于全息图存储和传输的压缩算法不如用于自然的算法有效(全息与否)。乘以像素动态，STP可以直接与中使用的数据速率进行比较Fig.1。鉴于我们已经确定全息显示器图像，如JPEG和MPEG。这源于这样一台事实衍射图案的分辨率不能在不破坏它应该产生的光干涉并因此破坏全息图像的情况下降低。衍射图样需要使用近无损算法进行压缩[104-107]。
关于全息图传输的另一台重要的点是干涉图的计算是特定于显示结构的。为了正确再现全息图，干涉图的计算必须考虑显示器是完全视差或是水平视差，确切的照明波长是多少，像素密度是多少(以及其他参数)。同样，必须考虑将同时运行的传统显示器，如2D电视机、立体显示器、自动立体显示器，以及最终的体积显示器。为了确保所有设备之间的兼容性，一台精简的客户机配置必须将各种显示参数发送到服务器，并接收预先计算的数据作为返回。在厚客户机体系结构的情况下，服务器可以始终向客户机发送相同的模型，然后在本地进一步转换。从这个角度来看，胖客户机只是另一种类型的显示，可以集成到一台瘦客户机网络中，使这两个概念互补而不是对立。
全息显示设置时空产品
在成像设备的情况下，时空乘积(STP)是像素数量和刷新率的乘积。在等式中引入刷新率是很重要的，因为可以应用时间复用方案来提高显示分辨率。乘以像素动态，STP可以直接与图1中使用的数据速率进行比较。假设我们确定了全息显示应该有3 × 10^15 b/s的比特率，那么显示设备的STP应该有相同的数量级。
通过平铺多个空间光调制器(SLMs)来制作大型全息显示器在技术上是可行的。使用适合二维成像的比特率4K SLMs(即12.7 Gb/s)，需要23万个SLMs才能达到3*10^15b/s，需要15,000台个人电脑才能操作所涉及的屏幕数量。
这些可笑的数字再次表明了当前任务的难度。然而，研究人员已经证明，这种“平铺”方法实际上是有效的，尽管只是在更小的范围内[108-111]。
减少STP可以通过复制水平视差(HPO)和垂直扫描图像来实现。与完全视差相比，HPO提供了大约降低STP的一台因子1000，并且HPO显示器不需要保持组成3D图像的不同水平线之间的一致性。因为人眼的视差大多是水平的，所以HPO全息图中垂直视差的损失并不会显著影响3D感知[112]。然而，如果使用HPO全息显示，可能会引入一些其他的工件，如散光或需要观众站在给定的距离。尽管存在这些问题，许多研究人员已经利用HPO提供的STP减少来演示使用各种系统的全息家用投影[113–115]。
降低全全息系统的STP的另一种可能的方法是限制全息图家用投影的眼框。使用这种技术，光线通过眼球追踪系统或头戴式显示器(AR/VR耳机)射向观众[116−120]。知道观看者的位置极大地减少了全息图的计算，因为只有有限的数量的观点需要被考虑。同样，如果观察者在预定区域内，全息图的角度范围(其衍射角)会变窄，并且衍射像素的数量会减少。这种技术的优点是它不会牺牲图像质量或3D线索。
空间光调制器和相位阵列器件
毫无疑问，硅上液晶(LCoS) SLM的引入极大地促进了全息显示的发展。LCoS空间光调制器在显示衍射图样方面有许多省事的特点。像素间距低至几微米时，衍射角可高达10 °(参见等式1).SLM可以处理大量像素，这有助于实现高分辨率全息图。LCoS还具有能够调制相位的优势，这与8位相位级分辨率一起实现了高衍射效率。不幸的是，液晶的粘弹性将LCoS的刷新速度限制在几毫秒。这一速度足以实现成像目的，即使是彩色成像，但最终会限制LCoS SLM在全息应用方面的STP [121]。
为了增加SLM的STP，可以放弃LCoS技术，而使用微机电系统(MEMS)来代替。MEMS由可以倾斜或移动以与光相互作用的微镜组成。它们可以具有与LCoS相同的像素数和大致相同的像素间距。然而，它们的刷新率可以高出几个数量级[122，123]。这使他们的STP增加了相同的倍数，减少了创建全息显示所需的单元数量[124-126]。
早期的MEMS例子包括由索尼开发的用于构造衍射光调制器(或光栅光阀)的微带。这项技术拥有令人印象深刻的20 ns[127，128]的交换速度。然而，微带是一维的，这需要另一种扫描机制来形成2D图像。
大约在同一时间，德州仪器试验了一种相位调制器，上下移动像素来调制相位[129]。不幸的是，这种MEMS调制器没有商业化。相反，德州仪器投资了最流行的MEMS之一，数字光处理器(DLP)[130]。
DLP通过向一台方向或另一台方向翻转镜子来改变光线的方向。这种MEMS是为成像目的开发的，如家用投影仪和电视机，在这些配置中非常有效[131]。然而，对于全息术，DLP只能以10%的最高效率显示振幅全息图。然而，DLP STP可以达到令人印象深刻的47.7千兆像素/秒分辨率为1920×1080像素，刷新率为23 kHz。有些芯片组支持3840×2160像素的4K UHD分辨率，但它们的刷新率较低(60赫兹)，将STP降低到g像素/秒。
最近，德州仪器(ti)恢复了其早期相位调制器的尝试，正在开发能够实现更高效率的活塞式MEMS [132-134]。这种相位光调制器(PLM)在全息3D显示系统的开发中非常有用。如果PLM能够像某些DLP一样在20 kHz下工作，那么与典型的LCoS SLM相比，这种MEMS的STP将增加100倍。
另一种使用低效率设备增加全息图强度的方法是使用可刷新的全息材料。诸如光折射聚合物的可刷新材料可以记录SLM产生的波前，并且由于其高衍射效率，可以放大全息图的强度。视频速率全息家用投影以及大型全息显示器已经使用这种材料进行了演示[34，135，136]。然而，应该注意的是，这些材料目前依赖于电子可寻址装置(SLM、DLP或其他)来显示初始全息图案。
考虑到STP是开启实用全息3D显示器的关键，麻省理工学院和BYU的一组研究人员采用的方法(在DLP可用之前开始)是从当时具有最大STP的设备开始，声光材料(AOM)[137，138]。关于声光材料，声波的传播产生衍射光的密度调制。如果声波被正确编程，衍射光可以形成全息图像。在其波导格式中，声光调制器允许光与产生的声波之间有更长的相互作用长度，这进一步增加了STP [139 141]。单个泄漏声光波导可具有每种颜色50 MHz的可用带宽，这对应于30 Hz时的1.67兆像素。通过在单个晶体中制造多个波导通道，这些数量可以很容易地增加几千个，达到50 Gpixels/s的STP。虽然使用AOM的初始演示仅提供水平视差，但理论上可以使用单个激光源馈送不同的波导并控制相位，从而实现水平和垂直相干光束控制[142，143]。
另一种高STP器件是相控阵光子器件集成电路(PIC)[144，145]。在这种方法中，纳米光子通过在光子晶片上记录分支波导来构建相控阵(参见Fig. 6).波导被组织成使得它们将从单个光源投射的光分布在二维网格上。每个波导末端的相位可以通过电光或热光相位调节器来调节。终止每个波导的光栅输出耦合器从晶片正交提取光。类似于相控阵雷达，光栅输出耦合器也称为光学天线。
图6光子集成电路光相示意图数组中。 一台单一的相干激光源被定向在一台波导，由多个光栅从波导中提取光耦合器(充当光天线)。每个天线的相位可以使用相位调制器调谐来创建全息图。
PIC相控阵技术的优势在于可以在非常高的频率下对相位进行调制。电光调制器可以达到一百GHz[146,147]。这自然会将数据速率提升到10^10 b/s的数量级。使用300×300个天线的阵列将达到全息显示所需的10^15 b/s。正如我们将要讨论的，光子相控阵目前的困难是晶片材料、天线之间的间隙以及天线之间的相位精度。PIC的优选材料是硅，它不透射可见光。出于显示目的，应当使用在可见光波长中具有更好透射性的其他材料。在文献中已经探索了用于光学相控阵的氮化硅或二氧化硅平台，但是仍然处于它们的实验阶段[145，146，148，149]。
与填充因子超过90%的MEMS和LCoS相比，相控阵的填充因子相当低，大约为25%。填充因子影响衍射效率，因为存在旁瓣发射，如果天线相距太远，则无法消除旁瓣发射。这种分离是由于有限的转弯半径波导和波导元件之间所需的间隔，以避免交叉耦合[150]。转弯半径和波导间距这两个因素都是由波导内部和外部之间的折射率差决定的。较大的折射率差将允许较大的填充因子。
像素的相位控制在LCoS比在MEMS和相控阵中更好。LCoS相位是模拟的，与施加的电压成比例，因此在像素之间是均匀的。相比之下，目前的MEMS微镜水平是离散的，限制在4位，并表现出一定的非线性[134]。对于相控阵，相位控制是模拟和精确的，但由于制造的不一致性，必须对每个元件单独进行特性描述[145]。
总之，目前的SLM技术都不够成熟，无法满足大尺寸、超清晰度全息3D显示器所需的所有标准。这不应该掩盖过去几年取得的巨大进展，使最终目标更加接近。
结论
全息摄影仍然被认为是最终的技术，它将使人类视觉系统看到3D家用投影图像所需的所有光学线索得以呈现。所有其他技术，如(自动)立体显示、光场或立体显示，都受到限制3D渲染的折衷的影响。尽管如此，在全息显示实现之前，这些技术很可能会成为带来更好视觉舒适度的垫脚石。
几年前阻止全息电视机成为可能的一些门已经被打开。3D全息图的快速计算以适当地控制遮挡和视差目前是触手可及的，作为数据传输问题的解决方案。网络的确切架构(胖客户端或瘦客户端)尚不清楚，但更高的压缩率和支持互联网移动通信的更快的电信基础设施使全息电视机的数据流成为可能，如果还不能实现的话。
然而，一些挑战仍有待解决。撰写本手稿时的两个主要障碍是在合理的时间内计算逼真的3D全息图，以及用于复制高分辨率大型全息3D图像的合适电子设备。
对于全息摄影的先驱，Gabor, Leith, Upatnieks, 和 Denisyuk,来说，控制衍射像素的挑战只能是物理学家的梦想。这梦想目前已经变成了工程噩梦，因为可以家用投影全息图像的设备已经存在，但缩放格式以家用投影大图像可能会令人惊讶地困难。计算时间变得令人望而却步，目前控制数万亿像素需要极其大量的显卡。
尽管如此，家用投影大型全息图的困难将很快不再是工程领域的问题，而是转化为经济问题。最初，制造全息电视机所需的硬件太过昂贵，无法作为电视机机成功商业化。一旦价格变得可以承受，全息电视机将面临每个新媒体都会遇到的同样的障碍，那就是正确格式化内容的可用性。如果创作者仍在独家制作2D影片，拥有全息电视机就没有任何优势。由于这些原因，市场很可能会逐步发展，从HPO多视角开始，扩展到光场和全视差，最终达到全息摄影。
为了实现完美显示的梦想，我们应该记住Fig. 1 并不是不可改变的自然事实。这证明了人类的聪明才智和辛勤劳动。这种指数式的增长会以某种方式受到我们自身行为的影响。最终，有志者事竟成，对真正沉浸式视觉体验的渴望在人性中根深蒂固。正是这种渴望将使全息电视机迟早成为现实。
References
见原文Holography, and the future of 3D display (light-am.com) |
