谷歌最新黑科技：裸眼3D视频通话，宛如真人面对面！Jeff ..._ZNDS问答

dqcwjl

梦晨明敏发自凹非寺
量子位报道 | 公众号 QbitAI

受疫情影响停办一年的谷歌I/O大会回来了，这一次是全程线上举办。
在会上，谷歌公布了一台秘密开发5年多的黑科技：

这个名为Starline的3D视频通话技术，让屏幕另一边的人看起来有体积、有深度和阴影，就像坐在你的面前一般真实。
而且是裸眼3D，不需要佩戴任何眼镜或者头盔。
连谷歌AI掌门人Jeff Dean都表示大受震撼，可以称作“魔镜”。

在疫情中，人与人的沟通方式受到挑战，隔离使分散的家人无法团聚，远程办公、在线教育成为新的热点。
Starline就是谷歌给出的答案。

已有大约100名谷歌员工在参与过内部测试，与普通的视频会议相比，这些员工表示使用Starline开会过后对细节能有更生动的回忆。
从会议中走出来时，感觉到确实与对方见过面。
光场显示屏

Starline用到的设备是一台65英寸的光场显示屏，以及在现场布置的十多个摄像头和传感器。

这些传感器从不同角度捕捉人的形象，使用深度学习进行实时压缩，传输到另一边再重建成3D影像播放出来。

这一切都是实时完成，并非事后渲染。
配合上空间音效，屏幕两端的人就可以即时交流。

数据传输与普通的视频会议一样基于WebRTC，独特的压缩算法使双向实时传输3D影像成为可能。

虽然演示用的两个展台网络是直接光纤链接的，但谷歌工程师坚称标准的办公环境网络就可以胜任。
《连线》杂志的记者进行了现场体验，他表示画面会以真实比例呈现，里面的人像在一台透明的盒子里。
不过如果在沙发上挪动位置太大，体积的感觉就会消失，变成了看普通的大屏幕电视机。
此外，体验过程中还有将网页投放到光场显示屏上，让两人进行实时协作的环节。
开发历程

过去几年，谷歌在如何拉近人与人的距离上，下足了功夫。
谷歌眼镜、独立VR头盔，虽然在一定程度上实现了把人像呈目前眼前，但是能达到的效果都十分有限。

Google Glass与Daydream VR头盔在商业上都没有获得成功，目前都已停产。
Starline成了新的研究方向。
不用佩戴额外的装备，可以使技术的成分隐藏起来，人们能够把注意力集中到交流的对象上。
但是它什么时候能走入寻常百姓家，这还需要打一台大大的问号。
谷歌并没有透露Starline的造价有多少，反正不会很便宜。
目前，Starline还只是在谷歌内部小范围测试应用。
他们计划今年内在少数企业中进行测试，主要涉及云服务、远程医疗、媒体领域，但拒绝透露这些企业的名字。
不过其中用到的技术会很快应用到一般视频会议中，比如增强光照和阴影。
I/O大会其他亮点

除了让人眼前一亮的“魔镜”，今年谷歌I/O大会还发布了哪些新内容？
今年，谷歌正式发布了第四代TPU，并将在谷歌的数据中心运行。
第四代TPU的算力是第三代的2倍，一台pod（芯片集合）可以超过1个exaflop的运算能力，即每秒10的18次方，较上一代提升10倍。

AI无疑是今年大会的重头戏，谷歌此次推出了两个算法模型。
LaMDA是一台基于 Transformer架构的对话模型，它能够在“听懂”人类指令的基础上，对答如流并保证逻辑、事实正确。

目前LaMDA还在实验阶段，不久的将来会提供给第三方进行测试。谷歌表示，LaMDA最终会应用在Google搜索、Google助手等功能中。
与此同时，谷歌还发布了一台全新的模型——MUM。
它是一台基于搜索结果的多任务统一模型，能同时处理文字、图片、视频等信息，最终得出一台具有参考价值的信息。

比如当被问道：“我已经成功登上了亚当斯山，明年想去登富士山，应该准备些什么呢？”
MUM可以通过人们提供的照片、视频、路线图等信息，结合当地的气候、地质情况，规划出一台最合理的攀登计划。不过目前它还处于实验阶段。
此外，谷歌首次展示了他们位于加州圣巴巴拉的量子AI园区，这个园区中设有量子数据中心、量子硬件研究实验室，以及谷歌自个的量子处理器芯片制造设施。

他们表示正在推进一台大计划：用100 万个物理量子比特建造一台有纠错能力的量子计算机。
这对于目前量子计算机的规模（少于100个量子比特）而言，是个巨大的突破。
最后当然，也少不了保留项目Android 12。
这一次Android 12引入全新的设计语言——Material You，Google强调“你”才应该是操作系统的创作者。
在全新的界面中，用户可以自由定义系统的色彩组合，而不仅仅是单独的颜色。

并且完全重写了一些底层交互逻辑，在增加流畅性的同时延长续航。
Android12的另一台重点是隐私保护。增加统一的隐私面板，隐私设置一目了然。

△小米：呵呵
另外在APP使用摄像头或话筒时，用户可以在通知栏获得提示，并且增加全局权限开关。
同时还引入了一台“私有计算核心”的概念。手机中所有基于AI运算得到的数据，都会被存储在特定的空间内，不会被外部窃取。
未来，Android 12还有计划加入数字车钥匙功能，已与宝马展开合作。
此外，Google宣布他们将联合三星和已经被Google收购的Fitbit，重新打造Wear OS。

Google I/O 线上参与地址：
https://events.google.com/io
参考链接：
[1]https://www.wired.com/story/google-project-starline/
[2]https://blog.google/technology/developers/io21-helpful-google/
—完—
@量子位 · 追踪AI技术和产品新动态
深有感触的朋友，欢迎赞同、关注、分享三连վ&#39;ᴗ&#39; ի ❤

要一套装置。。。好像也并不聪明，不过可以是第一步，以后向着可以拟合一个房间，一个环境，甚至一个世界

这不就和3D电影一个效果吗？. 改进点在于压缩的效率和观看方法。

电影是预先渲染好的，视频通话是实时完成的[思考]

这意味着去公司化和逆城市化进程即将开始。当你在家和在公司一样能有效交流的时候，上班去公司打卡就已经没什么意义了。

感觉就是做个face tracking然后根据观看者的位置来显示画面的裸眼3D吗，主要的难点应该是构建对方的3D图像，而且一侧是两个人的话就无法让两个观看者同时有3D感。这玩意十年前就玩过了……

请问谷歌之前能通过图灵测试的打电话机器人Duplex发展到什么可怕的程度了？[好奇]

并不是光场技术几年前就有论文了是在每一个像素中都包含平面中的绝大部分信息达到的效果是每根光线除了色彩还带有方向控制就如同透过窗户观察物体一样的效果只是现在的光场更像是以前小时候玩的光栅变图可变角度很小面对屏幕观察角度90°以内图像要循环4次也就是每个像素从左到右只有8种可分辨的信息每22°左右才有新的角度图像被投射到人眼但是对于双眼自然视差那点距离甚至人头微量的移动来说已经可以覆盖了基本就是这个意思当然还是没有宣传片里拍的那么炫实际上上个月他们已经发布了一个光场平板我下个月打算用下看看

实际上光场的效果现在还挺差的基本就是1米内能看到像素点一样的效果我在某实验室体验过一下

下个原生安卓用谷歌助手就能用了

		自动登录	找回密码
密码			立即注册

谷歌最新黑科技：裸眼3D视频通话，宛如真人面对面！Jeff ...

相关问题更多>

最新回答