春节一波突然来袭的疫情,改变了很多人的生活方式:视频会议成了日常,同学们在家里上起了网课,很多公司也搞起了远程办公… 而此时,另外一台行业也在悄然兴起,那就是VR在各种领域的应用。
比如,VR看房,通过全景相机拍摄360度全景图像,在软件中将拍摄的图像展现出来;买方在足不出户的情况下,便能“身临其境”的感受房子的格局,空间,视野等。
图1 贝壳看房
再比如,虚拟世界里也出现了由全景功能生成第一视角的视频。油管上也有不少全景视频供大家观看。比如说下面视频(https://www.youtube.com/watch?v=hNAbQYU0wpg),可以很“省事”的体验一把第一视角坐过山车的惊恐感觉。
图2 VR过山车
VR技术在游戏中也有很多应用,最近比较火的游戏——节奏光剑,玩家需要通过操纵杆在虚拟现实场景根据音乐节奏准确地砍击方块。玩得的人很多,大家有机会可以去体验体验。
图 3节奏光剑
以上这些都是基于VR技术的一些实现效果。而对于一些3D游戏,结合全景生成技术,在游戏中可以将游戏中的场景或动画实现成具有立体效果的视频,戴上VR眼镜后就仿佛进入到了真实的游戏场景中。
游戏中的实现VR和生成立体视频背后的原理相近,但是又有些区别——全景视频中需要处理一些复杂的情况。今天我们这边主要介绍下:全景视频生成技术,即如何利用游戏里的场景,生成立体的视频,使大家带上眼镜可以进入“真实”的游戏场景。
下面篇幅我们主要从以下三点介绍:
- 全景视频类型
- 立体全景视频的生成流程
- 视频生成中遇到的一些问题
一、全景视频类型
全景视频生成分两种:
1.单眼平面全景视频(Mono video):此类视频只有一只相机生成视频,类似普通的影片。不过相机可以360度旋转,观看周围的场景。 这类视频Youtube上很多,不需要借助vr设备,便可以观看。
2.双眼的立体全景视频(Stereo video):此类视频通常会生成左右眼两张图片,然后合并成一张图,最后借助VR设备,呈现出双眼立体的效果。通常视频长宽比为1:1 (比如4096*4096)由两张长宽比为2:1的左右眼的全景图组合成一张1:1的图片。
对于单眼全景视频,做好视频后可以根据youtube的规则如引用1)所示,用工具添加meta data,然后上传视频到网站,就可以正常播放了。
对于双眼,则需要生成视频后,把左眼放在上半部分,右眼放在下半部分,组成一张图,然后生成视频序列,最后用h264编码成mp4文件,给VR设备使用。
图4单眼全景视频
图5立体全景视频
二、立体全景视频的生成流程
以分辨率为4096*4096的全景视频生成为例,生成流程如下:
while( 镜头没有结束 )
{
设置新的相机位置
开启左眼拍摄标志
拍摄当前相机位置前后左右上下六个面,每个面需要生成对应的mipmap,合并成一台cube map
用球面坐标去cubemap上采样,最终输出到一张纹理A(4096*2048)上
开启右眼拍摄标志
拍摄当前相机位置前后左右上下六个面,每个面需要生成对应的mipmap,合并成一台cube map
用球面坐标去cubemap上采样,最终输出到一张纹理B(4096*2048)上
将纹理A和B合并成一张方形纹理(4096*4096)
}
将生成的序列帧合并成mp4
上面的流程比较简单。其中有两点需要说明:
生成mipmap作用:避免在生成球面图时采样导致生成的视频闪烁问题
开启左右眼拍摄标志:只是设置了下一台shader uniform param. 用来区分左右眼的情况下,看到物体的细微不同。
至于生成全景视频的过程中左右眼的图片到底有哪些不同、生成时具体做了哪些工作以及遇到哪些问题下面将详细说明。
三、视频生成中遇到的一些问题
1. 左右眼立体图像问题
图6 不同相机生成全景图
刚开始生成全景图的时候,是把左右眼的相机放在两个不同的点,然后在各自的位置生成cubemap, 此时生成的图片在VR眼镜里看的时候,在某个朝向看物体是立体的,在相反方向会头晕,原因:如上图所示,当观察上面物体时,左边是左眼,右边是右眼;当观察下面物体时,左边是右眼,右边是左眼;此时就会出现右右眼不匹配,头晕;
另外,即使没有错位问题,在不同角度下,两个眼睛看到的物体的偏差是不一样的。如下图所示:
图7 引用自Rendering Omnidirectional Stereo Content
要解决视觉偏差问题,需要看到的每个像素都是当前镜头位置下,左右眼在正确的位置上时看到的物体;而最早使用的方法,只是相机在固定的位置拍摄一圈,然后左右眼拼起来,效果就错了。
google的Rendering Omnidirectional Stereo Content(引用3)文章中介绍的方法,解决了这个问题,但是其中介绍的光栅化pipeline下如果每个像素都画一次屏幕,速度会比较慢;我们这里结合Unity中的做法,将相机固定在同一台位置,对vertex shader中所有的顶点,根据距离相机的远近进行不同程序的位置偏移,来模拟类似的效果。这种方法,在光栅化的pipeline下,会有一些bug (比如某些建筑三角形过大,导致变形较严重的问题) 理论上没法避免,但总体效果还不错,可以接受。
图8 引用自Rendering Omnidirectional Stereo Content
需要对场景里的所有物体,包括建筑,人物,特效粒子等,在vs中对顶点进行依稀,以下是vs中对每个顶点偏移的算法:
图9 unity中的偏移算法
图10 对顶点的世界坐标进行偏移
2. 阴影问题
上面解决了左右眼立体的问题,但是或是会头晕。后面发现是只要眼睛看阴影的地方,就会特别晕,眼花了。最后发现是由于上面对顶点偏移的做法引起的:
因为左右眼的顶点位置不对了,我们阴影的算法是根据mesh的位置来算实时的阴影的,此时阴影和顶点的相对关系就不匹配了,比如说同样角色家用投影在地上的阴影,左眼和右眼生成的阴影与人自身的位置像素偏差分别是8、10像素,虽然细微的差别从视频上看不出来,但是放在VR眼镜里,左右眼就会感觉到明显不匹配。
解决办法:
1.在pixel shader阶段,将当前像素原始的world position输出到一张额外的render target上. 我们引擎里各种材质较多,不统一,这块改动工作量较大,所有的shader都得过一遍,在ps中输出world position.
2.在渲染阴影的时候,通过当前的屏幕纹理坐标, 找到当前像素原来的world position,然后用这个点去判断是否在阴影内,这样左右眼的阴影就统一了。代码如下图:
图11 对顶点的世界坐标进行偏移
3. 接缝问题
渲染出来的球形图,经常会看比较明显的边界,后面发现是因为明暗不同导致的。而明暗是由于生成相机6个面的时候,hdr会调节屏幕亮度,由于hdr的原理,在每个面的边缘计算机并不连续;
其他说明:
上面这种方式渲染速度比较快,每个镜头需要渲染6张图,普通工作机器上,3分钟的视频,渲染半小时左右。
Unreal4中的Stereo Panoramic Movie Capture插件,也实现了全景图功能。实现方法是:
将全景图的球面划分成粒度很小的一台个小网格(水平方面180等分,竖直方面30等分能达到较好效果),然后每次渲染一小部分,最后拼接起来,这个好处是不会有我们之前遇到的大的三角形,变形扭曲的问题。
但是这个方法因为渲染的次数较多,性能较低,与上面的算法,相差两个数量级。
小结:
利用全景生成技术,可以很省事的生成游戏中的立体视频,戴上VR眼镜就能在家里领略游戏中的美丽3D风景。
最后附上我们之前尝试制作的3D西湖十景视频部分截图:
图12曲苑风荷
图13花港观鱼
图14在鹰背上看西湖全景
图15 雷峰夕照
图16 断桥残雪
Reference:
- https://support.google.com/youtube/answer/6178631?hl=zh-Hans
- https://developers.google.com/vr/discover/360-degree-media
- https://developers.google.com/vr/jump/rendering-ods-content.pdf
- https://assetstore.unity.com/packages/tools/camera/360-vr-camera-capture-rig-53264
- https://www.unrealengine.com/zh-CN/tech-blog/capturing-stereoscopic-360-screenshots-videos-movies-unreal-engine-4
|