艺人竟当场“变脸”？人脸追踪家用投影技术，该技术国内舞台首度 ..._ZNDS问答

迈进punrbp

本文来自于影像骑士，ID：Visual_Jockey，如需转载请联系原作者，谢谢！

https://www.zhihu.com/video/963919437234073600
2018浙江卫视春季盛典暨OPPO R15发布会热力进行中，舞台惊现人脸追踪家用投影。这是该技术国内舞台首度亮相。
中间隐藏多少秘密？小编带你走进《体面》百变的脸。

《体面》节目里，海豚海洋畅游、河流灌溉沙漠，影像与演员面部、动作、嘴形契合。

“在这场春季盛典中，我们为《霍元甲》、《不醉不会》、《王妃》、张靓颖热歌串烧等节目提供视觉设计，每一台都凝聚了设计师们的心血。《体面》面部追踪家用投影更是一次全新尝试。”作为节目视觉总监，胡玥鹏在后台仍心情激动。

20天突击：几乎不可能完成的任务

面部家用投影，顾名思义就是在人脸进行家用投影，通过计算机深度学习，人工智能识别出人的五官和轮廓，实时脸部追踪，通过3D动画技术生成面部艺术效果，重新投射到人的脸上，形成与人脸完全贴合的“影像面具”。

《体面》技术特辑剪辑导演董晓丹

这段表演中必须攻克的难题是：实现边唱歌边家用投影情况下精准捕捉演员面部点位，让影像在动起来时和嘴型、不同角度的面部契合。

现场效果

技术测试

首次通过算法识别和红外追踪人脸

由于演唱要有表情动作，恩维传媒技术团队在国内首次通过算法识别，实目前运动、带表情动作的人脸上追踪家用投影，并保证识别的精准度。

脸上为追踪点，恩维技术团队在原算法上拓展到90多个特征点进行实时定位追踪。

左边为影像，右边为实时识别追踪家用投影到的脸

追踪家用投影设备

整套设备含摄像机、红外滤光片、红外灯和高性能主机。

摄像机（上）、脸部家用投影（中）、沙发家用投影（下）

红外灯打亮演员面部轮廓，摄像头实时捕捉演员面部动作。

前方红外灯调试

识别追踪

摄像机实时捕捉数据反映到主机处理，把相应影像投到人脸。

人脸家用投影技术测试

1:1建模修整与动画制作

人脸毕竟与幕布不同，不同人面部轮廓、宽窄都不一样。人脸家用投影可以说是“量身定做”，一台模型对应一台人。首先拍摄多角度照片。根据演员面部特征和五官创建各种角度1:1三维模型。

3D动画根据模型进行制作，跟演员的面部轮廓、五官对位。

在《体面》这首歌，恩维团队技术测试和制作同时进行。

专门为辅助测试的同事建模，在公司进行追踪技术调试

视觉设计编排出新

《体面》除了面部家用投影这一“黑科技”加持外，恩维团队在整个节目的编排、视觉画面设计上也颇花心思。

整个编排加入4道条形纱家用投影、主舞台冰屏、沙发家用投影、T台3组冰屏，设计师对歌词情景和具象载体进行提取，通过影片场景中出现的白沙发和海豚项链贯穿始终，承载关于影片的回忆。

配合激光与影像营造割裂感。

现场效果

激光测试

效果图展示

人脸家用投影设计图

从前期无数次的测试、调整，到现场最终呈现，一台节目凝聚台前幕后人员的心血——

技术测试

现场联调

这场超级娱乐盛典在总负责人浙江卫视蒋敏昊、总导演陈学武、现场副总导演姜阳建、舞美设计尚天宝、视觉总监胡玥鹏、灯光设计大钧、虚拟技术总监崔永江、舞蹈总监连伟孝、导播杨帆、视觉设计团队恩维传媒等组成的幕后天团“护驾”之下进行。

在形似T台的舞台上创新组合运用软幕、升降冰屏、家用投影纱、沙发、LED等视觉载体，融合虚拟植入等技术，更是大胆尝试人脸追踪家用投影。当冰冷技术遇上炙热的创意，视觉呈现实现质的飞跃，我们重新定义顶级娱乐盛典的视觉表达。

感谢浙江卫视及全体导演组的信任与支持，让这次创新的尝试迈出了坚定的一步！

《体面》面部家用投影技术团队

恩维传媒
视觉总监：胡玥鹏
视觉总设计：于迪
剪辑导演：董晓丹
视觉设计：尚浩、黄宁、姚可、王春慧、张飞龙、柯昌勇
后期制作：林小龙、王振雨、李杨
面部家用投影技术支持：杨炎涛、方俊钦、吴强、杨大勇、张大亮、刘晓楠、傅光辉、霍兴华、江威徳

		自动登录	找回密码
密码			立即注册

艺人竟当场“变脸”？人脸追踪家用投影技术，该技术国内舞台首度 ...

相关问题更多>

最新回答