开启辅助访问
 找回密码
 立即注册

大厂布局,手部交互升级

kseven 回答数0 浏览数676
内容及生态:元宇宙内容破圈,生态持续繁荣
内容:游戏社交快速迭代,健身、工作场景持续拓展
10 月 VR 内容(游戏+应用)数量保持稳定提升,社交、健身、工作场景持续拓展。整体 来看,10 月 VR 内容(游戏+应用)数量稳定增长,据青亭网统计,2021 年 10 月 Steam 平 台支持 VR 的内容为 6,102 款,较上月(6,018)环比提升 0.84%,占应用总数的 5.77%; Oculus 官方解决方案 App Lab 应用和游戏数量达 647 款,较上月(585)环比提升 10.60%, 自 2 月份首发测试后保持较快增速,新发产品中《Eye of the Temple》凭借优质的交互效果 在 Steam 上取得 96%的好评,《Beat Saber》等长青游戏依旧表现亮眼,截至 21 年 10 月仅 Quest 平台收入超 1 亿美元。2021 年 Connect 大会上 Meta 发布 Horizon Home,提升 Horizon Workrooms 定制化程度,同时宣布《Supernatural》等多款健身产品将持续丰富功能,并拨 款 1.5 亿美元培训下一代沉浸式内容创作者,有望带动社交、健身、工作场景持续优化。
1)内容上新
据 VR 陀螺统计,21 年 10 月 Steam/Quest/Vivepot 分别上新 21/12/12 款游戏,上新数量 保持稳定,《生化危机 4》创 Quest 首周销售记录,部分游戏取得良好口碑。其中由 Rune Skovbo Johansen(未上市)开发的《Eye of the Temple》于 2021 年 10 月 14 日上线,这 是一款 PC VR 冒险游戏,允许用户从一台移动的方块走上另一台,保持平衡并躲避陷阱, 用手中的火把和鞭子解决谜题。该游戏不同于点击式传送,而是基于房间规模技术,让玩 家用脚在现实世界中移动,同时该游戏只需要 2 米 x2 米的空间,但能够实现超大空间行走 体验规模感,截至 11 月 21 日,《Eye of the Temple》在 Steam 上好评率达 97%。
《生化危机 4》创 Quest 首周销售记录。据映维网,Meta(FB US)表示 10 月 21 日上线 的《生化危机 4》创 Quest 首周销售记录,据 RoadtoVR 的测算,截至 11 月 24 日,该游 戏累计营收超 850 万美元。同时 Meta 宣布雇佣兵 DLC 将于明年免费加入《生化危机 4》, 持续丰富游戏玩家体验。

《Eye of the Temple》游戏场景

《生化危机 4》上线Quest平台

10 月份 SteamVR 活跃设备前三为:Oculus Quest 2 占比 35.02%,较上月 (33.19%)提升 1.83pct;Valve Index 占比 17.30%,较上月(17.50%)下降 0.20pct; Oculus Rift S 占比 16.25%,较上月(17.21%)下滑 0.96pct。前三机型已经持续半年无变 化,其中 Oculus Quest 2 作为最便携的 VR 一体机,以较大优势稳定居于首位;Valve Index 是 Steam 自家推出的中高端 PC VR,近半年涨幅不大,9 月份表现强劲首次超过 Rift S。 硬件牌子分布情况方面,10 月份 SteamVR 分别前四大牌子分别是:Oculus 占比 61.15%, 较上月(60.75%)提升 0.40pct;Valve 占比 17.30%,较上月(17.50%)回落 0.20pct; HTC 占比 13.67%,较上月(13.89%)回落 0.22pct;微软占比 5.55%,较上月(5.48%) 提升 0.07pct。
大厂动态
Meta:FB 宣布改名 Meta,每年投资超 100 亿美元建设元宇宙
Facebook(FB US)宣布改名 Meta,FY2021 元宇宙相关投入将达 100 亿美元。在 2021 Connect 大会上,扎克伯格宣布 Facebook 将改名 Meta,元宇宙建设成为公司首要目标, 虽然目前仍在早期,但未来 5-10 年部分元宇宙相关技术将趋于主流。据 Meta FY3Q21 业 绩发布会,公司表示 FY4Q21 公司将分 2 个部门披露业绩:1)FoA(Family of Apps)包 含 Facebook、Instagram、Messenger、WhatsApp 等;2)FRL(Facebook Reality Labs) 包含 AR/VR 硬件、软件及内容,FY21 元宇宙相关投入将达 100 亿美元。
围绕 Horizon 平台打造多维元宇宙内容,全面铺开应用场景。Horizon 是 Meta 的社交/工 作平台,供用户在元宇宙中创建内容与互动。在大会上,Meta 公布了 Horizon Home, Horizon Worlds, Horizon Workrooms 在内的多项元宇宙产品,实现社交功能的完善与工作场景优化。 1)Horizon Home 是 Meta 对于元宇宙家居场所的早期愿景,房间根据用户需求定制,可用 于储存数字产品,用户亦可邀请朋友在家中作客,同时 Meta 还在 Horizon Home 中为用户 提供全新的个人办公室,让用户能够专注于工作或处理待办事项;
2)Horizon Worlds 定位游戏社交平台,2020 年已推出 Beta 版本,用户可以在其中创建包 括游戏、派对,并邀请朋友加入其中,据 VR 陀螺,21 年 10 月 Meta 公布 1,000 万美元的 创作者基金,用于鼓励更多内容创作者构建虚拟世界;
3)VR 会议软件 Horizon Workrooms 于 21 年 8 月上线,21 年 9 月宣布从 22 年开始将会 与多人视频会议软件 Zoom 合作,将其更深入地集成到日常工作流程之中,年底 Horizon Home 将推出会议室定制功能,为用户提供自定义的房间并允许添加海报和 Logo。

Horizon Home示意图

Horizon Worlds游戏社交场景示意图

元宇宙游戏内容加速迭代,《Beat Saber》仅 Quest 平台收入超 1 亿美元,多款大作即将 推出。Meta 表示,2021 年至今《Beat Saber》已完成 4 次免费更新,推出包括 Skrillex 和 Billie Eilish 等的可下载音乐包,上线以来仅 Quest 平台收入超 1 亿美元;VR 独占大逃杀游 戏《Population: one》2020 年上线,目前已经成为 Quest 平台收入最高的游戏之一,游戏 最多支持 24 人同时在线,后续亦将持续进行重大更新,优化用户体验;新游发布方面, Meta 宣布将与《亚利桑那的阳光》开发商 Vertigo Games 合作开发包括《Deep Silver》在 内的 5 款 VR 游戏,VR 独占中世纪奇幻沙盒游戏《Blade and Sorcery: Nomad》将于年底 上线,同时继《生化危机 4》后,由 Rockstar games 打造的 3A 大作《侠盗猎车手:圣安 地列斯》亦将登陆 Quest 2 平台。
打造经济系统实现正循环,推出 Presence 助力混合现实内容开发。据扎克伯格,Meta 将 维持以往策略,保持低价并提供选择,以服务更多的用户、创作者和商业模式:公司将继 续对设备进行补贴,扩大产品的覆盖面,支持与 PC 的链接而非强迫用户使用 Quest 平台, 让更多的开发者和创作者享有低价服务,保持经济系统的利益最大化,未来平台亦将持续 探索新的所有权模式,提升物品的流通效率。此次发布会上,Meta 公布了机器感知与 AI 平台 Presence,助力开发者打造混合现实体验:Interaction SDK 作为模块化组件库,使得 创作者能够在应用程序中轻松添加手部交互;Voice SDK 允许创作者将语音输入集成到游 戏与应用程序,打造全新游戏玩法与导航功能;Passthrough API 推出以来取得良好效果, 完成测试后将推出 SDK 版本,助力创作者在 Oculus 与 App Lab 中发布混合现实应用程序, 同时空间锚定、场景理解功能等工具能够实现虚拟对象与现实世界的无缝融合,打造丰富 的沉浸式虚拟现实体验。VR 创作者生态方面,Spark AR 致力于创作者的大众化、去中心 化,为创作者提供课程以及必要的工具,明年公司还将为创作者推出链接功能,使得实际 的地理位置能够与增强现实效果链接,如导游和寻宝游戏等新体验。同时 Meta 创建了代号 为“Polar”的工具,旨在为在 2D、3D 或编程方面没有经验的新手提供 AR 创作工具,持 续降低 AR 创作者门。

《Beat Saber》推出至今Quest平台收入超1亿美元

Meta目标为创作者提供更多的生意模式

Meta 收购《Supernatual》开发商 Within,推出定制健身包,加码元宇宙健身,教育场景 优化。2021 年 10 月底 Meta 宣布收购健身应用《Supernatual》开发商 Within,其中 《Supernatural》凭借着 VR 效果,允许用户在健身房外的虚拟世界中进行锻炼,为用户提 供多样化的体验,该应用同时支持链接 Apple Watch 测试心率,明年还即将推出拳击功能, 功能持续迭代。除此以外,VR 健身游戏 FitXR 年底将推出新的健身工作室;由 Rezzil 开发 的足球训练应用 Play 22 目前正在被职业运动员使用,未来将推出有专人指导的重量训练课 程。同时 Meta 计划于 2022 年推出 Quest 2 健身包,包括全新的防汗手柄与针对运动优化 的面垫,提升用户操作控制能力,使得运动健身更加舒适。教育方面,Meta 宣布拨款 1.5 亿美元培训下一代教学内容创作者,助力沉浸式内容创作。AR 教育方面,为帮助更多的创 作者使用 Spark AR,Meta 将建立专业的课程和认证流程,使课程创作者更易变现,未来 Spark AR 课程将支持在 Coursera 与 edX 平台播放,实现更远的触达。

《Supernatual》允许用户在虚拟世界中锻炼

Meta宣布拨款1.5亿美元培训沉浸式内容创作者

整合MetaWorkplace与Microsoftteams, 互补软件功能。MetaWorkplace负责人Ujjwal Singh 表示,包括沃达丰(Vodafone)和埃森哲(Accenture)在内的客户都要求进行整合。通过 整合,客户可以访问 Teams 应用程序内的 Workplace 内容。同样,用户可以在 Workplace 应用中查看 Teams 视频会议。Workplace 和 Teams 并不完全重叠。Workplace 侧重于公司 范围内的广泛联系,Teams 则侧重于员工和同事之间的即时沟通。
谷歌:计划重组 Google Labs,全球 ARCore 认证设备超 10 亿台
Google(GOOGL US)计划重组 Google Labs,专注于包括 AR/VR 在内的具备长期发展 潜力的设备。据 TechCrunch 报道,谷歌正在组建 Google labs,旨在将公司具备长期发展 潜力的创新项目归于一台团队下,具体包括 AR/VR、Project Starline(全息视频通话)、内 部孵化器 Area 120。该团队将由 Clay Bavor 领导,并直接向 CEO Sundar Pichai 汇报。
全球 ARCore by Google 认证设备超 10 亿台,深度 API 在超 3.8 亿台 Android 设备上被 使用。据谷歌 2021 年谷歌开发者大会,截至 11 月全球 ARCore by Google 认证设备已经 超过 10 亿台,增强现实正在走进更多人的生活,其中深度 API 助力 3D 测量建模工具、实 景交互游戏的打造,目前已经在全球超 3.8 亿台 Android 设备上被使用,录制和回放 API 消除了时空、设备间的限制,用户能够随时随地在彼此的视频里进行协同创作。

抖音开发了基于深度API的特效

Team Viewer与谷歌合作开发AR库存管理解决方案

谷歌联合多方推出复联AR滤镜

2021 年 10 月,TeamViewer 与谷歌云宣布合作,开发基于谷歌云的 AR 库存管理解决方 案。据青亭网与 VR 陀螺,双方首个联合开发的成果是辅助按单拣选(Assisted Order Picking) 解决方案,该程序与零售商的订单执行系统链接,能够对数据进行实时更新,同时员工可 以通过 Google Glass Enterprise Edition 2 智能眼镜收到所需信息,跟进订单运行情况。由 于用户无需用手操作设备,从而能够更加有效地定位和选择产品,进一步提升超市、零售 店优化多渠道订单管理流程。
上线网页版《Pocket Gallery》,合作 Snap(SNAP US)推出独占 AR 滤镜,持续丰富 AR 内容体验。2018 年,Google 艺术与文化团队曾发布移动端口袋 AR 展览应用《Pocket Gallery》,旨在以 3D AR 形式在线上展示艺术作品或建筑。2021 年 10 月,该团队推出网 页版《Pocket Gallery》,供用户在电脑、移动设备的网页上查看口袋展览,同时 Google 艺 术与文化还与法国国家博物馆联合会合作,推出全新的虚拟展览,包括 40 幅海洋主题的艺 术作品,全新的展览将同时支持 AR 和非 AR 模式。据 VR 陀螺,21 年 10 月举行的 Pixel 秋季发布会上,谷歌进一步加强与 Snapchat 的合作,在 Pixel 6 中独占推出“Quick Tap to Snap”功能,允许用户从手机锁屏访问相机模式的 Snapchat。Pixel 6 中的 Snapchat 还将 支持谷歌的实时翻译功能,允许 10 于中语言的自动翻译,同时 Snap 与谷歌将合作推出独 占 AR 滤镜。据青亭网,首批滤镜共计 5 款,不同滤镜限制特定机型,分别将在 10 月 28 日(奇异博士)、11 月 4 日(蚁人和黄蜂女)、11 月 11 日(雷神)、11 月 18 日(卡魔拉)、 11 月 25 日(惊奇队长)陆续上线。
微软:推出 Mesh for Team,切入元宇宙办公赛道
微软(MSFT US)宣布元宇宙计划,推出 Mesh for Teams 切入办公赛道,随后宣布与 Meta Workplace 开展合作。2021 年微软 Ignite 大会上,微软 CEO Satya Nadella 宣布公 司将正式入局元宇宙,同时公布 MR 办公解决方案 Mesh for Teams,预计将于 2022 年上 半年推出。Mesh for Teams 将适配智能手机、平板、PC、MR 等多种设备,允许用户在多 种终端上实现虚拟现实体验。据 Mesh for Teams 首席项目经理 Katie Kelly,在 2022 年上 半年推出的预览版本中,Mesh for Teams 在为用户提供个性化的虚拟化身的同时依然会保 留视频、静态头像等传统接入方式,而在虚拟化身接入模式下,Mesh for Teams 将会提取 用户的音频信息,并将其映射为用户表情,同时用户身体的其他部位,比如手部也会跟随 对话运动,从而增强用户临场感。未来微软将持续探索 AI 技术的使用,如通过相机检测用 户嘴巴位置,从而模拟头部和面部移动,丰富用户体验。
据青亭网,Mesh 是微软于 21 年 3 月推出的 MR 开发平台;Teams 是微软 365 旗下的团队 群聊与协作工具,我们认为,此次结合是 Mesh 混合现实功能的场景延伸,是 Teams 工具 的功能拓展,Mesh for Teams 将允许员工以虚拟化身参与线上合作,能够有效增强用户参 与感,凭借着 Teams 本身用户基础,助力微软从办公场景切入元宇宙赛道。据 CNBC,2021 年 11 月,微软宣布与 Meta 开展合作,未来将允许用户整合 Workplace 与 Microsoft Teams 应用,两大软件将从内容层面打通,有望加速元宇宙办公进程。
除办公赛道外,微软未来将拓展持续加码元宇宙游戏。据 The Verge,微软 CEO Satya Nadella在接受BloombergTV采访时表示,将来 Xbox 游戏平台也将加入到微软元宇宙中, 未来计划将《Minecraft》《Halo》和《Flight Simulator》等游戏转变为完整的 3D 世界,并 允许玩家佩戴 AR/VR 设备于其中探索,持续发力元宇宙游戏。

Mesh for Teams办公场景构想

微软元宇宙场景构想

索尼:公布 PSVR 五周年时长排名 Top5 游戏
PSVR 迎来五周年纪念,《Rec Room》《Beat Saber》《PlayStation VR Worlds》排名全 球总时长前 3。2021 年 10 月,索尼(SONY US)PSVR 迎来 5 周年纪念日。据 PlayStation 官网博客,目前 PSVR 支持超 500 中内容,从 2016 年到 2021 年 8 月,按照游戏总时长排 序,全球 Top 5 的游戏分别为:《Rec Room》《Beat Saber》《PlayStation VR Worlds》《The Elder Scrolls V: Skyrim VR(上古卷轴 5:天际 VR)》《Resident Evil 7 biohazard(生化危 机 7 )》。

近5年PSVR总时长Top5游戏

推出骁龙 Spaces 开发者平台,助力开发者打造沉浸式 AR 体验。2021 年 11 月 9 日,高 通(QCOM US)正式宣布推出 AR 开发套件骁龙 Spaces XR 开发者平台,目前该平台已 向部分开发者和“探路者计划”成员开放,预计将于 2022 年春季正式面市。据高通官方 公众号,骁龙 Spaces 平台具有以下 3 大特点,助力创作者打造虚实融合的沉浸式体验:
1)收购 Clay AIR(未上市),具备成熟的技术与创新能力
据高通官网,目前已经有超过 50 款 AR/VR 设备基于骁龙平台打造,具备相对成熟的技术。 具体而言,骁龙 Spaces 能够为开发者提供环境和用户理解功能,助力开发者打造可感知用 户、适应用户所在物理空间的 AR 体验,其中环境理解包括空间映射与空间网络、平面探测、 本地锚点等;同时通过机器感知支持定位追踪和手势识别,目前高通已经完成对部追踪初 创公司 Clay Air 的收购,并将其技术运用于骁龙 Spaces 平台中。据青亭网,Clay Air 成立 于 2015 年,是一家专注于手势交互的 B2B 厂商,产品兼容 2D RGB 摄像头、IR 摄像头等 多种设备,通用性较高,同时识别速度快、效率高,主要面向 AR/VR、汽车、物联网领域, 客户包括联想(992 HK)等知名企业。在此之前,高通于 2021 年 9 月收购老牌 AR 平台 Wikitude(未上市),据高通官方公众号,目前 Wikitude 社区中 15 万开发者可以加入骁龙 Spaces 平台,推动头戴 AR 设备的发展。

Clay Air的手部跟踪技术示意图

2)支持头部 3D 引擎,与硬件、运营商伙伴开展广泛合作,平台和生态系统开放性高 据高通官方公众号,骁龙 Spaces 开发者平台不仅基于 Khronos®与 OpenXR 规范以实现应 用程序可移植性,同时针对智能手机链接这一形式进行优化。骁龙 Spaces 支持头部 3D 引 擎的 SDK,开发者可以利用 Unreal 等熟悉的工具打造沉浸式体验。Niantic 推出的 Lightship 开发者平台将与骁龙 Spaces 整合,未来 Ligthship 平台将把 AR 体验拓展至户外 AR 场景, 通过多人游戏功能与他人实时链接。除此以外,Spaces 还能够利用 Unity AR 基础套件和 Unity MARS 支持应用程序可移植性和统一工作流程,整理兼容性强。硬件和运营商方面, 联想、OPPO(未上市)和小米(1810 HK)等领先智能手机与 AR 硬件 OEM 厂商将作为 首批合作伙伴于 2022 年支持骁龙 Spaces,高通未来还将与 T-Mobile 美国(TMUS US) 等全球运营商生态系统合作,平台生态系统具有较高的开发程度。
3)骁龙 Spaces 将坚持开发者优先
据高通官方公众号,骁龙 Spaces 同时支持在现有的 Android 智能手机应用中增加 AR 特性, 以及从零开始打造面向 AR 的 3D 应用。该平台同时为用户提供稳健的资源库,包括文档、 示例代码、教程、知识库和工具,加快内容研发进程。除此以外,高通还发布了“探路者 计划”,让创新企业提前获得平台技术、项目资助、联合营销与推广和硬件开发套件的支持, 打造活跃的开发者社区。

骁龙Spaces XR平台生态开放

骁龙Spaces XR坚持开发者优先

英伟达:快速打造元宇宙软件生态
2021 年 11 月,英伟达(NVDA US)GTC 2021 大会开幕,CEO Jensen Huang 以元宇宙 为主线,分享了公司软硬件领域的创新与升级。元宇宙时代,虚拟元素的比重不断提升, 对 GPU 产品的需求将提升,而硬件+软件工具+生态伙伴将成为 GPU 竞争的关键点。公司 不断利用软硬件的积累触达更多应用,如推出三大机器人平台:医疗 Clara Holoscan、机 器人 Issac 和汽车 Drive Hyperion 8。公司通过软硬件和生态应用的布局实现了元宇宙的优 先站位。
发布元宇宙系列产品,开启元宇宙新纪元。Omniverse Avatar 是基于语音、机器视觉、自 然语言处理等技术形成的交互式 AI 产品,集成了视频渲染能力(OmniVerse)、语音识别与 交互(Riva、Maxine)、自然语言处理(NeMo Megatron)、AI 推荐(Merlin),可以有效地 形成立体肖像并进行人机对话,可应用于人工智能助理等领域,未来有望广泛在机器人、 自动驾驶、仓库、工厂等领域应用。其中 Omniverse 是公司创建 AI 系统的数字孪生的虚拟 世界的基础平台,作为核心底层技术自去年年底推出以来已被 500 家公司的设计师下载 7000 多次。
布局新应用,推动 AI 在行业侧的更广泛落地。公司推出了三大机器人平台,面向医疗(Clara Holoscan)、机器人(Issac)和汽车(Drive Hyperion 8)。其中 Hyperion 8 通过 2 颗 Orin 芯片控制 12 个摄像头、9 个毫米波雷达、12 个超声波传感器和 1 个前激光雷达,面向 2024 年的自动驾驶应用。同时公司在不断强调基础产品的行业应用。如 Omniverse Avatar 在新 零售中可以进行辅助点餐。又如,公司推出了三个新函数库,ReOpt 用于解决运筹优化问 题,已用于物流行业;cuQuantum 用于量子计算研究,已经被谷歌 Cirq 项目采用等。另外 公司将建造地球二号(E-2)元宇宙系统,通过复杂的计算来模拟气候变化。
发布新硬件:数据中心超算网络平台 Quantum-2 推动网络升级。GTC 2021 大会虽然没有 发布计算芯片升级,但综合 Mallanox 能力,英伟达升级了数据中心超算网络平台,宣布推 出 Quantum-2,包括 Quantum-2 交换机(在售)、ConnectX-7 网卡(2022 年 1 月试产) 和 BlueField-3 DPU(2022 年 5 月试产)及配套软件。新品相比第一代接口速率翻倍 (400Gb/s)和数量翻 3 倍,整体交换容量提升 6 倍,同时提供 32 倍 AI 加速能力。其中 的网络交换芯片 ASIC,采用台积电 7N 节点,包含 570 个晶体管,超过有 540 亿晶体管。

Omniverse Avatar

Omniverse平台

Roblox:流水趋势向好,用户年龄优化上探
Roblox(RBLX US)公布 3Q21 业绩,单季度充值流水 6.38 亿美元,同增 28.5%,高于 Bloomberg 一致预期 2.2%;消费总时长达 112 亿小时,同增 28.4%;DAU 达 4,730 万, 同增 30.8%。据 Roblox 官网,公司预计 10 月 1-27 日 DAU/总时长分别同增 43%/41%; 公司预计 10 月 28-30 日 70 小时宕机对流水影响约 0.25 亿美元,10 月实际流水预计 1.89~1.92 亿美元,同比+14%~16%,剔除宕机影响同比+30%~31%。据 Sensor Tower, 2021 年 10 月 Roblox 在全球热门移动游戏收入榜单中排名第 6,环比持平,后疫情时代 Roblox 用户/时长/流水仍然保持较快增速。
据公司财报,3Q21 Roblox 13 岁以上用户占比为 50.3%(YoY +5.8pct,QoQ +0.8pct), 同比增速达 48%,高于 13 岁以下用户的 20%,其中 17-24 岁成为增速最快的年龄段;截 至 3Q21,Roblox Top 1,000 内容中,约 28%(YoY+18pct)的内容 13 岁以上用户占比超 50%,用户年龄结构持续上探优化。分区域看,3Q21 Roblox 美国&加拿大/欧洲 DAU 分别 同比+6.1%/14.4%,亚太/其他地区同比增速分别达+74.1%/53.3%,其中亚太 DAU 占比达 20%(YoY +4.9pct,QoQ +3.2pct),成为用户增长的主要引擎,公司管理层认为主要原因 系本地化内容丰富+翻译质量提升,助力 Roblox 国际化战略推进。
Niantic:收购 API 解决方案商 Hoss,发布 AR 开发平台 Lightship
AR 手游《Pokémon GO》位列 21 年 10 月全球热门移动游戏排行榜第 10 位。据 Sensor Tower,Niantic(未上市)负责开发运营的 LBE AR 手游《Pokémon GO》流水持续表现亮 眼,1H21 全球流水达 6.42 亿美元,同比提升 34%;自 2016 年 7 月推出以来,截至 2021 年 7 月,5 年内全球总流水超 50 亿美元;2021 年 10 月在全球热门移动游戏收入排行榜中 位列第 10。
Niantic 完成 API 解决方案商 Hoss(未上市)的收购,进一步强加 Lightship ARDK 的功 能。据 Hoss 官网,2021 年 10 月,Niantic 完成对 API 解决方案提供商 Hoss 的收购,而 Hoss 团队的加入将进一步完善 Niantic Lightship ARDK 功能。Hoss 官网显示,公司提供的 解决方案能够助力客户 API 产品商业化、集成监控系统、了解用户与产品使用情况、实现 用户增长,同时提供可定制的仪表板、文档等解决方案。
2021 年 11 月 Niantic 正式推出 AR 开发平台 Lightship,同时发布 ARDK(Augmented Reality Developer Kit),成立 2,000 万美元的 AR 投资基金。据 Niantic 官网,ARDK 具 有实时映射、语义分割、多人游戏 3 大特点,助力 Android 与 iOS 创作者打造优质的 AR 体验:1)ARDK 能够构建即时 3D 网格映射,同时理解周边地貌与表面,并支持实时调整, 构建持久而真实的 AR 交互,如用户可以扔出虚拟的球,让它从墙上弹开并从桌面滚落;2) ARDK 中的语义分割 API 能够利用计算机视觉识别现实中的不同元素,从而在天空、地面、 水面、建筑等特定的表面上进行 AR 交互;3)ARDK 中的多人游戏 API 允许创作者开发最 多支持 5 人同步的 AR 游戏区域,增强社交属性,同时还会提供轻量化的多人游戏功能, 比如玩家大厅系统、同步的时钟、持续性储存等。除此以外,Niantic 宣布成立规模达 2,000 万美元的投资基金 Niantic Ventures,专注于 AR 产业相关投资。

Niantic Lightship ARDK具有实时映射、语音分割、多人游戏等特点

Niantic 与任天堂(7974 JP)合作推出 AR 手机游戏《Pikmin Bloom》。该游戏 10 月底 最先于新加坡与澳大利亚上线,随后相继在欧洲、亚太、非洲、中东、美国、加拿大等国 家推出。《Pikmin Bloom》是《Pokémon GO》系列的第六部,玩法上具有相似性。Pikmin 是一种植物和动物的混合体,源自于任天堂的一系列同名策略和益智游戏。玩家可以与 Pikmin 互动,玩家探索的区域越多,Pikmin 就会收集得越多。《Pikmin Bloom》增加了可 互动的 Pikmin 种类,在用户行走的背后,还有 AR 呈现的花朵足迹。

Niantic推出AR手机游戏《Pikmin Bloom》

Niantic 估值达 90 亿美元。据 VR 陀螺,11 月 23 日,Niantic 宣布获对冲基金 Coatue 3 亿美元投资,估值达 90 亿美元,此次所获资金将用于开发和优化游戏,以及拓展 Lightship 开发者平台,继续向元宇宙的愿景迈进。
Unity:USG 降低多人游戏开发门槛,收购 Weta Digital 强化视觉特效
推出全新平台 Unity Gaming Services(测试版)降低多人游戏开发门槛。据 VR 陀螺,2021 年 10 月 Unity(U US)推出全新游戏服务平台 USG(测试版),为用户提供包括后台、货币 化、用户获取等全方位的服务,其中 Unity Ad 能够轻松集成到手机游戏中,助力开发者变现, 从而实现可持续的发展,全方位降低跨平台多人游戏开发的难度。据 Unity 高级副总裁 Ingrid Lestiyo,USG 平台将在全球范围内推广,目前已经入住 100 多为开发者,其中的 Analytics 功能使得开发者能够通过数据浏览器了解游戏新能和玩家行为,Cloud Diagnostics 则能够提 供错误监控,解决处理好游戏中的异常情况,助力开发者为玩家打造优质的个性化游戏体验。

Unity Gaming Services为创作者提供变现模式

Unity 收购 Weta Digital(未上市),加强视觉特效业务。据青亭网,2021 年 11 月 Unity 以 16.25 亿元收购知名视觉特效公司 Weta Digital。据公司官网,Weta Digital 位于新西兰, 员工总数超过 1,500 人,塑造过包括咕噜(指环王)、金刚(金刚)、Neytiri(阿凡达)、凯 撒(猩球崛起)等一系列经典角色。Unity 表示本次收购旨在集成 Weta Digital 众多先进的 独家视觉特效(VFX)工具。并通过 Unity 平台助力创作者打造新一代实时 3D 内容,为元 宇宙搭建提供支持。
发布 AR 游戏 demo:《Unity Slices: Table》。2021 年 11 月 Unity Labs 演示了一款基于 Quest 透视模式的 AR 游戏 demo:《Unity Slices: Table》。这是一款以桌游为主的社交游戏, 最多支持 4 人一起玩,特点是棋盘等游戏可以自然叠加在任何桌面上,棋子也具备交互性, 同时具备 AR、VR 两种模式。据青亭网,Unity Labs 已经开发这款应用一年时间,不久后 它将登陆 App Lab。

《Unity Slices: Table》示意图

Weta Digial塑造过凯撒、咕噜等一系列经典角色

发布职业体育赛事的直播平台 Metacast,强化实时 3D 体验。据青亭网,2021 年 10 月 11 日 Unity 发布一款面向职业体育赛事的全新直播平台 Metacast,该应用基于容积摄影技术 进行拍摄和录制,在比赛过程中,容积摄影方案会记录下运动员各个角度的图像,包括 360 度各个方向的运动员视角,在精细度方面将能看清楚运动员的汗水,甚至每次击拳动作细 节等,进而带给观众更加身临其境的体验,为用户提供交互式的 3D 直播体验。未来 Metacast 还将与世界顶级体育赛事 UFC 合作,持续丰富应用内容生态。

Metacast未来将合作UFC推出相关内容

HTC:投资红色地标,加大 VR 教育布局力度
投资红色地标(未上市),布局 VR 教育。据天眼查,2021 年 10 月红色地标发生工商变更, 新增股东宏达通讯有限公司(持股 3%)为 HTC(2498 TT)的关联公司,红色地标注册资 本也由 1,111.1 万元增至 1207.7 万元。据红色地标官网,公司以影视文化起家,而后拓展 业务至红色旅游,同时在 VR 教育领域持续深耕,致力于研发 VR 智能课堂云平台、5G+VR 教育系统和 VR/AR、人工智能等产品,近年来承担了《千年长河——京杭大运河上的文化 地标 VR》《峥嵘岁月起宏图——革命传统教育 VR》《党的领导力 VR》等多项国家级 VR 重 点项目,其中《5G+XR+华为河图》项目入选国家文旅部优秀案例。

红色地标京杭大运河VR项目示意图

红色地标革命传统教育VR项目示意图

字节跳动:投资 VR 数字孪生云服务商众趣科技与 VR 游戏厂商梦途科技 字节跳动(未上市)投资 VR 数字孪生云服务提供商众趣科技。根据天眼查,2021 年 11 月众趣(北京)科技有限公司发生工商变更,新增股东包括北京量子跃动,众趣科技注册 资本由 162.62 万元提升 20%至 195.14 万元。据众趣科技官网,公司成立于 2014 年,是 一家全球领先的 VR 数字孪生云服务商,凭借自主研发的数字孪生 AI 3D 视觉算法与互联网 三维 VR 渲染技术,能够快速对大场景进行实景三维重建,用户提供低成本、高效率、极便 捷的空间 3D 数字孪生解决方案。目前公司为包括阿里巴巴、腾讯、字节跳动、华为等知名 企业提供服务,涉及房地产、文旅、家装家居、电商零售、建筑、公安等众多行业领域, 服务企业数量超过 1,000 家、克隆重建的三维空间过亿平方米,客户遍布全国 31 个省市自 治区,并为美国、德国、希腊、葡萄牙、日本等国企业提供技术服务。

众趣科技VR看房解决方案

众趣科技云展厅解决方案

字节跳动入股 VR 游戏开发商梦途科技。据天眼查,11 月广州市梦途信息科技有限责任公 司(未上市)发生工商变更,北京量子跃动科技公司获其 15%股权。据映维网,梦途科技 研发的《Rampage》《战斧传说 VR》《清扫者》《没完没了》等作品已上线国内外主流 VR 游戏平台,其中合作射击 VR 游戏《Rampage》获得 2021 高通 XR 挑战赛 Pico 游戏组金 奖,体现出较强的研发实力。

梦途科技曾开发VR游戏《Rampage》

腾讯:提出虚实集成世界概念,为元宇宙发展提供指引
腾讯(700 HK)提出虚实集成世界概念,为元宇宙的发展提供愿景想象与技术路径展望, 同时腾讯表示公司具备大量发展元宇宙的技术和能力。据映维网,2021 年 11 月举办的腾 讯生态大会上,腾讯首席科学家张正友表示,在 PC 与移动互联网之后,我们正逐渐走向全 真互联网世代,迎来虚拟世界与真实世界的紧密结合,并将其定义为虚实集成世界 (Integrated Physical-Digital World),同时公布实现虚实集成世界的四大关键技术要点:1) 现实虚拟化:强调虚实世界的形象接近现实本体,腾讯 AI Lab 将计算机视觉、语音处理。 情绪认知等技术结合,助力实现虚拟的听说读写;2)虚拟走向真实化:我们能够利用 3D 打印等技术将虚拟模型制作成真实物体,还可利用 AR 技术将虚拟信息带入真实世界;3) 全息互联网:创造科技虫洞,将虚拟世界与现实世界的人事物全部同步在一起,腾讯目前 在研触觉感知和力感知,未来将研究嗅觉和味觉;4)智能执行体:将真实的问题建模到虚 拟的世界进行研究。2021 年 11 月腾讯 2021 年 3 季度业绩会上,腾讯高管表示公司在游戏 业务、社交网络方面有较多积累,技术方面拥有搜索引擎、人工智能,能够覆盖广泛的用 户群体,对于数字内容经济、数字资产管理具备一定经验,未来在技术和知识方面有很多 路径去把握元宇宙的机遇。

腾讯对全真互联的理解

阿里巴巴:增设XR实验室,参投Sandbox VR 体验馆
阿里巴巴(BABA US)达摩院宣布增设 XR 实验室,加强元宇宙相关技术研发。2021 年 10 月阿里巴巴 2021 年度云栖大会上,阿里巴巴达摩院宣布增设 XR 实验室。 达摩院 XR 实验室负责人谭平表示,AR/VR 将逐渐取代手机,成为即将普及的下一代移动 计算机平台,而随着计算平台的迁移,互联网的应用也随着迭代。在 AR/VR 时代,每个人 都会有一台虚拟替身,显示和交互将由 2D 转为 3D,元宇宙将成为互联网行业在这个平台 上的呈现。据达摩院官网,XR 实验室目前研究方向包括物品与人物的三维建模、高真实感 渲染、自然人机交互、大场景地图与定位、机器人抓取操纵,并将运用于全息店铺、AR 平 行世界、IDC 智能运维机器人等领域。

阿里巴巴达摩院增设XR实验室

阿里巴巴参投 Sandbox VR 体验馆。据 roadtovr,2021 年 11 月线下 VR 体验馆 Sandbox VR 宣布完成 3,700 万美元的 B 轮融资,次轮融资由 a16z 领投,阿里巴巴与 Craft 参投, 资金将用于 Sandbox VR 门店扩张计划。2020 年 Sandbox 因疫情影响业务受阻,但恢复 态势良好,2021 年 7 月分别在奥斯汀、拉斯维加斯、上海新设三家线下门店,目前经营门 店总数达 12 家,公司预计进入 2022 年时在此基础上另设 10 家门店,选址在伦敦、辛辛 那提、达拉斯等城市。

Sandbox VR为用户提供沉浸式VR游戏体验

百度:开放 VR 内容展示 SDK,加码技术能力对外输出
今年世界 VR 产业大会上,百度 VR 首次对外展示了 VR suite—— VR 内容展示 SDK。 SDK 是百度(BIDU US) VR 自研的一项全端多格式渲染技术,兼容市面上主流的浏览 器,并支持 iOS 和 Android 系统。根据 VR 陀螺,只要有原始文件,再加上百度 VR 的 SDK,就可以实现网站、小程序、APP 多端的 VR 内容展示,未来他们还会开放模型、 景深漫游等品类,同时增加基于 RGB 三维重建,通用实例分割、自适应分级分块等云端能 力接口。

百度VR SDK由基础系统、服务层与API开放层组成

Meta:高端头显 Peoject Cambira 预计 22 年上市,AR 眼镜 Project Nazare 公布
高端 VR 头显 Project Cambira 预计将于 22 年上市。该头显为短焦 VR 一体机,支持面部 与眼动追踪。Cambira 作为下一代头显,将包含面部与眼动追踪功能,有助于更好地实现 虚拟形象的表情传递。此外,手势追踪、语音助理功能也将升级。据 VR 设备负责人 Angela, Cambria 在光学上取得重要突破,采用提高视觉保真度的 Pancake 折叠光学透镜,将显著 降低 VR 头显的厚度和重量。

“Porject Cambria”采用的Pancake Optics技术

AR 眼镜 Project Nazare 公布,尚处规划阶段,Project Aria 应用场景进一步拓展。在 2021 Connect 大会上,扎克伯格公布了“Project Nazare”AR 眼镜计划,并表示为实现目标外 形与 AR 功能,需将全息显示器、家用投影仪、电池、收音机、定制硅芯片、相机、扬声器、传 感器等集成到大约 5 毫米厚的眼镜中,具体项目的落地仍需时日,但相关技术已有布局。 此外,先前公布的 AR 眼镜 Project Aria 在大会上也进行了应用场景的展示。在利用 Project Aria 构建的 AI 交互模型中,AR 眼镜可以索引空间中每个对象的位置、纹理、几何形状和 功能,通过观察使用者的眼球运动找出视线焦点,为用户使用物品提供帮助。

“Project Nazare”AR眼镜典型应用场景

“Project Aria”AR眼镜概念图

HTC:推出全新头显 VIVE Flow,更新 VIVE Focus 3 娱乐模式
VIVE Focus 3 更新 LBE 娱乐模式,支持 33 米 x30 米的 6DoF 追踪,推出地图分享功能 简化多人协同流程。据 VR 陀螺,2021 年 11 月 1 日,HTC Focus 3 新增 LBE 功能(Location Based Entertainment),在该模式下追踪空间由原来的 15 米 x15 米扩展到 33 米 x30 米, 同时用户可以创建任意形状的边界,设置完成即可体验而无需反复设置地图,助力用户创 建 VR 艺术画廊、竞技场等更大空间的体验,增强真实感。除此以外,VIVE Focus 目前还 提供地图分享功能,多个用户能够在同一空间中实现精确的协同定位追踪,而无需单独设 置每一台头显设备。

基于位置的娱乐模式示意图

HTC VIVE 发布全新轻量级头显 VIVE Flow,主打影音和冥想。2021 年 10 月 14 日举办的 “顺势而生 Go With the Flow”线上发布会中,HTC 推出全新轻量级头显 HTC VIVE Flow。 据映维网,该头显主打影音和冥想,专注于改善身心健康和提高效率,整体设计相对轻巧, 采用双铰链贴合式设计,能够折叠和收纳。VIVE Flow 搭载骁龙 XR1 芯片,采用单目 1600x1600 LCD 屏幕,视场角达 100 度,支持 75Hz 刷新率与头部 DoF 追踪,整机重量 189g, 售价为 3888 元。设备采用专属冷却系统,镜片可调节屈光度数,适用于 600 度以内的近视, 同时内置扬声器,支持 3D 空间音频和外接蓝牙,用户可以将智能手机作为输入选择方式。

Vive Flow VR头显示意图

Vive Flow VR头显手机蓝牙控制示意图

索尼:为 Xperia 新手机推出 VR 盒子配件 Xperia View
为 Xperia 新手机推出 VR 盒子配件 Xperia View,支持 8K HDR 视频,“乃木坂 46”特别 视频即将上线。据 VR 陀螺,2021 年 10 月索尼发布智能手机 Xperia 专属的 VR 盒子,主 打娱乐观影,视场角达 120 度,支持 8K HDR 视频。该设备主要为智能 Xperia 1 III/1 II 的 6.5 英寸屏幕及 21:9 宽屏显示而开发,其中 Xperia 1 III 手机中配备了 4K HDR OLED 显示 屏,刷新率达 120Hz,CPU 能够解码 8K 视频数据。使用时,用户只需将手机安装在前盖, 并将其固定在头显上,即可观看享受 VR 视频。头显可在戴眼镜时佩戴,并可通过点击智能 手机的侧面按钮或机身进行操作。该产品售价 29,700 日元,约合人民币 1,663 元(含税, 汇率 0.056 CNY=1JPY),已于 11 月 19 日在索尼商店发售。在推出 VR 眼镜的同时,由“乃 木坂 46”参与制作的 8K HDR VR 特别视频已于 11 月 19 日上线。

Xperia View的宣传活动海报

Xperia View示意图

Pimax:发布 Pimax Reality 12K QLED
10 月 25 日小派(未上市)发布了独立 VR 头显 Reality 12K QLED。核心处理器方面,Reality 12K QLED 搭载了高通骁龙 XR2 芯片及一组散热系统和动态凹陷渲染系统;显示方面,产 品装配了双 6K QLED 面板,该面板带有 mini-LED 背光和 4400 个本地调光元件,水平视 场角 200 度/垂直视场角 135 度,插入 PC 的最大刷新率可达 200Hz,而一体机模式则最大 为 120Hz;定位方面,产品使用了基于光学 SLAM 的头显定位跟踪,用四个摄像头来实现 六自由度内向外追踪。并且小派表示,将为需要 Valve 高精度追踪解决方案的用户提供特 定的 SteamVR 传感器配件;生物特征追踪方面,产品配备了几个生物追踪系统,包括眼动 追踪摄像头、安装在遮阳板两侧的两个面部追踪摄像,以及遮阳板底部的一组可以检测到 你玩家手臂双腿的运动和身体位置的摄像头。Pimax Reality 12K QLED 将在 2022Q4 上市, 售价 2399 美元。

Reality 12K QLED产品示意图

代号Ether的超薄VR眼镜原型机

NEO-M超薄透镜呈像效果测试

EM3 北京意链科技(未上市):公布一款代号为 Ether 的超薄 VR 眼镜原型机 放弃传统短焦方案,使用自研 NEO-M 超薄透镜。NEO-M 超薄透镜采用亚波长体结构堆叠、 让光产生衍射从而改变方向,让光路进行大幅度的改变,即使是屏幕就在眼前,也可以清 晰成像,并保证足够大的 FOV。公司表示,目前核心的光学器件已经达到了量产标准,但 真正投入市场,还需要解决产品定义和诸多工程问题,比如目前这么轻薄的机身已经很难 再塞入更多的传感器和电路板,产品的散热、耐用性等等也都需要经过严格的测试,公司 预计会在 2022 年推出第一台量产版本。
产品形态接近普通墨镜。眼镜正前方左侧纵向排列着两枚摄像头,据了解可用于全彩透视。 整机厚度仅 6.8mm,重量仅 35g(含镜腿),内置两块 Micro-oled 微显示屏,单眼分辨率达 2.5K,并且可实现 90°大视场角(下一台迭代版本有望提升至 110°),支持 1000 度的屈 光度调节,采用了分体式设计,可通过 Type-C 接口链接计算单元或者手机、PC,根据需 求可在其基础上增加传感器来支持 Slam 定位、裸手交互功能,整体重量也可控制在 55 克 以内。
SteamVR:推出全身追踪器 Tundra Tracker
成功推出 SteamVR 追踪器,或可用于全身追踪,以增强 VR 社交体验。Tundra Tracker 将于 11 月开始向"早鸟"支持者发货。SteamVR 的 1.20.4 版本更新后增加了对追踪器的支 持。该设备可用于追踪 VR 内的任意物品,许多人希望将追踪器用于全身追踪,以增强 VR 社交体验。

Tundra追踪器(左),Vive追踪器2.0(右)

华为:发布第二代 VR 产品
发布第二代 VR 产品。11 月 18 日,华为(未上市)在全场景智慧生活发布会上发布了 HUAWEI VR Glass 6DoF 游戏套装。由 VR 头显、6DoF 视频模组、手柄、手机散热背夹组成。能 够通过 USB-C 接口链接手机或者电脑,支持多种游戏和视频内容。重量仅为 188g,全新 的 6DoF (Degree of Freedom)模组能够免驱运行,新增三个自由度感应,能够识别前 后左右移动、跳起和蹲下,大幅提升游戏的可玩性。零售价 3999 元,首发到手价 3499 元。

华为发布第二代VR产品

大厂动态
Meta:开源第一人称视频,触觉手套曝光,健身应用与手机结合
AR 眼镜和家用机器人需要第一视角视频进行训练。此前 Meta 设想,AR 眼镜将采用支持场 景感知的 AI 算法,推算使用者在场景中需要获取的信息,以及需要执行的下一步动作。近年 来计算机视觉 AI 技术已经得到长足发展,但目前最大难题是,它主要是基于第三人称视角的 照片和视频训练的,因此 AI 相当于以旁观者的角度去识别周围环境和活动,应用于家用机器 人或 AR 眼镜,则需要识别第一人称图像,这对基于第三人称数据训练的 AI 并不友好。
开源市面上最大的第一人称视频数据集 Ego4D,开放技术研发给世界各地科研人员。为了 解决上述问题,Meta 近期开源了市面上最大的第一人称视频数据集 Ego4D,视频时长累计 3205 小时,号称是其他同类数据集规模的 20 多倍。Meta 希望通过开源数据集和训练基准, 将技术研发开放给世界各地的科研人员,鼓励更多人用 Ego4D 数据来训练 AI 系统。最终 实现情景记忆,预测,识别手势和物体交互,音频和视觉分析,社交互动等多种功能。

第一人称vs第三人称视角

通过AI解锁更多AR应用

推出手套原型,增强交互体验。近期 Meta 触觉手套原型曝光,Meta Reality Labs 首席科 学家 Michael Abrash 表示这种触觉手套已经进行了几年的研究,但向公众发售为时尚早。 目前大部分 VR 产品主要通过手柄震动提供触觉反馈。未来随着沉浸感要求的不断提升,简 单的震动体验或不能够满足消费者需求,精细化的手部模拟、反馈或将成为趋势。
触觉、视觉、声学结合,同时调动多模态感官。Abrash 在采访中描述了手套的一种应用场 景,他戴上 VR 头显之后,当在 VR 中用手指划过一块陶瓷板时,可以听见他的手指在板上 划过的声音,能够看到这块板出目前他的面前,手指也能感受到划过的阻力。这样的应用 能够大大加强虚拟世界的真实感与沉浸感,真正为使用者打造一台全新空间。

触觉反馈手套原型

触觉手套同时调动多个感官

手表示意图

收购热门 VR 健身应用《Supernatural》开发商 Within,彭博社称 Meta 正在开发智能手 表,可与健身应用结合使用。Meta 近日宣布收购热门 VR 健身应用《Supernatural》的开 发商 Within。Within 制作的这款应用能够与苹果手表链接,追踪实时心率。据彭博社,Meta 正在开发一款带有前置摄像头和圆形屏幕的智能手表,计划最早于 2022 年推出。

Supernatural示意图

微软:公布VR手柄项目X-Rings
在 ACM 用户界面软件和技术研讨会上,微软研究院公布最新 VR 手柄项目 X-Rings。据青 亭网,X-Rings 是第一台通体采用 360 度圆形设计的 VR 手柄,该项目来自于微软雷德蒙德 研究院,首次公开于 9 月份,并在在 ACM 上做进一步介绍。X-Rings 底部采用 ViveTracker 用于定位追踪,顶部由四层模块化控制器组成,每一层的模块设计中,除螺丝和轴承外, 均为 3D 打印。由于手柄拇指是固定的,因此其它手指可以分别对应四层结构,从而实目前 VR 中模拟各类虚拟物体的抓握等交互,例如松手与握手,手掌抓握的松紧度等,同时还可 通过握柄表面的电容传感器判断抓握力度,持续丰富游戏玩法。

微软X-Rings手柄示意图

利用X-Rings实现抓握交互

苹果:多项专利公布
10 月以来,USPTO(美国专利及商标局)公布了一系列苹果公司(AAPL US)专利,其 中包括较多 VR/AR/MR 相关技术,包括空间音频引擎(公司专利 11146905,图 74),利用 家庭增强现实(ER)环境通过多个立体模型视图为 MR 头显提供显示,VR 内容的遮挡检测和深度感知,搭配 VR 设备使用 的可穿戴输入设备,能与 VR/AR 环境互动的图形用户界面,用户可在虚拟空间中禁言或屏蔽他人的虚拟化身。
高通:收购手部追踪创企 Clay Air
收购 Clay Air,发展手部跟踪和手势识别技术。Clay Air 成立于 2016 年,是一家 B2B 企 业,联想、Thales、Bose 都是其客户。国内 AR 眼镜厂商 Nreal 的 AR 眼镜同样集成 了 Clay Air 的相关技术。预计未来手部追踪技术将不断发展,成为 VR 设备的必备功能。
三星:发布下一代手机内存芯片,称可用于“元宇宙”
推出 LPDDR5X RAM 芯片,媒体推测将在 2023 年左右出目前设备上。三星(005930 KS) 称该技术可用于智能手机,也可用于服务器、汽车和“元宇宙”。承诺这款芯片在速度和功耗 方面有一些真正的改进:它表示,其最新的 RAM 处理速度将比上一代 LPDDR5 快 1.3 倍, 并且比上一代功耗降低 20%。据三星称,其中一些改进可以归功于它制造芯片时使用的 14nm 工艺制程。

三星LPDDR5X RAM芯片

字节跳动:投资 AR 光学厂商光舟半导体
字节跳动入股光舟半导体(未上市),布局 AR 光学领域。据天眼查,2021 年 10 月深圳市 光舟半导体技术有限公司发生工商变更,新增股东包括字节跳动旗下的量子跃动科技有限 公司,光舟半导体注册资本由 299.72 万元提升 14.48%至 343.12 万元。据光舟半导体官网, 公司于 2020 年 1 月由 AR 光学专家朱以胜联合业界科学家共同创办,致力于光波导(衍射 光学芯片)、光引擎(微家用投影模组)、光学模组、微纳半导体材料与工艺等高端先进技术开 发与制造,目标成为光波导行业的领航者。
腾讯:入股的 Ultraleap 发布第五代手部追踪软件 Gemini
腾讯投资的 Ultraleap(未上市)发布第五代手部追踪软件 Gemini。2021 年 10 月 Ultraleap 发布第五代手部追踪软件 Gemini,该软件完全兼容 Windows 系统,目前已经被集成到 VR 头显 Varjo 与高通骁龙 XR2 5G 的参考设计中。相比起前一代产品,第五代 Gemini 改进了双 收交互时的追踪效果与速度,同时提高在不同环境中的鲁棒性。据青亭网,2021 年 11 月 Ultraleap 宣布获得 6,000 万欧元 D 轮融资,本轮融资由腾讯、英国 Patient Capital 旗下的 “Future Fund:Breakthrough”和招银国际(CMB International)领投,Mayfair Equity Partners 和 IP Group 跟投,本轮融资将用于强化双收交互的研发,目前 Ultraleap 估值达 2 亿美元。

手部追踪软件Gemini示意图

华为:获得 VR/AR 双模式耳机授权
获得 VRAR 双模式耳机授权。据天眼查,2021 年 11 月 9 日,华为技术有限公司获得“双 模式耳机”专利授权。双模式 VR 和 AR 耳机包括头部链接转置,链接到所述头部链接装置 的主框架和枢轴框架。所述枢轴框架包括用于放置具有显示屏的电子设备的支架和用于反 射所述显示屏上显示的内容的反射屏。

华为公布“双耳模式”专利授权

聚焦:SLAM 及其 ARVR 应用
SLAM(Simulataneous Localization and Mapping),同步定位与地图构建,指在运动过程 中通过重复观测到的环境特征定位自身位置和姿态,再根据自身位置构建周围环境的增量 式地图,从而达到同时定位和地图构建的目的。
现代流行的 SLAM 系统大概可以分为前端和后端。前端通过传感器实现数据关联,研究帧 与帧之间变换关系,主要完成实时的位姿跟踪,对输入的图像进行处理,计算姿态变化。 后端主要对前端的输出结果进行优化,得到最优的位姿估计和地图。
SLAM 传感器、算法、技术框架等持续改进,实现自我姿态评价以及虚拟图像反馈,构建 人与虚拟内容的有效交互。从上世纪 80 年代发展到显现,配合 SLAM 算法的传感器出现了 视觉(单目、双目、RGBD、ToF 等各种相机),惯性/磁性(IMU 等传感器),以及声呐, 2D/3D 激光雷达等一系列解决方案。SLAM 算法也从开始的基于滤波器的方法(EKF、PF 等)向基于优化的方法转变,技术框架也从开始的单一线程向多线程演进。
SLAM 在 ARVR 中有较多应用,AR 中主要是 1)现实物体与虚拟物体的有效交互,2)实 现语义理解,优化智能辅助功能:
实现虚拟世界和现实世界之间坐标叠加、实现几何物理信息交互。与电脑、平板、手机的 3D 显示不同,AR 更注重虚拟信息与真实信息的无缝融合,即图像出现的平面位置与景深 准确、带来沉浸感的良好体验。这就需要利用 SLAM 算法,准确叠加虚拟坐标系和真实坐 标系。同时,真实环境中有高低起伏、有障碍物、有遮挡关系,AR 可以让虚拟信息跟这些 真实环境中的物理信息进行交互。

通过叠加虚拟坐标系(海豚)与真实坐标系(街道),实现海豚在虚空中游弋的效果

实现语义理解,优化智能辅助功能。随着机器学习和深度学习的发展,虚拟信息可以“理 解”真实世界,让二者的融合更趋于自然。当前计算机已经可以已经可以认出图片上的内 容,但没有理解内容之间的关系,当前的一项研究方向是,应用 SLAM+AI 技术,通过特征 提取,实现机器的语义理解,优化 AR 系统的辅助功能。
VR:从摄像头 SLAM 获得的动态运动信息和偶尔可见的身体部位进行全身姿态定位。Meta Reality Labs Research 近期在一篇名为《Egocentric Pose Estimation from Human Vision Span》的论文中,提出了一台根据能够利用摄像头 SLAM 的动态特征和身形图像的深度学 习系统。通过计算三维头部姿态、人物背景分离,同时显示执行姿态属性之间的特定几何 一致性,无论用户是否在摄像头视场中可见,系统都能给出稳健的自我姿态估计。

SLAM动态特征+身形图像深度学习, 实现全身姿态捕捉新方案

SideQuest 完成 300 万美元种子轮融资,月活超 100 万
据 Uploadvr,2021 年 10 月第三方平台 SideQuest 完成 300 万美元的种子轮融资,资金来 自 PROfounders、Ada Ventures、Connect Ventures、Ascension、SCNE 及其他几位天使 投资人。据 SideQuest 创始人,该平台目前月活已超 100 万人。Oculus Quest 审核机制更 加严格,而 SideQuest 则降低了应用上载的成本,此次融资将用于开发者支持,社区建设 以及 VR 领域的创新。

SideQuest为用户提供多样化的VR体验

Magic Leap 获得 5 亿美元战略融资,最新估值为 20 亿美元
据 CNBC 与映维网,2021 年 10 月 AR 眼镜设备厂 Magic Leap 获得 5 亿美元战略融资, 最新估值为 20 亿美元,此次融资将进一步推动完善 Magic Leap 企业增强现实解决方案, 同时公司亮相 Magic Leap 2 产品图,预计在 2022 年正式上线。
AR 光波导公司理湃光晶完成数千万人民币 A+轮融资
2021 年 10 月 AR 光波导模组公司理湃光晶(未上市)宣布完成数千万人民币的 A+轮融资, 本轮由广发乾和领投,碧桂园创投、接力天使跟投。据理湃光晶董事长兼 CEO,此次融资 将用于团队、产品扩张以及新产品的迭代。据理湃光晶官网,公司成立于 2012 年,是业内 领先的增强现实(AR)近眼显示模组供应商,同时是集研发、生产、销售为一体的高新技 术型企业。理湃光晶成立以来一直专注于光波导显示技术,是目前国内唯一拥有完整几何 光波导模组知识产权布局的公司,核心团队拥有光学领域及 AR 领域多年的行业积累。公司 自主研发的光学模组重量轻、体积小、显示效果卓越,被广泛应用于警用、安防、工业、 教育、医疗等多个领域。
DPVR 宣布完成新一轮数千万美元的融资
2021 年 11 月,DPVR(大朋 VR,未上市)宣布完成新一轮千万美元的融资,投资方由联 合光电(300691 CH)旗下联芯基金、谦宜资本和小村资本等投资机构组成。据 DPVR 官 方公众号,公司成立于 2015 年 4 月,客户遍布全球 40+国家和地区,服务超 13000 开发 者,2019-2021 连续 3 年入选“中国 VR 企业 50 强”。大朋 VR 推出了 P1 Ultra4K VR 一 体机,采用模组化设计,搭载高通骁龙 845,较 835 性能提升 30%以上。

P1 Ultra4K VR一体机示意图

1)元宇宙技术开发进度不及预期
元宇宙的实现是 5G、AI、AR/VR/脑机接口、云计算等多种前沿科技协同发展的结果,目前 仍然处于早期阶段,若技术的发展进度不及预期,则会进一步影响用户体验,降低沉浸感。
2)商业化存在不确定性
元宇宙的发展需要大量的资金投入,如 Meta 每年拟投资超 100 亿美元于元宇宙领域的技术 开发。若商业化进度不及预期,则会进一步影响到研发资金的供给,导致技术发展缓慢, 影响用户体验。
3)政策监管风险 元宇宙为近期兴起的新概念,相关法律法规、监管准则仍有较大的不确定性,若相关政策 趋严,在一定程度会影响到元宇宙发展进程,投资者应该理性对待,避免过分炒作,关注价值投资机会。
资料来源:Steam、VR陀螺、 Bloomber、Steamspy、TechCrunch、 Sensor Tower、 The Verge、Esport Talk、映维网、 Tripadviser、Pimax、 VR Focus、太虚AR、
使用道具 举报
| 来自北京 用Deepseek满血版问问看

相关问题更多>

快速回复
您需要登录后才可以回帖 登录 | 立即注册

当贝投影