下一个十年，看影创科技如何开启元宇宙时代

在10月29日凌晨一点（北京时间）的Facebook Connect 2021大会上，马克·扎克伯格宣布Facebook公司正式改名为Meta，并且描绘了许多元宇宙的场景，以体现Meta拥抱元宇宙的决心。

我们注意到，在近两小时的Keynote环节中，扎克伯格提及了一款将于2022年推出的短焦VR一体机，代号“Project Cambria”，采用Pancake光学方案，拥有彩色的透视功能，这意味着VR设备将不再只是一台游戏机，而是变成生产力工具或者说效率工具，其应用场景将扩展至办公、会议，普及程度也随之实现量级提升。这一方案印证了此前影创预测的XR产品演进路线，与我们的自研算法与技术积累方向不谋而合。作为国内一家能同时提供VR/AR全栈产品级算法与系统的公司，影创多年以来一直在致力于研发光学、算法等底层技术的研究，并将这些技术开放授权给众多合作伙伴。

一直以来，VR被当作游戏机为大家广泛熟知。Cambria的出现，VR与AR的融合，将催生出很多新的应用场景，开启VR新世界。VR设备将成为像电脑和手机一样的生产力工具，融入我们的日常生活，成为生活、工作中不可或缺的一部分。佩戴上VR设备进行多地多人虚拟会议、又或是替代电脑成为我们的移动式办公工具，无论你身处何地都能实现多屏办公；无聊时还能足不出户和朋友一起跨空间玩一个线上沉浸式剧本杀放松一下；如果你很忙没时间去健身房，那还能来一场酣畅淋漓的VR运动……

（多屏办公）

（虚拟会议）

（日常社交）

（运动健身）

那么，让我们来解析一下，要实现Cambria上述功能和应用场景，需要哪些核心技术与算法，以及影创在这方面的累积成果又有哪些呢？

01- 佩戴方式

（左为Cambria渲染模型；右为“骐骥”）

产品的舒适度，是影响消费者选择的重要因素。VR设备作为头戴式产品，即便许多消费者更习惯追求超高清画面或是良好的沉浸感，但长时间佩戴后，脸部受压迫，肩颈也会受到来自头部的压力，不适感与疲惫感随之而来，从而导致体验感变差，使用率大大减少。从Cambria的预告视频中，我们了解到通过环形佩戴这种方式，将电池至于脑后位置的科学配重，有效分散了佩戴VR设备时的脸部压力，更符合人体工程学，进而减少VR设备因沉重无法长时间佩戴的问题。而这，与我们今年1月展示的6DoF VR公版样机“骐骥”的佩戴设计理念不谋而合，不得不感叹一句“英雄所见略同”。

02- Pancake光学方案

（Cambria Pancake光路示意图）

Pancake光学方案会使VR设备的体积缩小（前壳厚度从7cm左右变成2.5cm左右）、重量更轻（前壳重量从400g左右变成150g左右）。这是由于Pancake方案采用多镜片折叠光路，可以使VR设备内部结构更加紧凑。但是光路的复杂程度直接导致了光学模组加工工艺难度的攀升，控制良率的难度相比传统光学的单片菲涅尔透镜更高。轻薄的光学模组加上环形佩戴方式，消费者在佩戴VR设备时舒适度会明显提升。

Pancake光学方案可以实现大视野、出色的图像性能以及超紧凑的尺寸，毋庸置疑这三点与未来VR设备的需求完美契合。因此，VR设备在体积和重量上都有新的跨越后，可供长时间佩戴，并且移动性增强，其应用场景的选择性将更为广泛。未来的VR设备将不仅仅只是娱乐工具那么单一，而是变成了生产力工具。影创已经联合合作伙伴在Pancake光学方面做了多年的研发设计和方案积累，可以满足多类屏幕和显示参数的需求。

03- 彩色See through

（Cambria彩色See-through）

目前，VR设备使用空间范围有限，这也是行业一直在攻克的难关之一。VR设备作为沉浸式体验设备，佩戴后看不见真实世界，用户在使用时频繁地脱摘非常令人头疼。在本届大会上，See-through功能的重大改进也是亮点之一，从原先Quest 2的低分辨率单色See-through系统提升至高清晰度彩色See-through功能，用户能够在佩戴VR设备时，通过开启对外的彩色摄像头看见高清、彩色、无扭曲低延迟的真实世界，如此看来，VR与AR相融合的时代正在悄悄来临。

若要实现高清晰度彩色See-through功能，则需要在VR头显上最少装置2个RGB摄像头。摄像头存在着天然物理延迟的问题，因处理的信息量增长，高分辨率RGB摄像头的延迟会比原先的灰度摄像头更高。为了降低高分辨率RGB摄像头的物理延迟，我们通过空间扭曲等一系列的技术对画面进行预测及三维重构，将真实世界通过渲染的方式呈现在用户眼前，以此填补掉帧带来的画面缺失，从而降低物理延迟带给用户的不适感。 另外，虽然RGB摄像头比灰度摄像头的物理延迟更高，但它能识别更多色彩，因此鲁棒性更好，可以在更复杂的光照环境下使用，更精准地识别手势追踪，SLAM空间定位功能也会随之提升。

当VR设备最重要的一个缺点被克服，便意味着其移动性大大增强。用户不再拘泥于一个划定的空旷环境，也不再需要频繁地摘脱，而是能够一键轻松切换虚拟世界与真实世界，VR与AR相结合的设备，确实非常令人向往。

可以预测，未来五年高端AR眼镜将以Cambria的形态出现。目前市面上一些价格昂贵的高端AR眼镜以及它们的应用场景都将被具备彩色See-through功能的VR设备取代，因为它同时拥有更大的视场角、更好的显示效果以及更低的价格，将全面替代目前传统光学高端AR眼镜涉足的教育、工业、文旅、医疗等行业。不难预见，在不远的将来，整个XR行业会有更大的格局变化。

04- 手柄自追踪

（Cambria手柄）

上述我们说到，Cambria将使用RGB摄像头实现高清晰度彩色See-through功能，能够让用户在佩戴VR设备的情况下依然可以看见高清彩色真实世界。但RGB摄像头没有灰度摄像头的滤光片，无法很好地识别红外光，从而导致现在大部分VR设备所使用的红外LED式圆环追踪方式无法实现。那么，问题就来了，当VR头显无法追踪手柄，手柄该何去何从？答案很简单，手柄实现自追踪。

我们猜测，Cambria新手柄采用自追踪模式，手柄上安装有3个不同方向的相机，用于视觉VIO跟踪定位。工作原理大概是手柄端实时进行视觉VIO算法，独立解算位姿，并与头显进行视觉标定。使用RGB摄像头后，手柄能够360度追踪，不再受限于设备传感器的FOV（视场角）大小，能够获得更大自由度的交互体验。手柄自带算力实现独立SLAM空间定位后，原先集中于VR头显的算力负担会分散，减少了负载和功耗，头显可以设计得更加轻便。另外，由于取消了红外LED灯环，头显上的摄像头采用可见光跟踪，可以适应更复杂的光照环境，改善在室外场景的使用体验。

而实现手柄自追踪，有一定的难度。首先，它需要在手柄上搭载更复杂的算法和更高算力的芯片。我们长期以来致力于研究高性能、低消耗的SLAM算法，因此能很轻松地在手柄上实现定位追踪。 其次，当头手没有实时联系时，头部和手柄的坐标系要做到三点统一需要一系列地图和物体识别的技术，而我们同样也有着这方面的雄厚积累。

手柄独立意味着，将来它不再是VR产品的固定配件，而是成为一个选配件。那么，当VR设备可以脱离手柄后，我们该以其他何种方式交互呢？让我们一起往下看。

05- 自然手势识别

（Cambria手势）

当VR设备搭载RGB摄像头后，可以识别更多色彩，鲁棒性更好，可以更精准对手部动作进行识别。因此，自然手势识别成为VR设备交互的最佳选择。在日常使用场景中，用户可以随时随地戴上VR设备，通过自然手势进行一系列的操作，不需要再携带手柄，实现真正意义上的移动式便携。

影创科技一直致力于自然手势识别技术的研发，鲁棒性好、低功耗、低时延、视场角大，在行业中属于前沿水平。影创科技的全自由度自然手势基于30个自由度以及用户个性化的手掌参数，为用户创造更“本能”更“真实”的交互体验，可以不受固定姿态的限制，以任意手姿势与虚拟对象进行交互，学习成本低。而手势识别功能的增加，在VR与AR相融合的时代，将提升用户的交互体验，VR设备的移动性及实用性都将逐步提升。

（影创全自由度自然手势）

06- 虚拟键盘

（Horizon Workrooms-虚拟键盘）

随着VR设备功能的增加，其将从原先的娱乐产品蜕变成一个集娱乐、办公、生活于一体的新一代通用计算平台。当我们想足不出户玩一个沉浸式大型VR游戏的时候，便可以拿出手柄；当我们想办公、社交时，自然手势则是最佳交互方式，当代替鼠标的自然手势实现之后，它的好搭档——键盘，自然也是不可或缺的一项。

通过深度学习算法，未来VR可以把重建好的虚拟键盘模型和实际物体贴合叠加，然后进行跟踪，并且对其姿态进行准确估计，从而实现虚拟键盘的应用。虚拟键盘、自然手势，甚至更多虚拟配件的出现，将帮助用户实现无空间无时间限制的办公方式，社交自然更是不言而喻。

影创物体锚点系统具备从物体建模到物体跟踪的全流程系统。物体建模操作简单，成功率高，还支持自建的模型和其他平台建立的模型。物体跟踪高精度高鲁棒性，可以实现精准虚实叠加，精度达到了毫米级，叠加键盘自然也不在话下。

（影创虚拟键盘）

另外，未来通过摄像头，我们还可以对整个房间拍摄的图像进行深度估计，并且对计算出来的深度点云信息进行融合，最终对房间建立一个完整的几何描述。最终建立整个房间的具体位置的虚拟空间的对应关系，从而将数字信息永久的放置在现实世界中。

07- 多任务3D屏幕

（Cambria多任务3D屏幕）

由于各种原因，许多人都需要多显示器设置。但由于物理空间的限制以及多显示器需考虑成本等多种因素，无法实现多屏办公。然而，在虚拟现实的加持下，我们可以坐拥多屏3D交互，办公、社交、观影、游戏、音乐等等，你想要的都可以同时进行。最重要的是，它既没有物理空间的限制，也没有成本预算这种现实问题的考量。伴随着自然手势与虚拟键盘功能的推出，多任务3D屏幕将成为未来用户的办公选择。无论用户身处何处，只要有一个VR设备，便可以扩展自己的工作空间，实现办公、社交、娱乐无缝切换。21世纪的我们，生活的主力依靠着手机与电脑、平板等电子产品。畅想一下未来，以上这些产品都被压缩成一个便携式设备，是何等便捷？

就在今年夏天，我们对外预告了新系统Tesseract OS，并推出了体验版，邀请众多开发者与用户体验。Tesseract OS采用了多任务窗口，采用全新Dock栏，弧形大屏等新风格，与Meta所公布的多任务3D屏幕再一次不谋而合。另外我们还加入ASW、PTW等众多渲染技术上的升级，降低延迟和眩晕，提升用户体验。

（Tesseract OS 多任务3D屏幕）

08- 体积视频

（Cambria体积视频）

体积视频简单来说就是将一连串的三维模型连接在一起，并让他们动起来，能够自由视角观看。体积视频给视频赋予了体积的概念，让二维视频内容成为三维立体。它利用摄像机采集到的深度色彩等数据通过算法将现实世界通过三维模型展现出来，可以在任何平台上（手机、电脑、平板、VR设备等）播放，用户可以在任意时间任意角度进行观看，即赋予用户使用 6DoF观看视频的权利。

简单来说，就是实现全息影像功能。我们可以通过VR设备，看到一个身处不同空间的三维真人影像。在疫情肆虐地球的当下，全息影像的功能显得尤为重要。在Meta公布的视频中，我们也看到了未来新健身的模式，在任何场合，都会有全息教练在用户眼前指导用户如何健身。不仅如此，体积视频还能用于远程会议场景。会议是办公里最无法克服空间问题的一项内容，而虚拟会议能够彻底解决解决空间所带来的无法跨越的鸿沟。

想必大家对影创全息会议系统一定不陌生。它是一种全新的会议模式，能够实现远程合作及跨平台信息分享，达到多人、多地的实时沉浸式会议。影创全息会议能够实时传输亚厘米精度的全息真人形象，且支持自然手势、手柄及语音等多种交互方式，更支持多种类的虚拟数字形象，可谓是科技赋能新办公模式。如此一来，VR设备成为生产力工具指日可待。

（影创全息会议系统）

综合来讲，Tesseract OS集成上述所有自研算法与技术，从而实现高性能、低延迟、丰富功能，也是目前行业内少有能够提供一站式解决方案的操作系统。相信就像Windows之于PC，Android之于手机，Tesseract OS将赋能VR成为新生产力工具。 趣立科技是影创集团对外输出Turn-Key方案的平台，在底层算法和技术方面有雄厚积累，是国内能同时提供VR/AR全栈产品级算法与系统的公司，并将这些技术开放授权给合作伙伴。元宇宙时代的序幕已经拉开，一同跨入元宇宙世界的大门吧！