visionOS 26原生支持Insta360等第三方设备沉浸式视频播放全面解析

经过长达三个月的测试阶段，苹果公司在九月份正式为Apple Vision Pro推出了visionOS 26系统更新。

除了用户熟知的小组件和新版自影像功能之外，还有一项特性引起了广泛关注，即对来自Insta360、GoPro和佳能设备拍摄的180度、360度以及宽视场内容的原生播放支持。恰好我手中有一台Insta360 X5全景相机，因此深入探索了在visionOS 26上播放第三方沉浸式视频的相关细节，并在此进行简要分享。

visionOS中的视频类型

在开始之前，先简要介绍一下visionOS目前支持播放的几种视频类型。

2D和3D视频

顾名思义，2D视频与我们使用iPhone、Mac等平面设备观看的视频内容基本一致，通过窗口形式播放，可以嵌入网页或独立应用程序中。

在平面设备上观看2D内容时，用户可以点击最大化按钮，让视频以全屏模式占据整个屏幕；而在Apple Vision Pro中，2D平面视频虽然无法实现“全屏”播放，但提供了“扩展式播放”功能。

扩展式播放的2D视频内容会以独立窗口的形式，在Apple Vision Pro的环境中充满整个窗口进行播放；如果开发者使用Apple官方提供的Reality Composer Pro或AVKit开发工具，扩展式播放窗口还可以切换到“悬停状态”，固定在visionOS空间中的指定位置。此时窗口位置和大小不可调整，环境会根据窗口播放内容实时模拟呈现窗口屏幕在环境中的动态光线反射效果，类似于虚拟影院的体验。

悬停播放

3D视频的播放方式与2D视频类似，但能够提供类似在电影院观看的窗口3D视频效果。为了实现这一效果，Apple为开发者提供了多视图编码（MV-HEVC）格式。与传统VR内容的左右或上下帧合并形式不同，多视图编码在视频工程文件的同一轨道中存储了多个独立视图层，使左右眼帧的画面具有相同分辨率并共享时间轴，这也能确保最终视频文件可以向下兼容普通HEVC格式播放。

对于开发者来说，视频片源需要分别提供时长和帧率完全一致的左右眼文件，并使用高位深格式和HDR色彩空间重新编码为MV-HEVC。MV-HEVC轨道会通过vexu扩展（Video Extended Usage）标明该轨道的左右眼视图和默认视图，以便播放器确定如何将每个视图映射到用户的左眼或右眼。

目前在Apple Vision Pro中，用户主要可以通过视频应用（外区）或Disney+应用观看众多3D版本的热门影视内容，获得影院级的3D观影体验。

空间视频

空间视频是Apple在visionOS中提出的新概念，视频内容可以按照真实尺寸呈现在视野中，同时窗口边缘会以淡出的形式与周围环境形成自然过渡的效果。这种处理方式能够让画面与环境之间不致于突然产生强烈的深度错觉，同时提供身临其境的观看感受。同样地，空间视频也做到了向下兼容，能够在Apple Vision Pro或iPhone等设备中以传统2D画面的形式播放。

空间视频

从技术角度来看，空间视频同样采用了MV-HEVC编码格式，将左眼与右眼视图分别存储在多视图图层轨道中，并通过QuickTime容器的vexu扩展加入了描述左右视图、默认视图、视差等关键信息。此外，空间视频还含有额外的元数据，如实际拍摄距离等，这些数据会影响窗口深度和视角的呈现。

180°、360°和宽视场视频

在visionOS 26中，Apple将传统的180°、360°和宽视场视频统称为“沉浸式视频”。与前述的2D、3D和空间视频采用直线投影（Rectilinear projection）不同，在Apple Vision Pro这样的空间计算设备中，渲染空间并不仅限于我们观看前方的平面区域，开发者也可以在虚拟环境中的观看者周围铺满像素，并且需要考虑镜头曲率或弯曲变换，因此需要采用非直线投影（Nonrectilinear projection）方式渲染视频内容。

直线投影

180°视频通过“半等距柱状投影”将正方形的画面映射到半球区域中，内容会填满观看者前方的半球区域视野。360°视频则采用“等距柱状投影”，画面为宽高比为2:1的矩形画面，这样可以使画面在投射时水平轴能够覆盖−180°至+180°的区域，垂直轴能够覆盖−90°至+90°的区域，将观看者完全包围在沉浸空间中，也是VR行业通用的投影方式。

半等距柱状投影

等距柱状投影

宽视场视频是visionOS 26中新支持的非直线投影视频类型，采用“参数化投影”方式。宽视场视频会根据每个广角或鱼眼镜头的内部参数和畸变模型生成投影函数，再通过visionOS 26引入的APMP格式文件存储的镜头焦距、光学中心、畸变矩阵等参数，由播放器矫正弯曲曲线后映射画面，可在曲线上复原真实视角，同时消除画面中的畸变和鱼眼效果，让直线看起来不再弯曲。

这三种非直线投影类型的3D视频同样采用了MV-HEVC视频编码技术。作为高效视频编码技术HEVC的“立体”版本，MV-HEVC能够将左右眼的画面像素分别编写到不同的缓冲区中，并根据双眼画面的相似性仅编码不一致的部分，这样不仅能够有效降低立体视频文件的体积大小，也有利于提高视频编码渲染的效率。

Apple Project Media Profile

上述提到visionOS 26引入了新的APMP元数据规范，全称为Apple Projected Media Profile，包含Projection Box、Lens Collection Box和View Packing Box，分别记录投影类型、镜头内参/畸变模型以及视图排列方式。APMP只负责描述“如何投影”以及“镜头参数是什么”，并不规定视频编码。现有的180°/360°视频可通过工具注入APMP元数据后，在visionOS 26中获得原生播放体验。

APMP文件通过vexu扩展存储的元数据信号指明视频所采用的投影方式，以便播放器在渲染时正确还原视频效果，同时提供向下兼容性。可以说，APMP为非直线投影视频提供了统一的描述和兼容层，使其既向下兼容已有的180°/360°内容，也能向上支持新一代宽视场和双眼立体拍摄视频内容。

也正是得益于此，用户得以凭借手中的消费级设备，就能在visionOS 26中原生播放自己拍摄的180度、360度和宽视场内容。

在Apple Vision Pro中播放Insta360全景视频

在visionOS 26正式推出之后，我也尝试用手里的Insta360 X5全景相机拍摄了一些视频内容，并将它们导入至Apple Vision Pro中播放。Insta360 X5配备了双1/1.28英寸像素传感器，支持8K 30 fps、5.7K 30 fps、5.7K 60 fps以及4K 60 fps的高规格视频拍摄，接下来我们先看看用它怎么拍、再看看它拍得怎么样。

以Insta360 X5的普通录像模式为例，这个模式下拍摄的单个视频会在存储卡中分别生成后缀格式为.insv和.lrv的文件。其中前者为Insta360的专有文件格式，用于存储高比特率的两路鱼眼视频数据以及陀螺仪/加速度计数据、曝光值、时间戳等各类传感器信息，是拍摄得到的主要文件内容；后者是Insta360相机为拍摄内容自动生成的低分辨率代理文件（Low-Resolution Video），用于快速查看或在剪辑工具中预览调用，以减少硬件负载和渲染压力。

可想而知，Insta360 X5拍摄得到的.insv视频文件并不能直接在Apple Vision Pro中预览和播放，这时候就要用到Insta360 Studio这款软件对文件进行导出处理（其他支持品牌的相机也需要经过类似操作）。

对于Insta360 Studio的其他功能，这里不作展开介绍，直接看导出菜单。打开Insta360 Studio选中相应视频并选择导出后，我们需要在导出菜单中选择“全景视频”，并勾选下方的“APMP”选项。勾选导出时Insta360 Studio会将成片按APMP投影媒体规范封装与标记，让其在Apple Vision Pro中能被识别成可原生播放的沉浸式视频，同时在不支持的设备上能够回退为普通2D视频形式播放。

体验与感受

如上所述，Insta360 X5是一台支持8K 30 fps、5.7K 30 fps、5.7K 60 fps以及4K 60 fps等高规格视频拍摄的全景相机，用它拍摄能够在Apple Vision Pro中沉浸式播放的视频，听起来非常令人期待。

但结果却不尽如人意。最开始我用Insta360 X5拍摄完5.7K 60 fps和4K 60 fps的视频之后，不论是在iPhone、Mac还是Apple Vision Pro中播放平面视频时都没有任何问题：画面清晰度高，帧率表现也相当顺滑。但在通过Insta360 Studio导出成符合APMP标准的视频文件之后，Apple Vision Pro确实可以直接以沉浸式观看形式播放了，但清晰度却低得看不清任何细节。

我转而用Insta360 X5拍了一些8K 30 fps的素材再次测试，此时Apple Vision Pro中的沉浸式画面清晰度依然很低，但勉强到了将就能看的程度。

动图经过压缩

经过一番研究之后，我发现“问题”并不出在Insta360身上，而是出在显示端即Apple Vision Pro上。如上所述，当我们在Apple Vision Pro观看360°的沉浸式视频时，显示区域实际上为一个球状表面，即使通过8K的规格（7680x3840，总像素约3000万）拍摄视频，这些像素会被分布在这个完整的球面上。

这与我们观看平面视频不同，当在iPhone或Mac这样的屏幕上观看平面视频时，视频的所有像素均完整呈现在屏幕中，这时从传统意义上看即使是更低清晰度的2K甚至是1080P视频，实际观感也不至于太差。但在Apple Vision Pro这样的VR设备中观看沉浸式视频时，所有画面像素会被投影在“包裹”观看者的整个球状平面上，而作为观看者的我们实际上只能看到视场角以内的部分像素，这就导致了同一个视频分别在VR设备以沉浸式播放与在平面设备上播放时，视野内的有效像素密度有很大的差异。

根据网络上已有的测试结果来看，Apple Vision Pro的水平视场角约为100°、垂直视场角约为90°，经过不准确的大致计算：(100/360)x(90/180)=0.139=1/7.2，实际上在Apple Vision Pro中观看由Insta360 X5拍摄的8K规格视频时，我们仅能看到整个球面约1/7的区域，实际可见区域的有效分辨率密度会大幅降低，因此导致了画面清晰度不足的问题发生。

但是话说回来，即使是在画面清晰度不足的情况下观看，通过Apple Vision Pro看到过去某一时刻的情景重现，依然会有一种奇妙的感受，要比观看空间视频的体验更加有意思。

对了，还有一点需要注意的是，从visionOS中已有的官方沉浸式内容里不难看出，Apple为了提供更好的观看体验也是下足了功夫：这些视频大部分都在画面部分尽量避免机位的长时间大幅度运动，镜头移动也使用了专业的云台、机械臂等设备以确保画面平滑展开，能够更大程度上降低观看VR内容可能导致的晕眩等问题。

但是，我们自行拍摄的视频一般都是随意的日常记录，没有事先准备好的分镜策划、也没有专业的器材辅助，画面抖动等情况在所难免，我在观看这些自己拍摄的视频内容时，很快就产生了头晕的症状，在看官方内容时则没有这个问题。

结语

像是Insta360、GoPro这样的消费级设备能与visionOS 26联动，让这些曾经的回忆在虚拟现实中重现，这是一个令人期待的开始，很高兴Apple与这些品牌们一起先迈出了第一步，即使它们的效果目前还没有那么好。说不定日后通过AI技术还原或者更强大的硬件设备，我们真的能够在像Apple Vision Pro这样的设备中，完全真实地还原彼时彼刻的此情此景也不一定。

话说回来，通过Insta360 X5这样的全景相机，我们已经能够将难忘的时刻以全景记录的形式留存下来，并通过iPhone或Mac这样的设备高清回看，这已然是一份足够珍贵的数字存档。当然也期待日后能有在Insta360、GoPro和佳能之外，更多品牌能够给我们带来更为多样与生动的回忆呈现方式。

原文链接

https://sspai.com/post/102896?utm_source=wechat&utm_medium=social