me前沿

理想的元宇宙,技术支柱如何构建?

作者:VR陀螺

文/VR陀螺 万里

自元宇宙概念爆火,各种技术之间的融合发展愈发快速,而各产业之间相互借力的趋势也愈发明显。

9月1日,2022世界人工智能大会(WAIC)在上海世博中心开幕,作为由国家发展和改革委员会、工业和信息化部、科学技术部、国家互联网信息办公室、中国科学院、中国工程院、中国科学技术协会和上海市人民政府共同主办的国际盛会,是国内顶尖技术向世界展示的最佳舞台,也是创新应用大展身手的最好时机。

本届WAIC最大的亮点莫过于“元宇宙”,除了诸多科技巨头代表发表对元宇宙的深度观点外,元宇宙展区也成为了吸引观众驻足的人气打卡点。

理想的元宇宙,技术支柱如何构建?

图源:WAIC

元宇宙是互联网的未来

即空间互联网

2021年被称为元宇宙元年,这一年以来,元宇宙概念热度始终不减:Meta、高通、微软、HTC、网易、百度等科技巨头纷纷入局,对于元宇宙所涉及的各领域加大探索以及开发力度。今年的WAIC,再次点燃了元宇宙这把火。

WAIC元宇宙展中不乏一些亮眼的项目:如诠视科技展出AR眼镜产品SeerLens One,用户可通过该眼镜体验虚拟空间的多人协同作业;影眸科技展出数字人系统,可实现更短周期以及更低成本打造超写实虚拟数字人;网易展示虚拟平台瑶台,现场观众通过简单信息录入生成数字人,即可实现元宇宙的虚拟云蹦迪体验。

在核心技术板块中,高通公司展示了基于5G切片的端边协同XR分离渲染技术,在分离渲染架构下,XR 用户能够利用 5G 提供的高速率低时延传输来协同边缘云侧进行实时渲染,同时结合XR 终端侧的本地优化渲染来提供低时延沉浸式无界XR体验。这项技术在众多展示作品中脱颖而出,被评为本届WAIC的八大“镇馆之宝”之一。

理想的元宇宙,技术支柱如何构建?

图源:高通

除技术展示外,一众专家学者以及企业家各自发表了对于元宇宙的看法:

中国工程院院士张平在演讲中指出,“元宇宙的本质是一个虚拟的社会经济体系。在任何数字经济发展到一定程度后,这是必然的阶段,它以虚拟现实互联网应用为承载,构建虚拟的社会经济体系。”

百度副总裁马杰认为,元宇宙将成为人类未来生活工作的第二平行时空。

高通公司总裁兼CEO安蒙则指出:“简单来说,元宇宙是互联网的未来,也就是空间互联网,它存在于一个多维的虚拟世界。元宇宙将开启高度沉浸式、可定制的数字体验新时代,模糊物理世界和数字世界之间的界限。”

理想的元宇宙,技术支柱如何构建?

图源:高通

元宇宙是对于未来互联网发展的一个愿景,目前仍未有一个准确的定义,每个人都可以对此有相应的解读。随着发展进阶,我们可以就某些方面达成一些共识:

XR设备将成为元宇宙的入口。相较于当前手机电脑等主流的计算平台,XR给我们带来了以空间计算为主要特点的信息体验和交互方式,它能给用户带来极强的沉浸以及拟真感,而这正是元宇宙有别于传统互联网的一大特性。

元宇宙将会成为一个万物互联、虚实共生的世界。未来,智能家居、汽车甚至是实体建筑,都将会接入到这个网络链路中。随着NFT等技术的发展,我们对于虚拟物品的消费比重会增加,而AR等技术会叠加在现实世界中丰富物理世界的信息层次。

元宇宙可以获得广泛而深刻的应用。张平指出,元宇宙产业2025年国内市场规模在3400亿到6400亿元,国际市场更是规模庞大,所以元宇宙具有未来杀手级应用的一切特征。根据中国信息通信研究院发布的《2022元宇宙产业图谱》指出,元宇宙目前在生产制造领域、生活消费领域和公共服务领域都已出现不同程度的应用,未来它的规模会进一步加强。

理想的元宇宙,技术支柱如何构建?

图源:高通

5G+AI+XR

打破元宇宙困境

前面提到,元宇宙有很多激动人心的特性,将发展成一个庞大的市场。不过回到现实,当前元宇宙的发展还处于起步阶段。前不久,Gartner公司发布了一份《2022年新兴技术成熟度》报告,从下图可以看到,元宇宙仍属于技术萌芽期阶段,离技术成熟还需要花费超过十年时间。

理想的元宇宙,技术支柱如何构建?

图源:Gartner

在发展过程中,有许多技术需要积极探索以及更多落地实践。在高通CEO安蒙看来,XR、5G和AI会是元宇宙发展过程中的重要基础技术。

作为元宇宙入口的XR设备,目前影响消费者体验的技术领域还有很多,如光学显示、人机交互、触觉等五感反馈、底层芯片、软件算法等。芯片方面,骁龙XR2仍是当前XR设备的主力芯片,其集成了头部6DoF功能,支持See-Through、5G通信等功能。安蒙在WAIC上透露,目前,采用骁龙XR平台的XR商用设备数量已经超过50款,涵盖了Meta Quest 2、Pico Neo 3和Vive Focus 3等主流机型。

有消息指出,Meta以及Pico即将推出的新品都将搭载升级版的高通XR 2 Gen 1芯片。此外,在今年IFA 2022大会上,Meta与高通宣布未来双方将合作为Meta Quest头显开发专用芯片。

扎克伯格表示:“随着我们继续为AR和VR构建更先进的功能和体验,构建专门的技术来为我们未来的VR头显和其他设备提供动力变得来越重要。”

理想的元宇宙,技术支柱如何构建?

Project Cambria,图源:Brad Lynch

除XR芯片外,5G也是元宇宙发展的一个关键技术。目前VR/AR终端可分为一体式和分体式两种形态,它们针对的分别是两种不同的使用场景:分体式可连接外部设备获得更强的性能体验,并且不用担心续航问题;而一体式设备能摆脱线缆束缚,使用起来更灵活。

如果我们借助低延时高带宽的5G技术,把一些需要高性能的运算放到云端进行,而终端侧处理一些对时延要求较高的内容,这样设备就能同时满足轻量化以及高性能的使用需求。

比如前面提到的高通无界XR,通过5G连接让XR头显与网络边缘或者移动边缘计算网络之间进行分布式处理。头显会执行节能的优化时延算法,以及眼球追踪、手势追踪、头部追踪等工作负载,然后通过5G网络将数据发送到有MEC基础设施的边缘云设备,用于处理密集型运算,诸如渲染和编码,最后通过5G再将编码的数据回传至头显。

在此前的技术演示中,基于5G切片的端边协同分离渲染技术的无界XR,能实现单目2K级别90FPS的画面传输,并且动作-渲染-现实(M2R2P)时延低于70ms,5G往返时延(RTT)低于20ms,已能较好地满足使用需求。

图源:高通

除了XR以及5G,AI技术也是构建元宇宙生态不可或缺的一环。

本届WAIC,百度给我们展示了AI艺术和创意辅助平台文心一格的独特魅力:用户只需要输入文字场景,并选择画作风格,平台即可快速生成高清画作。今年AI技术论坛上,Meta也给我们展示了AI创建工具Builder Bot:仅通过语音指令,就能在虚拟世界中生成对应的3D场景,比如通过语音指令创建海滩场景,沙滩、岛屿、椰树等素材都能通过AI调用出来。

理想的元宇宙,技术支柱如何构建?

图源:Meta

除前面所提到的内容或场景构建外,安蒙在WAIC中还提到了AI将赋能计算摄影和计算机视觉、虚拟化身、终端侧等丰富的应用场景。其中,对于终端侧AI,安蒙指出,“终端AI具备多项重要优势。终端侧AI能够提升安全性、保护隐私,敏感数据可保存在终端,无需发送至云端。它能够侦测恶意软件和可疑行为,这对大规模共享环境至关重要。终端侧AI将赋能新的颠覆性技术,此外,它还将助力更高效地利用有限的网络资源和带宽。”

深度参与关键环节

高通成为元宇宙的铺路人

技术的发展是推动元宇宙进程的重要一环,不过背后还有许多配套设施需要完善。扎克伯格曾指出,1000万用户将会是VR硬件销量的一个奇点:用户量达到某一规模后,会出现用户基数以及内容生态发展的正向循环,到时候元宇宙的发展会加速前进。这个目标在2021年得以实现。

奇点带来了产业加速发展,特别是国内市场,各大VR硬件厂商推出了硬件补贴、打卡返半价等销售策略,大力构建内容生态。而还有一些厂商,如高通,则更进一步,深入到产业的各关键环节,着手构建利于行业发展的良好基础和环境。

高通参与的环节包括前文提到的底层芯片、软件算法、产品参考设计、开发者平台、生态系统支持计划等。

芯片是XR终端的核心,高通是第一家针对XR产业推出专用芯片解决方案的企业,从2018年推出骁龙XR1,到骁龙XR2成为产业主流芯片平台,高通持续优化底层技术支持,除了计算性能逐年提升之外,还包括XR中必要的空间定位技术、手势识别算法、6DoF等也被集成到SoC的底层能力中。

同时,为帮助ODM/OEM企业及品牌商快速验证产品路径,推进产品商业化进程,高通还打造了基于XR专用平台的参考设计。如高通基于骁龙XR1平台的分体式有线连接AR眼镜原型;以及今年推出的集成了FastConnect 6900无线方案,基于骁龙XR2的AR眼镜参考设计,可实现设备无线连接智能手机设备使用。

此外,高通还推出了Snapdragon Spaces XR开发者平台,该平台核心技术包括Wikitude的核心感知技术、Clay Air的手部追踪技术和Augmented Pixels的云映射技术等,主要是为了帮助开发者进行AR软件开发。构成部分包括用于Unity和虚幻引擎的SDK,以及由联想ThinkReality A3智能眼镜和摩托罗拉edge+智能手机组成的开发套件。硬件厂商以及开发者可以快速进行部署使用,简化了硬件以及内容开发流程。

理想的元宇宙,技术支柱如何构建?

图源:高通

高通还持续投资于内容生态支持计划。今年3月,高通斥资1亿美元设立骁龙元宇宙基金,用于投资XR和AI相关的技术开发者和企业,支持元宇宙的基础技术和内容生态构建。高通还在中国面向开发者连续四年举办Qualcomm XR创新应用挑战赛,深入挖掘更多富有创新性的高质量内容产品。

可以看到,高通身体力行深度参与产业的各个关键环节,联动上下游共同推动产业发展进步。

元宇宙发展仍处于早期阶段,未来发展过程中会遇到技术、内容生态、标准建设等一系列问题。在这个过程中,高通手握XR+5G+AI等多项元宇宙重要基础技术,并与其他厂商通力合作,为行业创造良好的发展环境。

未来市场的繁荣,当下正是关键一步。