英伟达XR产业的四大支柱

　　NVIDIAGTC前瞻
　　3月，是春天，也是一年之中最重要的季节。这个三月，太多值得关注大型活动接踵而至：苹果的春季发布会，SXSW大会，还有本文的主角，将在3月21日至24日举办的NAVIDIAGTC。NVIDIAGTC是面向开发人员的全球AI会议，汇集了开发人员，工程师，研究人员，发明家和IT专业人员。主题集中在人工智能，计算机图形学，数据科学，机器学习和自主机器上。每次会议都以Nvidia首席执行官兼创始人JensenHuang的主题演讲开始，然后与来自世界各地的专家举行各种会议和演讲。
　　外国博主Skarredghost在网络上发布了他与NVIDIA官方合作的一篇文章，文章谈论了NVIDIA对未来的愿景，NVIDIA名为Omniverse的产品，以及5G云流媒体何时可以成为现实。让我们一起来看看吧
　　NVIDIA的四大XR支柱
　　最近，NIVIDIA将其XR工作重点放在四个不同的功能上，他们称之为四大功能XR支柱。
　　图源：英伟达
　　这是NIVIDIA首次提出的概念，但是这四个研究方向对XR的未来发展至关重要。
　　真实感和物理精度：作为一家以显卡起家的公司，提供高端的计算机模型一直是英伟达的使命。这些年来，英伟达一直致力于为游戏和3D应用提供提高图形质量的工具，光线追踪技术正是他们给市场带来的巨大创新。逼真的体验和物理精度对XR产业来说至关重要，这直接影响到XR设备带来的沉浸感。对于企业，如汽车设计行业，应用程序显示的内容必须尽可能地贴近现实。对于人工智能培训来说，逼真的渲染和物理引擎来创建合成培训数据是最重要的。
　　人工智能：人工智能和XR将越来越多地结合在一起。首先，人工智能可以大幅度提高VR的画面质量，DLSS（深度学习超采样技术，使用低分辨率图像（比如1080p）生成高分辨率图像（8K），再把8K图像缩回4K，得到超级采样抗锯齿（SSAA）图像，以代替传统的时间抗锯齿等技术。）就是一个明显的例子。其次，人工智能也将提高XR的可用性的基础。在我们的沉浸式现实中，我们需要智能界面和我们需要数字助理，让我们以自然的方式提供最小的输入，做我们想做的事情；我们需要人工智能让我们在XR中书写办公、为我们提供建议。人工智能将取代菜单，为我们提供更好的用户体验。
　　协作：远程会议是VR的超级应用，英伟达是最早了解XR中企业工程和设计协作潜力的公司之一，它的Holodeck软件是展示XR协作环境能力的最好证明。现在，英伟达推出NVIDIAOmniverse，3D设计协作和世界模拟平台，并且贯彻协作的初衷，构建AR和VR场景并进行互动。
　　流式传输：数据流和视觉处理正变得无比重要，因为我们的目标是创造更小更轻便更高性能的独立眼镜。通过流媒体和低延迟高效的5G6G，我们可以佩戴计算能力很小的眼镜，其他内容都通过云端传输。但要做到这一点，我们还需要优化流式传输算法。
　　这4个XR的支柱或多或少代表着英伟达在所有新技术的交叉点上的工作愿景，这些技术正在创造当前的技术革命浪潮。META、高通等等科技大厂的元宇宙愿景虽然有区别，但是AI、云、5G等等技术的融合正是XR的未来。
　　NVIDIAOmniverse
　　NVIDIAOmniverse是一个易于扩展的开放平台，专为虚拟协作和实时物理精确模拟而构建。它是协作工具，是集成的3D空间，也是一个渲染器。它是一个创建3D虚拟世界的强大工具，创作者、设计师、研究人员和工程师可以连接主要的设计工具、资产和项目，在共享的虚拟空间中进行协作和迭代。开发人员和软件提供商可以在模块化平台上轻松构建、销售和扩展应用程序和微服务。
　　Nucleus支持的多种应用图源：英伟达
　　Omniverse的核心是Nucleus，是一个数据库和协作引擎。它通过称为连接器的特殊插件连接到用于处理3D场景的标准应用程序，例如UnrealEngine、AdobeSubstance、Autodesk3dsMax、Blender等等。一个完整的3D资源开发团队的每个人都将他她的工作通过连接器提供给在最终场景中执行集成的人。各种艺术家的应用程序都通过连接器连接到Omniverse，Nucleus会将每个人的更改同步在3D场景中。总的来说，Nucleus能整合在同一场景使用不同软件的多人工作成果。
　　多个应用协作效果展示图源：英伟达
　　Nucleus可以通过提取或者将所有内容转换为USD格式来实现这一点。所有使用常见3D格式的应用程序的所有输出都会自动转换为USD，并整合到场景中。
　　利用Omniverse生成的建筑图源：英伟达
　　Nucleus不仅仅是协作引擎。在Nucleus构建的场景，可以通过其他软件或服务对其操作。例如用光线追踪来渲染这个场景，或用这个场景来进行一些人工智能的训练，又或是将这个数字场景作为真实事物的数字孪生体，等等。英伟达提供了一些使用服务来构建使用OmniverseKit的应用程序的例子，例如OmniverseCreate、View和Machinima，开发者也可以使用Kit构建自己的应用程序。
　　这就是拥有三层功能的Omniverse，连接不同应用是第一层，将不同应用的资产整合为一个3D场景是第二层，使用OmniverseKit构建的服务和应用程序对场景处理生成输出或应用是第三层。
　　有趣的是，NVIDIA开始构建Omniverse并不是作为产品，而是作为训练其AI的工具。没有工具可以让团队在针对AI培训优化的项目上进行协作，所以他们自己构建了它。然后他们意识到这对其他人也可能有用。
　　关于GTC，新的科技和知识总是让小编兴奋不已。在英伟达的官方公告中透露，他们将着重展示Omniverse对XR领域的支持，这也许意味着我们能够在VR的场景中享受RTXON带来的真实光线感受，让已经沉浸其中的场景变得更加逼真。虽然，这可能意味着我需要一块GeForceRTX3090显卡，作为一位忠实的游戏玩家，等待这波显卡价格回落入手一块3090也不是什么超出认知的问题。也许就会出现一款在故事上和画面上超越半衰期：ALYX的跨跨时代游戏，不过因为光线追踪在画面表现的高标准和优化难度，也许在58年这样的游戏才会出现。
　　还有一点很令人期望的是5G，现在的AR设备大都在性能和重量之间摇摆，有了5G带来的低延迟云端传输，我们的眼镜重量可以更多的分摊给光学方案，让我们的混合现实如假包换，真正成为替代手机的设备，让我们的颈椎不再受到摧残。
　　最后就是人工智能，这项科技的发展总是带给我危机感，它的学习能力正在逐渐增加，当他们的学习能力超越全体人类，人工智能和人类的差距就会缩短，在未来某天超越我们。会有产业因此受益，也会有一些人拼命学习才能保住饭碗。
　　接下来是GTC有关XR演讲时间表，不知道还有什么知识在等着我们呢？小编会第一时间和大家分享