空间流式传输如何为3D资产解锁新可能
Miris CTO Sean Looper 谈如何用 AI 把 3D 资产摄取一次、流式传输到任意设备,从而摆脱游戏引擎与预渲染之间长达二十年的画质与交互性取舍。
中文
复制

请介绍一下你的背景,以及你是如何走上为 3D 构建交付基础设施这条路的。
Miris CTO Sean Looper: 我的背景是动画和视觉特效。我以动画师的身份进入电影行业,后来被吸引去用软件解决视觉问题。目标始终如一:如何用技术提升艺术表现力,尽可能高效地做出最漂亮的画面。那段时间,计算机图形学还很稚嫩,但已经成熟到具备商业可行性——这是一个令人兴奋的交汇点,因为技术正是在这样的地方才能大规模发挥威力。此后,我的职业经历横跨基础设施和深科技领域。这段旅程带我走过 DreamWorks Animation 等工作室,我在那里带领团队专注于实时流式图形系统和 HPC,也去过 Sony Pictures Imageworks。那段时间里,我参与过 60 多部电影。后来,我在 Amazon Web Services(AWS)带领团队打造了一款产品,面向大规模、数千 CPU 的 HPC 系统,这些系统专为计算机图形的实时处理和流式传输而构建。大约三年前,我开始与 Miris 合作。当时人工智能提供了手段,去解决那些我们一直视为无解物理问题而习以为常的痛点。我们从一个由三项技术交汇构成的视角来看待 3D 资产流式传输的挑战:流式图形、大规模实时 HPC 系统,以及应用于计算机图形的 AI。很明显,我们可以利用这三者大规模流式传输计算机图形,而不必接受行业过去 20 年来一直妥协的那些折衷。我们意识到,这些问题如今已经可以解决,而凭借我们各自的专业背景,我们恰好处于攻克它们的独特位置。
AWS Airship Asset Copyright 2024 Amazon Web Services. All rights reserved.
近二十年来,自适应视频流一直是个早已解决的问题。为什么 3D 想以同样的方式交付就这么难?
Sean Looper: 你可以用 2D 的方式体验 3D,就像去电影院看电影,但代价是失去交互性:我没法改变视角,也没法改变输入让屏幕上的画面回应我。游戏引擎能提供交互性,但你得为了移动性牺牲画质。你也可以花钱买昂贵的本地硬件来改善体验,但那样就没有移动性了。为了把这些体验装进口袋,你接受种种取舍。介于两者之间的是像素流之类的方案。你可以在云端租一块 GPU,在那里跑游戏引擎,然后在浏览器里看输出,不必依赖本地硬件,但这又带来新的限制:GPU 可用性、成本和延迟。想要最好的体验,你必须在地理上离那块 GPU 足够近。这里的取舍是:你换来了便携性,代价是复杂度。几十年来我们一直知道并接受这些妥协。我们接受了实时图形需要 GPU,接受了更高的画质要求更昂贵的配置。我们遵循着一种近乎本能的摩尔定律模式:系统里的数字更好、延迟更低、带宽更高、GPU 和 CPU 更强,体验就更好。我们把这当成了不可置疑的物理定律。归根结底,我们需要把 3D 当作 3D 来体验;而 AI 让我们得以改变妥协的位置和方式,把大部分计算负载前移到上游的 AI 处理阶段——就像 LLM 一样,预先评估一个更完整的 3D 体验中的各种排列与可能。到了运行时,这种评估的成本就低得多。再结合自适应流式传输,我们既能得到流视频的全部好处,又不必牺牲 3D 体验的交互性。在 AI 之前,这根本不是一个选项。问题从来不是“我们为什么不把 3D 像视频那样流式传输?”,而是“我们怎么会让自己把这些当成物理定律,而不是等待用更好的技术解决的问题?”
Miris 的摄取流程中会发生什么?在不涉及专有内容的前提下,一个 3D 资产要能被高效流式传输,需要经过哪些分析、转换或优化?
Sean Looper: 从客户的角度看,答案是什么都不用做。这正是它的巧妙之处。客户把资产保真度最高的表示交给我们,剩下的由我们接手。在幕后,我们对资产运行一套 AI 优化流程。这让我们能以极低的成本把它分发到世界各地,并且只向终端用户的设备拉取真正需要的那部分数据,不多也不少。拉取什么,取决于设备能力、当前网络状况、用户相对于内容的视角,以及资产本身的特性。整体架构很直接。资产进来后,经过一个处理步骤,耗时从几分钟到几小时不等,取决于资产、设置和期望的输出。处理完成后,结果实际上就是一个完整的空间数据库。随后,一个智能客户端会根据观看者的设备和网络连接,把资产交付给他们。所以,除了那个相当复杂的优化步骤之外,整个系统简单而优雅。
Miris 在摄取时一次性完成昂贵的计算,然后流式传输能在设备上重建的空间数据,而不是在云端渲染帧。请讲讲这一区别为什么重要。
Sean Looper: 渲染时,你的视角是固定的——没有交互性。渲染字面上就是从 3D 到 2D 的转换。游戏引擎的应对方式是把所有这些数据放进 GPU 实时渲染,这样你就能移动摄像机,但代价是视觉保真度大幅下降。预渲染——视觉特效、电影和电视采用的方式——则做出相反的取舍:在保真度上毫不妥协,但完全牺牲交互性。终端用户无法移动视角,也无法定义自己与内容的体验方式。对电影和电视来说,这完全可以接受,但在很多应用场景中,这种妥协是不可接受的。Miris 提供了游戏引擎的大部分灵活性——你可以定义自己的体验,自由地在资产周围导航——同时具备预渲染内容才有的视觉质量。你可以以电影级的保真度浏览一个 VFX 镜头或 CG 资产,而不必像在游戏引擎里那样只能看到某种降级后的形式。
这究竟解锁了什么?团队现在能构建或交付哪些以前不切实际的东西?差异体现在哪里:成本、时间,还是能交付的内容?
Sean Looper: 这个问题有很多答案,但目前最受关注的是资产审阅,也就是能够无损地共享 3D 资产的原始形态,在任何场景下都不打折扣,不必为了在手机上或跨时区查看而降低质量。这是在不牺牲价值的前提下实现可访问性,我们的许多客户和合作伙伴正意识到,两者可以兼得。
例如,产品设计师可能与一支分布在全球的团队协作。团队可能希望从平板、iPhone 或低功耗笔记本上审阅资产,同时保持高保真光照、复杂材质表面和极高几何细节完好无损。这些都是传统游戏引擎难以应对的,在低功耗设备上尤其如此。
医疗可视化、媒体与娱乐、电商,以及工业场景的数字孪生,也是空间流式传输的受益领域。我们解决的问题横跨数十个行业,因为它本质上是一个存在已久的物流问题,只是过去一直被默认为无解。
你并不是把它当作面向所有人的工具来推销。解决 3D 交付问题在哪里产生的杠杆最大?这些用例有什么共同点?
Sean Looper: 我们整个团队都来自深度技术和高端计算机图形领域。我们最初想做的,是自己也愿意用的产品,这一点至今没变。但我们低估的是,我们同时也在做一件让 3D 变得简单易上手的事,面向那些从未接触过 3D 的新手开发者。以前,开发者得花大量时间和精力为游戏引擎或 Web 处理资产,或者把工作外包出去。这个问题我们已经解决了。
我们的许多客户已经拥有由市场团队、产品设计团队或工程团队制作的高保真资产。Miris 直接以原始形态接入这些资产,解决了整个流式传输和交付问题。我们没料到这会带来多大的解脱。
结果是,对于那些此前因复杂度和成本而减少使用、或从未采用 3D 的客户来说,3D 变得更易获取、更好用了。这让我们大开眼界:我们以为自己在为已经使用 3D 的成熟开发者解决问题,但同时也在让 3D 对那些一直觉得它难以上手的人变得触手可及。
不同的 3D 用例对内容的要求可能天差地别,从游戏资产、数字孪生,到产品配置器、VFX 审片和电商,各有各的需求。Miris 如何适配不同的内容类型、交互程度和保真度要求?
Sean Looper: 和 Netflix 等流媒体服务很像,我们擅长的是在终端用户当前面临的各种限制下——设备性能、GPU 能力、网络带宽、延迟,所有这一切——交付尽可能好的体验。我们实际上是在持续运行一套优化算法,目标是在实时条件下把质量做到最高。
如果条件理想,比如你有一块 4K HDR 屏幕和一条高速连接,你看到的就是资产原原本本的样子,没有任何妥协。如果你在飞机上用手机看,画面会略有缩减,但我们知道,为了随时随地查看这份资产,你愿意接受这样的取舍。
这就是我们对客户的承诺:无论终端用户身处何地、使用什么设备,都提供当前技术所能达到的绝对最佳体验。
Miris 如何处理规模问题?无论是单个资产极其庞大、场景极其广阔、同时在线用户众多,还是实时制作流程中资产频繁更新。
Sean Looper: 可扩展性从根本上就写进了 Miris 的设计里。这意味着不会因为设备类型、高延迟或连接不稳定而打折扣。在内容接入这一侧,我们整个系统都按横向扩展来设计。我们遵循最佳实践,也认真对待满足企业级要求的责任。团队在全球科技公司的经历,直接影响了我们如何定义并运营一个规模化的产品。
在交付这一侧,我们今天就能把资产分发给全球数百万终端用户。对于企业级服务来说,我们认为这只是入场门槛。我们带来的价值很大一部分正在于此:不只是解决这个问题,而是以企业级规模来解决它——用我们常说的话,以互联网级规模。
对于今天就想尝试的开发者,集成是什么样子,Miris 在现有管线中处于什么位置,又不适合放在哪里?
Sean Looper: 我们的 SDK 现在已经在 GitHub 上发布,并且由我们提供完整支持。我们还有一个面向开发者的 Discord 频道。在我们的官网(miris.com)以及 player.miris.com 上,可以看到我们 Web SDK 的实际运行示例。上手很直接,几行 TypeScript 甚至纯 HTML 就够了。
我们的客户通常带着已有的 3D 引擎来找我们,比如 Unity,或者 Web 端的 Three.js。我们的策略是顺应他们现有的环境,尽可能原生地集成进这些引擎。对于广告、可穿戴设备以及其他超低功耗场景这类更专门的部署,我们还在做一个轻量级独立引擎,只负责从 Miris 流式传输资产。它的目标是可移植性和极小的内存占用,用在效率至关重要的设备上。
我们还提供所谓的 Playground:Web 开发者可以在里面试用我们的 API,实时看到资产流式加载的预览。
空间流式传输接下来会走向哪里?三年后哪些事情会变得稀松平常,而今天听起来还很大胆?
Sean Looper: 首先,我们在 3D 已经存在的地方把它做得更好。今天 3D 的使用已经相当普遍,客户很多,用例也很多。我们现在就可以在质量、成本效益和规模上改进和升级这些体验。
然后,我们降低门槛。随着过去让人对 3D 望而却步的障碍被清除,那些回避 3D 或只是偶尔用用的客户、合作伙伴和开发者,会开始做他们一直想做却做不到的事。Miris 让这件事成为可能。
再下一步,是以 3D 为先的互联网。互联网已经从以图片为先(视频只是小众)走到了以视频为先。我们相信,当 3D 变得像视频一样易用时,会出现类似的转变。生成式 AI 极大地加速了这一进程;它让过去需要专门软件技能的人也能创作 3D 内容,就像智能手机摄像头让视频大众化一样。以前拍视频得有胶片摄影机或 Betamax,现在每个人的手机上都能拍。
在向开发者解释空间流式传输时,你最常听到的误解是什么?关于 Miris 试图解决的问题,你希望更多团队能理解什么?
Sean Looper: 我们最大的挑战——这在初创公司里很正常——是让大家知道这些问题现在已经解决了。那些痛点已经不存在了。成本在下降,易用性在提高,可及性也已经具备。这是一次范式转变,人们需要知道,他们习以为常的那些假设已经不再成立。
用过 3D 的人亲身感受过那些痛苦,立刻就能理解我们在解决什么问题。对他们来说,我们的价值主张显而易见、直觉上就成立。而那些没有以同样方式跟 3D 打过交道的人,可能因为觉得它难以接近而一直回避。我们花了很多时间告诉和我们交流的人:情况已经变了。最终,他们都能明白。

对于 80 Level 的艺术家和技术美术读者来说,空间流式传输会如何改变他们思考资产创建、优化、版本管理和交付的方式?它是减少了约束,还是只是把这些约束挪到了管线中的另一个环节?
Sean Looper: 空间流式传输把这份负担彻底拿掉了。我在这个领域做了很久,和艺术家、资产创作者一起工作,毫无疑问,他们一直都得考虑:这个资产会被怎么用——不只是从观感上,还有技术上?它要投身的平台有什么限制?对于 Web 上的 3D 来说尤其如此,WebGL 实际上就是一个游戏引擎。资产必须被降级、被折腾、被优化到适合交付,而这份负担一直是创作者自己扛着。
我喜欢我们所做的事情的一点是,我们会说:“做出你能做的最好的资产。该多大就多大,该多高保真就多高保真。贴图该多大、多细就多大、多细。几何体也一样,所有东西都一样。别担心交付。你做好之后,这个问题我们来解决。”
我觉得这有点像电影人拍电影:先拍出那个最终版本,那个在影院里以全部光彩放映的版本,然后把它上传到一个服务上,说:“现在把它放到 Netflix、Hulu、Disney+、YouTube,以及所有需要它的地方去。你帮我解决就行。”我们对 3D 做的实际上就是这个。它省掉了大多数内容创作者宁愿不去操心的许多考量。

Sean Looper,Miris 首席技术官
准备好体验空间流式传输了吗? 加入免费的 Miris 测试版,今天就开始尝试空间流式传输。探索 Playground,并加入我们的 Discord 社区,分享作品、提出问题。在 LinkedIn 和 Instagram 上关注我们,获取最新动态、技术洞见以及社区创作的 3D 作品。正在为你的组织评估 Miris?联系我们,了解企业部署与定制集成方案。
继续阅读更多 Miris 新闻
Bird Flock Bundle 2026,作者 Unluck Software
一套经过优化的鸟群预制体,支持拖拽使用,带有着陆点和障碍物规避功能。