据VAST介绍,EdenLive首次实现了在实时生成的前提下,同时完成任意参考输入、任意画风生成和长时连续运行。

具体来说,给它简化场景或参考视频,再配上目标首帧和提示词,就能沿着参考的布局与运动,持续生成写实、二次元等不同画风的精细画面。

在单张消费级显卡Nvidia RTX 5090上、720P条件下,5B模型的生成速度 超过24FPS ,还能持续生成分钟级画面。

画面持续变化的同时,交互规则和世界状态由上游交互系统维护。系统接收玩家操作、更新状态,EdenLive再根据对应的参考画面,将这些变化实时呈现出来。

GPT-6 Astra 就是一个典型例子:它已经能够在Blender里搭建房屋,再将其转入Unreal Engine 5,形成可以进入、漫游的场景。

当AI能够搭建场景、设计交互玩法,如何让这些内容获得精细且实时的视觉表现,也就成为接下来需要解决的问题。

在这样的背景下,一条技术路线逐渐成为行业共识: 由交互系统维护底层状态和运行规则,再由生成模型负责视觉渲染 。

当时公开的Project Eden研究预览,已将 「状态维护与视觉渲染解耦」 作为核心设计。

如今,EdenLive作为这条路线的阶段性成果发布,并开放模型权重和推理代码,同步公开技术报告与端到端Demo。

代码: https://github.com/VAST-AI-Research/EdenLive

技术报告: https://assets.vast-eden.ai/assets/edenlive/EdenLive-tech-report.pdf

开放权重: https://huggingface.co/VAST-AI/EdenLive

EdenLive的核心价值,在于为简化场景和交互内容提供高质量实时渲染,底层逻辑与状态则继续由上游交互系统维护。

现阶段,EdenLive更适合场景漫游、推箱子等交互相对低频的玩法,让创作者在操作游戏原型的同时,查看精细画面下的呈现效果。

据VAST公布的数据,在单张消费级显卡RTX 5090、720P条件下,EdenLive的5B模型生成速度 超过24FPS ,也就是每秒生成超过24帧画面。

除了游戏互动,EdenLive还可以用于场景与动画预览,在场景布局和运镜已经确定的基础上,更换不同的美术风格。

用简单模型搭出的雪地行车场景,经EdenLive生成后,也呈现出了更写实的车身纹理、积雪和光影效果。

这些画面的生成,由三类输入共同控制:参考画面提供场景布局、镜头与运动,目标首帧设定整体外观和画风,提示词则补充风格与细节。

EdenLive还可以用于具身数据增强,将真实人类操作画面转成机器人视角,并对第一视角视频中的物体和外观进行修改。

经EdenLive生成后,双手被替换成机械手,抹布从橙色变成了黄色,但清洁动作仍然与原视频保持一致。

比如把人手替换成金属机械手臂,推车扶手换成银色金属质感,但抓握和推行的动作与原视频保持一致。

从简单的2D动画、3D场景,到实拍视频和第一视角操作画面,这些不同来源的素材,都可以作为EdenLive的参考输入。

用同一模型接收多种参考,沿着已有布局与运动改变视觉表现,再以实时、分钟级连续生成的方式输出画面,正是这组Demo共同展示的核心能力。

高频、激烈的交互对生成速度和动作呈现有更高要求;多个角色同时出现时的身份保持、小物体的精细控制,以及长时间生成中的视觉一致性,也有进一步提升的空间。

不过,VAST已经开放了不同规格的模型权重和推理代码,同时公开了技术报告和上述端到端Demo。

官方还将同步开源 Game Prototype Turbo ,一款「Prompt to Proxy Game」Skill。

用户可以通过它快速生成可直接游玩的游戏原型。游戏运行时,交互系统持续更新状态,并输出对应的简化参考画面;EdenLive再将这些画面实时渲染为精细的视觉内容,反馈给玩家,形成从游戏逻辑到实时视觉呈现的完整链路。

其采用的核心技术是 「解耦世界状态与视觉渲染」 ,也就是把世界如何运行、画面如何呈现分开处理。

角色的移动、攻击和防御,都由玩家按下相应按键来控制;交互系统接收操作,更新角色位置和动作,并判断攻击是否命中、血量如何变化。

EdenLive结合这些输入,持续输出精细画面;游戏逻辑和状态更新,则由上游交互系统负责。

Project Eden 是VAST长期推进的世界模型研究项目,EdenLive则是其中聚焦实时生成式渲染的阶段性成果。

要让模型把简单的方块角色生成写实人物,同时与参考画面保持相应动作,就需要建立参考与生成画面之间的对应关系。

据VAST介绍,其数据管线覆盖2D、3D简化场景、引擎渲染和真实视频等多种来源的成对数据。

从素材采集、场景构建到数据配对,这些工作共同支撑了EdenLive对不同参考和场景的处理能力。

EdenLive涉及3D、视频生成与系统工程:既要处理空间结构和运动约束,也要生成细致的视觉效果,还要让模型以足够快的速度持续运行。

这些要求需要放在同一套系统里协调。画面质量提高后,推理速度能否跟上;外观发生变化时,角色动作能否继续贴合参考,都需要模型与工程团队共同解决。

将世界状态与视觉生成分离,让底层状态独立于摄像机视角持续存在,再由渲染模块将其呈现为画面。

围绕这一思路,VAST进一步给出了三层架构:持续演化的结构化状态、状态到观测的接口,以及生成式神经渲染,分别承担状态维护、观测转换和画面生成的职责。

这一路线选择比行业共识提前了约三四个月。这段时间,也构成了团队沿着既定方向继续积累数据、打磨模型与系统的研发窗口。

构建一个可交互的世界,需要角色、道具和场景资产,也需要明确物体的位置、尺度与空间关系。3D为这些内容提供了可组织、可操作的基础,并参与世界状态的表达。