碰上场景机关,也能自己上手。走到“气泡弹珠”前启动装置,把自己弹到另一片区域,落地接着跑。

(注:《崩坏:星穹铁道》是米哈游开发的一款银河冒险题材的回合制角色扮演游戏。玩家乘坐星穹列车探索不同世界,通过跑图、对话和解谜推进剧情,并组建角色队伍进行回合制战斗。)

咱言归正传,米哈游给Gamer的定位,是面向长流程、实时交互的 通用视觉—语言—动作 (VLA) 基础模型。

上面演示玩《崩铁》的主力版本,由团队基于参数量80亿的 Qwen3-VL-8B 进一步训练而来。

它能根据游戏画面和任务,决定按哪些键、鼠标往哪里移动、什么时候点击,再把这些操作真正执行出来。

相较于以往的AI玩游戏,Gamer这次最大的亮点是 把跨游戏的实时操作与长流程的记忆、规划,接进同一套VLA框架。

实战时,模型完全依靠屏幕画面、任务指令和已有记忆做判断, 无需读取游戏内部接口或底层状态。

在论文中,研究还给出了一组硬核的实测数据:在覆盖五个主线篇章、总计约50小时的《崩铁》长流程评估中,Gamer的自主运行时间占比超过了95%。

先用跨游戏数据练操作,再用任务示范补上思考和记忆,最后让模型进入游戏,通过试错和反馈继续提升。

首先,是持续预训练 (Continued Pre-Training,CPT) ,让已经具备图文理解能力的基座模型,进一步学会操作游戏。

具体来说,团队把不同游戏的录屏与玩家操作对齐,让模型学习画面和动作之间的关系:人物往前走,场景会怎样变化;鼠标往右移,镜头会转向哪里。

执行时,Gamer每隔200毫秒读取一次画面,一次安排随后六个动作块,每个约33毫秒,对应30Hz的控制节奏。

其次,在微调阶段,团队整理了约1000小时高质量《崩铁》演示,把目标分成具体操作、阶段性小目标和完整任务,教模型将动作组织起来。

值得一提的是,这里有两个极其实用的工程设计,核心目的都是解决长流程中的推理延迟与上下文爆炸问题:

– 稀疏思考”机制: 沿着确定的路线前进,可以直接操作;遇到路线失败、目标切换或者新的交互提示,再展开推理。 – 记忆摘要机制: 旧记录即将移出上下文时,模型先记下任务进度、失败尝试、重要地点和后续计划,让接下来的操作有据可循。

-“稀疏思考”:沿着确定的路线前进,可以直接操作;遇到路线失败、目标切换或者新的交互提示,再展开推理。

最后,在在线强化学习阶段,团队提出TA-GRPO,把长流程拆成由记忆衔接的片段,比较不同尝试在相应阶段的表现,再利用游戏环境核验的结果更新模型。

比如,有没有到达目标地点、有没有完成当前任务,都能成为训练反馈,训练后台则负责初始化和核验。

此外,配套的 Streaming-vLLM 推理引擎还能复用已处理的上下文,并提前吐出生成且核验完毕的动作块,让游戏画面先动起来,大幅压低操作延迟。

在跨游戏实验中,团队测试了Gamer的CPT版本,涵盖《我的世界》、基于《毁灭战士》的ViZDoom,以及OmniGameArena和GameWorld等多个游戏环境。

此外,在上述四项公共基准上,Gamer-8B-CPT的平均得分为29.5,所列通用模型对照中,最高为仅17.6。

而在七类小游戏、共40个未参与训练的任务中,基座模型仅有 3.2%,经过CPT升至15.0%,SFT后提升至39.2%,加入强化学习后更是达到了49.7%——

这些结果支持了团队的核心判断: 通过统一的键鼠接口,把跨游戏学习、长期记忆和实时操作结合起来,可以让AI在复杂游戏中持续执行任务,并通过交互继续改进。

团队也在论文结尾指出,这类能力有望用于自动化测试、加快游戏迭代,并支持新的玩法机制,从而降低开发成本。

Run Luo: 新加坡国立大学计算机科学博士生,曾参与GUI-R1、OpenOmni等项目,在Gamer中负责三阶段训练、数据、基础设施及评测建设。

张宽 (Kuan Zhang) : 清华大学人工智能学院博士生,GameScaling与GameVerse共同一作,主要负责持续预训练、数据及评测建设。

Qi Deng: 米哈游崩坏AI研发团队成员,负责强化学习、训推基础设施,以及数据与评测建设。

Yukun Chen: 中国科学院大学研究生,GameScaling共同一作、多模态推理研究RuCL一作,主要负责监督微调、数据及评测建设。

Zhihao Yang: 中国科学院大学计算机专业博士生 (本科毕业于同济大学) ,主攻游戏与智能体方向,在项目中负责强化学习、数据及评测建设。

Renrong Hu: 米哈游崩坏AI研发团队成员,主要负责基准 (Benchmark) 建设与评测。

Yi Zhang: 来自中国科学技术大学,在米哈游实习期间参与项目,主要负责基准建设与评测。

而将视角拉远,这支米哈游崩坏AI研发团队的布局已覆盖AI NPC、游戏智能体与研发自动化三大方向,持续探索大模型在游戏体验革新与工业化管线中的落地。

此前,郑银河曾在云栖大会上披露过《崩铁》的AI帕姆,以及赋能内部研发的Agent平台EchoX。

而在学术方面,该团队还联合高校推出了GameScaling和Video-Arena,分别探明跨游戏持续预训练的Scaling Law,以及模型对动态游戏画面的理解边界。

参考链接 [1]https://arxiv.org/html/2611.18397v1 [2]https://mihoyo-gamer.github.io/

量子位 QbitAI 版权所有©北京极客伙伴科技有限公司 京ICP备17005886号-1