米哈游“千亿AI”爆发:一个月,连发2弹
文 / 游戏那点事 零
连跑50个小时,95%全程无人接管。
上个月下旬,来自米哈游崩坏AI研发团队、清华大学、中国科学院大学和香港大学等机构的研究者,公开了一项名为GameScaling的研究论文,探讨了一个困扰游戏AI已久的问题:AI在某几款游戏里训练出的键鼠操作,能不能像人类玩家一样“举一反三”,直接迁移到没接触过的新游戏里?
在当时的实验中,研究团队用同样1600小时的游玩数据做了对比。结果显示,混合多款游戏训练出来的模型,在7款未参与训练的3D游戏测试里,平均得分达到仅用《我的世界》训练模型的约2.8倍。移动、转向、瞄准这类操作经验,在玩法相近的3D游戏之间确实能派上用场;不过,一旦换到视角和规则差异更大的2D、2.5D游戏,这种跨游戏提升就变得不太稳定。
(GameScaling实机对照:面对同一射击关卡,仅用《我的世界》训练的模型进度停在26%,混合多款游戏训练的模型完成了关卡)
与此同时,这项实验还试出了通用大模型玩游戏时的另一道门槛——理解能力够强,反应速度却未必跟得上。
在四组游戏测试中,如果允许游戏暂停、等AI想清楚再行动,GPT、Gemini等通用大模型的平均分更高;可一旦让游戏正常实时运行,反而是参数规模小得多的GameScaling(90亿参数版本)在平均成绩上反超了参与对比的通用大模型。需要注意的是,这组成绩也受到各模型部署方式与响应延迟的影响。
(《我的世界》测试对照:浅色长条为允许暂停时的成绩,实色短条为游戏实时运行时的成绩)
当时的GameScaling主要还是通过玩家录像做模仿训练,模型既记不住长线任务进度,也没法在自己犯错后总结改进。
让人有些意外的是,距离这篇论文公开还不到一个月,米哈游团队就端出了实质性的下一步进展——前段时间,米哈游悄悄上线了通用游戏智能体项目Gamer的官网;而到了前天,项目官网与配套技术报告再次更新,放出了AI在《崩坏:星穹铁道》里看画面、动键鼠跑主线和做支线的完整实测。
(Gamer项目官网首页)
如果说此前的GameScaling重点解决“怎么学会操作键鼠”,那么这次亮相的Gamer,则是在操作预训练的基础上,补齐了任务指令、长程记忆与在线强化学习,尝试让AI围绕具体目标连续完成复杂任务。
在《星铁》7类小游戏、共40项未参与训练的任务测试中,强化学习后的Gamer平均成功率达到49.7%;作为对比,同一套评估下表现最好的通用大模型GPT-6.1-Sol仅为17.1%。
(Gamer小游戏测试成绩总览,右侧7/7代表它在全部七类玩法中均有成功记录)
01
只看画面动键鼠
先把支线分步成功率做到八成
过去不少游戏AI之所以能在特定项目里刷出高分,前提是研究者可以直接读取游戏底层数据,或者为算法定制专门的动作接口。
但换到《星铁》这类商业3D游戏里,如果要求AI像真人玩家一样只看屏幕画面、只靠键盘和鼠标操作,难度就高得多了——跑图时要看路转向,进剧情要选对话,遇敌要打回合战,半路还可能撞上规则各异的机关解谜。
米哈游团队这次首先验证的,就是同一套Gamer模型能不能把这些截然不同的环节串起来。在主线评估中,团队覆盖了5个主要篇章的160个主线任务条目,累计测试约50小时,其中超过95%的时间由Gamer自主操作。
像雅利洛-Ⅵ篇章里的雪原探索、深入大矿区和迎战Boss可可利亚,Gamer都能顺着剧情一路往下推进。
(Gamer在《星铁》雅利洛-Ⅵ篇章的部分主线任务演示)
以其中的“返回客房”片段为例,角色从行政区街口拐弯、跑上台阶再到进入旅馆走廊,画面右上角同步记录的键鼠动作与角色走位严丝合缝,整体观感已经很接近普通玩家的跑图录像。
(“返回客房”实机片段,右上角叠加了实时键鼠输入,原演示为1.5倍速)
为了更准确地衡量Gamer在陌生任务里的成色,米哈游团队又挑出两条未参与训练的长支线做分步考核:一条是包含30个阶段目标的贝洛伯格博物馆寻物支线,另一条则长达55个阶段目标,途中还穿插了三次机器人维修解谜。
结果显示,Gamer在两条支线上的阶段目标执行成功率分别达到80.0%和83.6%;作为对比,同场参测的通用大模型最高仅为45.5%。
需要注意的是,测试中若模型在某一步卡住,允许通过脚本接续后续流程,因此这一成绩统计的是各步骤的有效执行成功率,还不能直接等同于整条支线一次跑通的通关率。
(两条支线任务的分步骤测试成绩,Gamer-RL为完成强化学习后的模型)
更有意思的是总分背后的能力分化。在第二条支线里,Gamer的对话步骤成功率做到了100%,但遇到三道机器人维修解谜时,成功率却只有11.1%。
这种差异在7类40项小游戏测试里同样明显。比如面对多层圆环彼此联动的“引航罗盘”,Gamer的解谜成功率高达95.8%。
(“引航罗盘”实机演示:切换并旋转多层圆环,使指针全部对齐左侧标记)
可一旦换到“黄金替罪羊”——玩家走过的路线会在几步后化作影子阻拦自己,必须提前算好往返路径——它的成功率就回落到了38.1%。
(“黄金替罪羊”实机演示:角色需在避开自身历史行动影子的同时抵达目标点)
这也看得出Gamer目前的真实水平:光靠看画面和操作键鼠,它确实已经能应付跑图、对话、战斗与普通机关,把长线流程串起来;可一旦遇上需要提前多想几步的复杂解谜,不同玩法之间的成功率还是会拉开近60个百分点的差距。
至于怎样把这种“能上手”进一步变成“少出错”,很大程度上就取决于米哈游在背后设计的训练方式。
02
寻找帕姆16次成功15次
把响应延迟压进65毫秒
《星铁》列车车厢里“下楼找帕姆”的任务,很直观地展示了训练前后的变化。只学过玩家操作录像和任务说明时,角色明明站在二楼栏杆边就能望见楼下的列车长帕姆,却还是反复打开地图、翻看菜单,一直在楼上打转直到超时,同一起点的16次尝试里只成功了3次。
随后,米哈游团队引入在线强化学习,让Gamer在游戏里反复试错,并由系统根据“是否真正走到帕姆跟前完成交互”给出成败反馈。训练推进后,它学会了顺着楼梯通道下楼、绕开中央吧台找帕姆对话,16次尝试最终成功了15次。
更有说服力的是,另一项未纳入本轮强化学习的寻找角色“三月七”任务,Gamer的成功率也顺带由16次仅成1次提升到了10次。
(同一“前往帕姆”任务在不同训练阶段的路线选择与思考变化)
能够把光看录像没学会的路线自己摸索出来,靠的是米哈游为Gamer搭起的三阶段训练体系。团队先用约2400小时经过清洗的跨游戏与《星铁》操作记录做继续预训练,帮模型打好基础的键鼠控制能力。
在此基础上,团队又从约1.1万小时的《星铁》原始录像中筛出约1000小时,把同一段游玩过程拆成“单步动作—阶段目标—完整任务”三层指令来微调。比如在“货币战争”里,同一次点击既是“查看对手阵容”,也是“完成赛前准备”的一环,模型借此看懂玩家每一步操作的目的,最后再进游戏做强化学习调整走法。
(同一段“货币战争”录像被标注为单步操作、阶段目标与完整任务三层指令)
针对长线任务容易“跑着跑着忘了最初要干什么”的老毛病,Gamer还加入了一套记忆摘要机制:每当上下文窗口快要塞满、早期画面即将被移出时,模型会先把已完成的步骤、遇到的阻碍和后续计划记成摘要,靠这份“随身笔记”维持跨场景的目标连贯。
前面提到的博物馆寻物支线,就能看出这三个阶段各自起了多大作用:只靠预训练时,分步成功率只有34.4%;加上多层指令与记忆微调后涨到72.2%;再经过强化学习,最终提到80.0%。
不过,强化学习也不是在所有玩法上都能涨分。7类小游戏的平均成功率虽然涨了10.5个百分点,但其中的“雅努斯迷津”反而由52.4%掉到了23.8%,可见针对性试错在部分复杂机制上仍可能顾此失彼。
除了解决“怎么记、怎么学”,米哈游这次还在工程上重点攻克了实时交互的延迟难题。在持续运行的游戏里,角色经过门口时交互提示可能只亮一瞬间,模型要是花一秒多才算出按键,角色早就走过头了。
为此,米哈游团队专门开发了Streaming-vLLM推理引擎,通过跨轮次复用历史计算缓存、在动作刚生成前几步时就提前下发执行等一系列优化,在H200显卡与Qwen3.5-35B-A3B模型的测试配置下,将单次请求的端到端响应时间由1306毫秒压缩至约65毫秒,提速约20倍。
(H200与Qwen3.5-35B-A3B测试配置下,各项工程优化累计压缩单次请求响应时间的效果)
更值得注意的是,手速快慢还会直接左右AI的训练质量。米哈游团队在8项全程运行的导航任务里做了对比:能实时看画面、下指令的训练组,比每秒仅交互约0.6次的慢速对照组更早拿到奖励增长,最终得分也全面占优;而慢速组在部分任务后期甚至出现了得分回落。
按照研究团队的分析,操作慢半拍会不断累积位置偏差,导致模型在训练时攒下的经验本身就走了样。换句话说,对实时运行的游戏AI来说,反应够不够快,直接关系到它能不能在实战里练出真本事。
(八项导航任务中实时交互组与慢速对照组的训练奖励曲线)
03
放到实际研发里
游戏公司能拿它做什么?
看完这些演示和数据,业内更关心的问题其实是:米哈游费这么大劲教AI玩《星铁》,放到真实的游戏研发里究竟有什么用?现阶段看,最贴近一线痛点的方向之一便是游戏测试(QA)。
每次版本更新,测试团队都要把主支线和日常交互重跑一遍。传统的自动化测试大多要靠写死的脚本或专门接口,一旦地图微调、UI改版,光改脚本就得耗掉不少工夫。
今年7月的CEDEC大会上,Square Enix就分享过一套用生成式AI做自动测试的方案。他们先从开发者和测试人员的实机录像里提取常用操作,再让AI进接近正式版的游戏里看着画面跑流程,哪怕中途站偏了位置也能对照目标画面自己调回来,以此减少维护测试脚本的麻烦,也少依赖专门的调试功能。
相比之下,米哈游在Gamer里拿出了另一种思路:让AI在台前像真人玩家一样只看画面、操作键鼠,同时在后台直接调用游戏引擎,靠内部的任务状态核验目标有没有真正完成,再用内部指令把角色送回同一起点反复测试。
这样一来,这套机制不仅能在训练时准确给AI打分,放到日常版本测试里也很实用:一旦某条支线卡住,测试人员对照AI的按键记录和引擎里的任务状态,就能很快分清到底是角色站偏了没点上对话,还是对话走完了但任务没有正常结算。
放到整个游戏AI领域来看,不同团队眼下的侧重点也不太一样。比如Google DeepMind公布的SIMA 2,主要发力方向是跨游戏适应能力,哪怕放进从未训练过的生存游戏《ASKA》,它也能听懂“找一处篝火”这类指令;不过DeepMind也坦言,长线记忆和精细键鼠操作目前还是难题。
(Google DeepMind展示的SIMA 2在多款3D游戏中的行动画面)
而Gamer虽然在预训练阶段用到了多款游戏的数据,后续的指令微调和强化学习却都集中在《星铁》这一款产品里——换一款新游戏还能保留几成水平目前不好说,但它换来的是能在一款复杂商业RPG里,把几十步的长支线和多类解谜真正跑下来。
两边瞄准的其实不是同一件事:DeepMind更看重模型能不能适应不同游戏,米哈游眼下则更像是先给自家项目练出一个熟门熟路的测试帮手。
当然,这套做法眼下离大规模普及还有不小的成本门槛。做在线强化学习时,米哈游需要同时跑起32台Windows游戏虚拟机,背后还要配64张英伟达H200显卡来支撑推理。同时出于数据安全考虑,团队目前只开源了预训练阶段的模型权重和代码,《星铁》的训练数据以及后续微调出的模型都没有对外公开。
不过回头看,短短一个月内接连拿出GameScaling和Gamer,米哈游在这条路上的推进速度已经相当快。团队也在报告里提到了接下来的方向:一方面靠模型压缩继续把运行成本降下来,拓展到更多3D游戏;另一方面尝试“大模型做深度规划、小模型做实时操作”的分工,补上复杂策略的短板。
等到算力成本降下来、策略能力也补齐之后,这类“只看画面就能玩游戏”的AI,用处或许就不止是在后台帮项目组跑测试、赶版本了。无论是无障碍辅助,还是由此衍生出的新玩法与局内交互,一个能看懂画面、陪玩家一起跑图解谜的AI搭档,未必是一件很遥远的事。
评论 共 0 条 · 0.27s