字節(jié)AI智能體Lumine登場：自主通關(guān)原神，還能玩崩鐵？

VR三千世界 · 發(fā)表于 2025-11-17 15:25

本帖最后由八云紅于 2025-11-17 15:53 編輯

11月17日消息，AI玩游戲已經(jīng)不稀奇了，但能自主玩《原神》這種大型3D開放世界游戲的AI智能體你見過嗎？近日，字節(jié)Seed團隊就推出了一個名為Lumine的通用AI智能體。據(jù)官方介紹，這個Lumine智能體在《原神》世界中訓練，能夠?qū)崟r感知、思考并行動，自主完成游戲中長達數(shù)小時的復雜任務(wù)。

在《原神》世界中訓練，展現(xiàn)出色泛化能力

Lumine在《原神》的蒙德地區(qū)表現(xiàn)很亮眼，成功完成了長達五小時、共三幕的主線劇情。值得一提的是，它的推理訓練只基于第一幕內(nèi)容，但仍能自主推進并完整通關(guān)整個章節(jié)。

在完全未經(jīng)訓練的璃月地區(qū)，Lumine也展現(xiàn)了出色的泛化能力，成功抵達并完成了璃月港的主線任務(wù)，甚至還拜訪了深山中的仙人居所。

字節(jié)AI智能體Lumine登場：自主通關(guān)原神，還能玩崩鐵？

跨游戲泛化：自主游玩《崩壞：星穹鐵道》和《鳴潮》

這個AI智能體的泛化能力不止于《原神》。無需任何額外微調(diào)或修改，Lumine成功在《崩壞：星穹鐵道》中通關(guān)了黑塔空間站的第一章全部主線任務(wù)（約7小時），并在《鳴潮》中完成了約100分鐘的主線劇情?？梢韵胂螅院笥?a href="http://ahydgy.cn/bbs-86-1.html" target="_blank" class="relatedlink">投影儀大屏，比如當貝X7 Max這類支持低延遲游戲模式的設(shè)備，觀看AI自己跑圖做任務(wù)，可能會成為一種新的“直播”形式。

Lumine是如何實現(xiàn)自主游玩的？

Lumine采用的是類人交互范式，基于視覺-語言模型驅(qū)動。它以5Hz處理原始圖像，并以30Hz生成精確的鍵鼠操作，僅在必要時進行思考。

它的學習過程也很有意思：

先用1731小時的人類游戲數(shù)據(jù)預訓練，學會根據(jù)游戲畫面輸出鍵鼠操作；

再用200小時的指令跟隨數(shù)據(jù)，將語言和操作對應(yīng)；

最后用15小時的推理數(shù)據(jù)，讓模型具備靈活思考能力。

最終，這個Lumine智能體不僅能完成持續(xù)數(shù)小時的任務(wù)，還能在3D開放世界探索和2D GUI圖形界面操作中，執(zhí)行收集、戰(zhàn)斗、解謎和NPC交互等多種任務(wù)。

掌握戰(zhàn)斗與解謎，統(tǒng)一2D與3D操作

得益于大規(guī)模的預訓練，Lumine掌握了關(guān)鍵的戰(zhàn)斗技能，能夠動態(tài)追蹤敵人、用弓箭精準擊中遠處目標、流暢地切換角色進行連招攻擊，并高效地尋找和開啟戰(zhàn)斗后解鎖的寶箱。

除了日常戰(zhàn)斗，Lumine還展現(xiàn)出對Boss機制較強的理解和應(yīng)對能力，能夠躲避Boss的攻擊并且使用對應(yīng)的策略擊敗Boss。它還能應(yīng)對游戲中的各種解謎，這通常需要對游戲機制有深入的理解和精確的底層操作控制。

此外，Lumine還能像人一樣通過鼠標相對移動的方式進行可靠的GUI操作，實現(xiàn)了2D界面和3D世界的統(tǒng)一，這對于通用智能體來說至關(guān)重要。

官方還提到，Lumine展現(xiàn)出了強大的上下文學習能力，如果在指令中提供任務(wù)的先驗信息或者更細的分解步驟，Lumine可以完成一系列之前不能完成的更復雜的任務(wù)。

檸檬和少年 · 發(fā)表于 2025-12-5 17:10

和刷日常的腳本有區(qū)別嗎

› 綜合交流 / 資源分享區(qū) › 綜合交流大區(qū)