【太平洋科技快讯】5月13日,昆仑万维宣布,旗下 Matrix 系列的交互式世界生成方向正式落地,推出 Matrix-Game 大模型(17B),并开源其核心代码。Matrix-Game 是工业界首个开源的 10B 空间智能大模型,专为游戏世界建模而设计,致力于在开放式环境中实现高质量的内容生成与精确控制。
Matrix-Game 的目标是为游戏开发者和 AI 爱好者提供一个强大的工具,用于构建和探索交互式虚拟世界。该模型基于先进的技术,能够理解和学习复杂环境中的动态变化和交互模式,从而生成连贯、可控的游戏体验。
Matrix-Game 的功能源于其三大核心组件:
Matrix-Game-MC 数据集: 该数据集由昆仑万维自主构建,包含海量 Minecraft 游戏视频数据,分为无标签的大规模视频和带有控制信号的精细标注视频。
Matrix-Game 主模型: 基于先进的扩散模型技术,Matrix-Game 主模型构建了一个从图像到世界的生成框架。该框架能够根据用户的输入,例如键盘指令和鼠标移动,生成连贯且可控的互动视频,在视觉质量、时序一致性和物理合理性方面达到了出色的平衡。
GameWorld Score 评测体系: 昆仑万维提出了这一统一的游戏交互世界评估标准,从视频的视觉质量、时序质量、动作可控性和物理规则理解四个维度全面量化模型性能。该评测体系的提出,填补了该领域缺乏系统性评测基准的空白。
Matrix-Game 能够在多种 Minecraft 场景下实现可控生成,包括森林、沙滩、沙漠、冰川、河流和平原等。用户可以通过键盘和鼠标输入指令,例如使用方向键控制角色移动,空格键跳跃,攻击键攻击,以及鼠标控制视角,来操控游戏中的角色。Matrix-Game 能够根据这些指令生成相应的游戏世界视频,支持角色的前后左右移动、跳跃、攻击以及视角变换等动态行为。
此外,Matrix-Game 还支持自回归式的长视频生成,这意味着它能够实现动作与视角之间的丝滑衔接,并在时间一致性和环境适应性方面表现出色。这一特性为开发沉浸式长时体验、创意内容生成以及游戏设计等应用奠定了坚实的模型基础。