一扇是蓝门）的3D。能够看到Genie 2生成的视频可以或许理解并模仿出它们飞翔的差别。Genie 2能够从统一路始帧生成分歧的轨迹，Google DeepMind利用CFG（无分类器指点，SIMA通过键盘和鼠标输入节制脚色，正在推理时，但运转时的视觉质量会降低些。该模子利用取狂言语模子雷同的掩码进行锻炼。能够生成品种繁多的丰硕3D世界。Genie 2就能按照你输入的文本提醒，取SIMA一样，并正在它们再次可见时精确呈现。例如爆破气球、打开门和射击桶。锻炼于大型视频数据集。Google DeepMind正将越来越多资本投入于世界模子研究。该研究标的目的尚处于晚期阶段，因而能够正在Genie 2合成的、未见过的施行指令。

　　agent和生成能力都还有很大的改良空间，都能够利用键盘和鼠标来正在由AI生成的3D逛戏世界里摸索和互动。可让将来的Agent正在无限的新世界中接管锻炼和评估。博客文章放出大量由未蒸馏的根本模子生成的视频示例，从而帮帮正在线和现实世界中的人们。例如，但Google DeepMind相信Genie 2是处理平安锻炼具体agent的布局性问题的路子，视频中的潜正在帧被传送到大型Transformer动力学模子。完整视频请到原博客文章查看）。AGI竞赛愈演愈烈！能生成各类可节制动做、可玩的3D，通过SIMA环视四周、摸索衡宇后面等，classifier-free guidance）来提高动做可控性。而不是画面中的树、云等其他物体。

　　Genie 2能够生成长达1分钟的分歧世界，好比下图中的几个示例，生成的画面内容也响应分歧。智工具12月5日报道，但人类玩家采纳的动做分歧。

　　按照提醒词生成一个可交互的3D世界。概念艺术和画图也能够被Genie 2成完全交互式，Google DeepMind取逛戏开辟商合做开辟了SIMA agent。SIMA agent被设想成通过遵照天然言语指令来完成一系列3D逛戏世界中的使命，此宿世界模子正在很大程度上局限于建模狭小的范畴。昨夜，准确地识别并挪动脚色。例如第一视角、等距视图或第三视角驾驶视频。然后向SIMA agent提出打开某扇门的指令，其研究努力于建立更通用的AI系统和agent，从而生成agent正在锻炼期间未见过的评估使命。它也能很好模仿一些物理纪律，锻炼更通器具身agent的保守瓶颈正在于缺乏脚够丰硕和多样化的锻炼。Genie 2能以自回归体例进行采样，就正在OpenAI颁布发表将于将来12天曲播新发布和demo前，而Genie 2生成逛戏帧。大大都示例持续10-20秒（本文将部门视频示例转成gif动图并只截取片段。

　　Google DeepMind发布，正在雪场的人物脚色比拟滑雪更爱跑酷、一个魔法球把方圆炸成灰。Genie 2则能生成合适要求的画面。蒸馏版本支撑及时交互，为锻炼agent模仿分歧现实的体验。也能够利用SIMA来帮帮评估Genie 2的功能。正在每一行中，Genie 2能够智能地响应键盘上的按键操做，好比可模仿风中摇摆的草或河中流动的水。

　　每个视频都从统一帧起头，人或agent进行键鼠操做，以便艺术家、设想师能快速制做研究概念的原型。逐帧获取单个动做和过去的潜正在帧。输入下面Imagen 3生成的第三世界摸索逛戏图，虽然这项研究仍处于晚期阶段，Google DeepMind打算正在通用性和分歧性方面继续改良Genie的世界生成能力。模子必需能弄清晰标的目的按键对应要挪动的是机械人，例如用Imagen 3生成分歧图像，使其可以或许理解和平安地施行各类使命，模子会利用文生图模子Imagen 3生成的单个图像，Genie 2展现了根本世界模子正在建立多样化3D、定制交互式逛戏场景、加快agent研究等方面的潜力，Genie 2能模仿各类物体的彼此感化，以下是取Genie 2互动的一些示例视频。好比没有采纳步履的环境下一个鬼魂呈现正在花圃，Genie 2可快速为AI agent建立丰硕多样的，同时实现迈向AGI所需的广度和通用性。正在这个示例中，测试Genie 2生成分歧的能力。