<p>4D 世界建模的承诺——创建动态、可编辑的现实场景数字双胞胎——长期以来受到一个根本瓶颈的阻碍：数据。构建高保真 4D 模型通常需要专门的多视角相机设置或繁琐的离线预处理阶段，这严重限制了这些系统在策划实验室环境之外的泛化能力。</p>
<p>来自中国科学院自动化研究所（CASIA）和 CreateAI 的研究人员发表了一篇新论文，题为《NeoVerse：利用野外单目视频增强 4D 世界模型》（arXiv:2601.00393v1），提出了一种根本改变范式的解决方案。NeoVerse 是一个多功能的单目 4D 模型，旨在利用最便宜和最丰富的数据源：野外单目视频。</p>
<p>其核心理念是可扩展性。NeoVerse 不依赖于昂贵的多视角数据或繁重的离线深度估计，而是围绕一个无姿态、前馈的 4D 高斯点云重建模型（4DGS）构建。这个设计使得系统能够以在线方式高效地从稀疏关键帧重建动态场景，使整个流程具有足够的可扩展性，可以在超过一百万个多样化的视频片段上进行训练。</p>
<p>这种效率直接转化为性能提升。根据研究人员在 A800 GPU 上的运行时评估，现有的重建生成混合方法如 TrajectoryCrafter 在 81 帧视频上的推理时间超过 150 秒，而 NeoVerse 在 20 秒内完成任务。</p>
<h2>可扩展性的突破</h2>
<p>使用单目视频进行 4D 世界建模的关键技术挑战是生成必要的训练对。生成模型需要学习如何将低质量、几何降级的渲染（模拟新视角）转化为高质量的真实视频。</p>
<p>NeoVerse 通过两个主要创新来解决这个问题。首先，它在其 4DGS 框架中引入了双向运动建模。这使得模型能够在稀疏关键帧之间准确插值高斯原语，保持时间一致性，而无需在计算密集的重建阶段处理每一帧。</p>
<p>其次，团队开发了高效的在线单目降级模拟。这些技术——包括基于可见性的高斯剔除（模拟遮挡模式）和平均几何滤波器（模拟飞边像素和深度失真）——使得模型能够实时生成必要的降级渲染条件。通过模拟不完美重建中固有的伪影，生成模型学会抑制这些伪影，从而在伪影抑制方面优于竞争对手。</p>
<p>最终，模型在重建和新轨迹视频生成基准测试中实现了最先进的性能。至关重要的是，NeoVerse 展示了优越的轨迹可控性——这一特性往往被纯生成模型如 ReCamMaster 所牺牲——同时在高难度的动态人类活动中保持高的美学质量。</p>
<p>这种多功能性意味着 NeoVerse 可以处理广泛的下游应用，包括视频编辑、稳定、超分辨率和精确模拟。通过使 4D 世界模型的数据源民主化，NeoVerse 代表了向使高保真数字内容创作和具身智能系统在专业实验室之外可及的重要一步。研究人员计划公开源代码。</p>

<p>NeoVerse 是由中国科学院自动化研究所和 CreateAI 的研究人员开发的，旨在通过利用野外单目视频而非昂贵的多视角设置来解决 4D 世界建模中的可扩展性问题。该创新模型采用无姿态的前馈 4D 高斯点云重建方法，能够从稀疏的关键帧中高效重建场景。NeoVerse 显著将 81 帧视频的推理时间缩短至 20 秒，同时引入了双向运动建模和在线退化模拟以提升性能。这一突破使高保真数字内容创作的访问变得更加普及，并计划公开发布源代码</p>

<p>The promise of 4D world modeling—creating dynamic, editable digital twins of real-world scenes—has long been hampered by a fundamental bottleneck: data. Building high-fidelity 4D models typically requires specialized, multi-view camera setups or cumbersome, offline pre-processing stages, severely limiting the ability of these systems to generalize beyond curated lab environments.</p>
<div class="lb-trans"><p>4D 世界建模的承诺——创建动态、可编辑的现实场景数字双胞胎——长期以来受到一个根本瓶颈的阻碍：数据。构建高保真 4D 模型通常需要专门的多视角相机设置或繁琐的离线预处理阶段，这严重限制了这些系统在策划实验室环境之外的泛化能力。</p>
</div><p>A new paper from researchers at CASIA and CreateAI, titled NeoVerse: Enhancing 4D World Model with in-the-wild Monocular Videos (arXiv:2601.00393v1), proposes a solution that fundamentally shifts the paradigm. NeoVerse is a versatile monocular 4D model designed to leverage the cheapest and most abundant data source available: in-the-wild monocular videos.</p>
<div class="lb-trans"><p>来自中国科学院自动化研究所（CASIA）和 CreateAI 的研究人员发表了一篇新论文，题为《NeoVerse：利用野外单目视频增强 4D 世界模型》（arXiv:2601.00393v1），提出了一种根本改变范式的解决方案。NeoVerse 是一个多功能的单目 4D 模型，旨在利用最便宜和最丰富的数据源：野外单目视频。</p>
</div><p>The core philosophy is scalability. Instead of relying on expensive multi-view data or heavy offline depth estimation, NeoVerse is built around a pose-free, feed-forward 4D Gaussian Splatting (4DGS) reconstruction model. This design allows the system to efficiently reconstruct dynamic scenes from sparse key frames in an online manner, making the entire pipeline scalable enough to train on over one million diverse video clips.</p>
<div class="lb-trans"><p>其核心理念是可扩展性。NeoVerse 不依赖于昂贵的多视角数据或繁重的离线深度估计，而是围绕一个无姿态、前馈的 4D 高斯点云重建模型（4DGS）构建。这个设计使得系统能够以在线方式高效地从稀疏关键帧重建动态场景，使整个流程具有足够的可扩展性，可以在超过一百万个多样化的视频片段上进行训练。</p>
</div><p>This efficiency translates directly to performance gains. While existing reconstruction-generation hybrid methods like TrajectoryCrafter require over 150 seconds for inference on an 81-frame video, NeoVerse completes the task in as little as 20 seconds, according to the researchers’ runtime evaluations on an A800 GPU.</p>
<div class="lb-trans"><p>这种效率直接转化为性能提升。根据研究人员在 A800 GPU 上的运行时评估，现有的重建生成混合方法如 TrajectoryCrafter 在 81 帧视频上的推理时间超过 150 秒，而 NeoVerse 在 20 秒内完成任务。</p>
</div><h2>The Scalability Breakthrough</h2>
<div class="lb-trans"><h2>可扩展性的突破</h2>
</div><p>The key technical challenge in using monocular video for 4D world modeling is generating the necessary training pairs. The generation model needs to learn how to turn low-quality, geometrically degraded renderings (simulating novel viewpoints) into high-quality, ground-truth video.</p>
<div class="lb-trans"><p>使用单目视频进行 4D 世界建模的关键技术挑战是生成必要的训练对。生成模型需要学习如何将低质量、几何降级的渲染（模拟新视角）转化为高质量的真实视频。</p>
</div><p>NeoVerse addresses this with two major innovations. First, it introduces bidirectional motion modeling within its 4DGS framework. This allows the model to accurately interpolate Gaussian primitives between sparse key frames, maintaining temporal coherence without needing to process every frame during the computationally intensive reconstruction phase.</p>
<div class="lb-trans"><p>NeoVerse 通过两个主要创新来解决这个问题。首先，它在其 4DGS 框架中引入了双向运动建模。这使得模型能够在稀疏关键帧之间准确插值高斯原语，保持时间一致性，而无需在计算密集的重建阶段处理每一帧。</p>
</div><p>Second, the team developed efficient online monocular degradation simulations. These techniques—including Visibility-based Gaussian Culling (to simulate occlusion patterns) and the Average Geometry Filter (to simulate flying-edge pixels and depth distortions)—allow the model to generate the necessary degraded rendering conditions on the fly. By simulating the artifacts inherent in imperfect reconstruction, the generation model learns to suppress them, leading to superior artifact suppression compared to competitors.</p>
<div class="lb-trans"><p>其次，团队开发了高效的在线单目降级模拟。这些技术——包括基于可见性的高斯剔除（模拟遮挡模式）和平均几何滤波器（模拟飞边像素和深度失真）——使得模型能够实时生成必要的降级渲染条件。通过模拟不完美重建中固有的伪影，生成模型学会抑制这些伪影，从而在伪影抑制方面优于竞争对手。</p>
</div><p>The result is a model that achieves state-of-the-art performance in both reconstruction and novel-trajectory video generation benchmarks. Crucially, NeoVerse demonstrates superior trajectory controllability—a feature often sacrificed by purely generation-based models like ReCamMaster—while maintaining high aesthetic quality, even for challenging, dynamic human activities.</p>
<div class="lb-trans"><p>最终，模型在重建和新轨迹视频生成基准测试中实现了最先进的性能。至关重要的是，NeoVerse 展示了优越的轨迹可控性——这一特性往往被纯生成模型如 ReCamMaster 所牺牲——同时在高难度的动态人类活动中保持高的美学质量。</p>
</div><p>This versatility means NeoVerse can handle a wide range of downstream applications, including video editing, stabilization, super-resolution, and precise simulation. By democratizing the data source for 4D world models, NeoVerse represents a significant step toward making high-fidelity digital content creation and embodied intelligence systems accessible outside of specialized labs. The researchers plan to make the source code publicly available.</p>
<div class="lb-trans"><p>这种多功能性意味着 NeoVerse 可以处理广泛的下游应用，包括视频编辑、稳定、超分辨率和精确模拟。通过使 4D 世界模型的数据源民主化，NeoVerse 代表了向使高保真数字内容创作和具身智能系统在专业实验室之外可及的重要一步。研究人员计划公开源代码。</p>
</div>

NeoVerse 解决了单目 4D 模型的可扩展性问题