<p>4D 世界建模的承諾——創建動態、可編輯的現實場景數字雙胞胎——長期以來受到一個根本瓶頸的阻礙：數據。構建高保真 4D 模型通常需要專門的多視角相機設置或繁瑣的離線預處理階段，這嚴重限制了這些系統在策劃實驗室環境之外的泛化能力。</p>
<p>來自中國科學院自動化研究所（CASIA）和 CreateAI 的研究人員發表了一篇新論文，題為《NeoVerse：利用野外單目視頻增強 4D 世界模型》（arXiv:2601.00393v1），提出了一種根本改變範式的解決方案。NeoVerse 是一個多功能的單目 4D 模型，旨在利用最便宜和最豐富的數據源：野外單目視頻。</p>
<p>其核心理念是可擴展性。NeoVerse 不依賴於昂貴的多視角數據或繁重的離線深度估計，而是圍繞一個無姿態、前饋的 4D 高斯點雲重建模型（4DGS）構建。這個設計使得系統能夠以在線方式高效地從稀疏關鍵幀重建動態場景，使整個流程具有足夠的可擴展性，可以在超過一百萬個多樣化的視頻片段上進行訓練。</p>
<p>這種效率直接轉化為性能提升。根據研究人員在 A800 GPU 上的運行時評估，現有的重建生成混合方法如 TrajectoryCrafter 在 81 幀視頻上的推理時間超過 150 秒，而 NeoVerse 在 20 秒內完成任務。</p>
<h2>可擴展性的突破</h2>
<p>使用單目視頻進行 4D 世界建模的關鍵技術挑戰是生成必要的訓練對。生成模型需要學習如何將低質量、幾何降級的渲染（模擬新視角）轉化為高質量的真實視頻。</p>
<p>NeoVerse 通過兩個主要創新來解決這個問題。首先，它在其 4DGS 框架中引入了雙向運動建模。這使得模型能夠在稀疏關鍵幀之間準確插值高斯原語，保持時間一致性，而無需在計算密集的重建階段處理每一幀。</p>
<p>其次，團隊開發了高效的在線單目降級模擬。這些技術——包括基於可見性的高斯剔除（模擬遮擋模式）和平均幾何濾波器（模擬飛邊像素和深度失真）——使得模型能夠實時生成必要的降級渲染條件。通過模擬不完美重建中固有的偽影，生成模型學會抑制這些偽影，從而在偽影抑制方面優於競爭對手。</p>
<p>最終，模型在重建和新軌跡視頻生成基準測試中實現了最先進的性能。至關重要的是，NeoVerse 展示了優越的軌跡可控性——這一特性往往被純生成模型如 ReCamMaster 所犧牲——同時在高難度的動態人類活動中保持高的美學質量。</p>
<p>這種多功能性意味着 NeoVerse 可以處理廣泛的下游應用，包括視頻編輯、穩定、超分辨率和精確模擬。通過使 4D 世界模型的數據源民主化，NeoVerse 代表了向使高保真數字內容創作和具身智能系統在專業實驗室之外可及的重要一步。研究人員計劃公開源代碼。</p>

<p>NeoVerse 是由中國科學院自動化研究所和 CreateAI 的研究人員開發的，旨在通過利用野外單目視頻而非昂貴的多視角設置來解決 4D 世界建模中的可擴展性問題。該創新模型採用無姿態的前饋 4D 高斯點雲重建方法，能夠從稀疏的關鍵幀中高效重建場景。NeoVerse 顯著將 81 幀視頻的推理時間縮短至 20 秒，同時引入了雙向運動建模和在線退化模擬以提升性能。這一突破使高保真數字內容創作的訪問變得更加普及，並計劃公開發布源代碼</p>

<p>The promise of 4D world modeling—creating dynamic, editable digital twins of real-world scenes—has long been hampered by a fundamental bottleneck: data. Building high-fidelity 4D models typically requires specialized, multi-view camera setups or cumbersome, offline pre-processing stages, severely limiting the ability of these systems to generalize beyond curated lab environments.</p>
<div class="lb-trans"><p>4D 世界建模的承諾——創建動態、可編輯的現實場景數字雙胞胎——長期以來受到一個根本瓶頸的阻礙：數據。構建高保真 4D 模型通常需要專門的多視角相機設置或繁瑣的離線預處理階段，這嚴重限制了這些系統在策劃實驗室環境之外的泛化能力。</p>
</div><p>A new paper from researchers at CASIA and CreateAI, titled NeoVerse: Enhancing 4D World Model with in-the-wild Monocular Videos (arXiv:2601.00393v1), proposes a solution that fundamentally shifts the paradigm. NeoVerse is a versatile monocular 4D model designed to leverage the cheapest and most abundant data source available: in-the-wild monocular videos.</p>
<div class="lb-trans"><p>來自中國科學院自動化研究所（CASIA）和 CreateAI 的研究人員發表了一篇新論文，題為《NeoVerse：利用野外單目視頻增強 4D 世界模型》（arXiv:2601.00393v1），提出了一種根本改變範式的解決方案。NeoVerse 是一個多功能的單目 4D 模型，旨在利用最便宜和最豐富的數據源：野外單目視頻。</p>
</div><p>The core philosophy is scalability. Instead of relying on expensive multi-view data or heavy offline depth estimation, NeoVerse is built around a pose-free, feed-forward 4D Gaussian Splatting (4DGS) reconstruction model. This design allows the system to efficiently reconstruct dynamic scenes from sparse key frames in an online manner, making the entire pipeline scalable enough to train on over one million diverse video clips.</p>
<div class="lb-trans"><p>其核心理念是可擴展性。NeoVerse 不依賴於昂貴的多視角數據或繁重的離線深度估計，而是圍繞一個無姿態、前饋的 4D 高斯點雲重建模型（4DGS）構建。這個設計使得系統能夠以在線方式高效地從稀疏關鍵幀重建動態場景，使整個流程具有足夠的可擴展性，可以在超過一百萬個多樣化的視頻片段上進行訓練。</p>
</div><p>This efficiency translates directly to performance gains. While existing reconstruction-generation hybrid methods like TrajectoryCrafter require over 150 seconds for inference on an 81-frame video, NeoVerse completes the task in as little as 20 seconds, according to the researchers’ runtime evaluations on an A800 GPU.</p>
<div class="lb-trans"><p>這種效率直接轉化為性能提升。根據研究人員在 A800 GPU 上的運行時評估，現有的重建生成混合方法如 TrajectoryCrafter 在 81 幀視頻上的推理時間超過 150 秒，而 NeoVerse 在 20 秒內完成任務。</p>
</div><h2>The Scalability Breakthrough</h2>
<div class="lb-trans"><h2>可擴展性的突破</h2>
</div><p>The key technical challenge in using monocular video for 4D world modeling is generating the necessary training pairs. The generation model needs to learn how to turn low-quality, geometrically degraded renderings (simulating novel viewpoints) into high-quality, ground-truth video.</p>
<div class="lb-trans"><p>使用單目視頻進行 4D 世界建模的關鍵技術挑戰是生成必要的訓練對。生成模型需要學習如何將低質量、幾何降級的渲染（模擬新視角）轉化為高質量的真實視頻。</p>
</div><p>NeoVerse addresses this with two major innovations. First, it introduces bidirectional motion modeling within its 4DGS framework. This allows the model to accurately interpolate Gaussian primitives between sparse key frames, maintaining temporal coherence without needing to process every frame during the computationally intensive reconstruction phase.</p>
<div class="lb-trans"><p>NeoVerse 通過兩個主要創新來解決這個問題。首先，它在其 4DGS 框架中引入了雙向運動建模。這使得模型能夠在稀疏關鍵幀之間準確插值高斯原語，保持時間一致性，而無需在計算密集的重建階段處理每一幀。</p>
</div><p>Second, the team developed efficient online monocular degradation simulations. These techniques—including Visibility-based Gaussian Culling (to simulate occlusion patterns) and the Average Geometry Filter (to simulate flying-edge pixels and depth distortions)—allow the model to generate the necessary degraded rendering conditions on the fly. By simulating the artifacts inherent in imperfect reconstruction, the generation model learns to suppress them, leading to superior artifact suppression compared to competitors.</p>
<div class="lb-trans"><p>其次，團隊開發了高效的在線單目降級模擬。這些技術——包括基於可見性的高斯剔除（模擬遮擋模式）和平均幾何濾波器（模擬飛邊像素和深度失真）——使得模型能夠實時生成必要的降級渲染條件。通過模擬不完美重建中固有的偽影，生成模型學會抑制這些偽影，從而在偽影抑制方面優於競爭對手。</p>
</div><p>The result is a model that achieves state-of-the-art performance in both reconstruction and novel-trajectory video generation benchmarks. Crucially, NeoVerse demonstrates superior trajectory controllability—a feature often sacrificed by purely generation-based models like ReCamMaster—while maintaining high aesthetic quality, even for challenging, dynamic human activities.</p>
<div class="lb-trans"><p>最終，模型在重建和新軌跡視頻生成基準測試中實現了最先進的性能。至關重要的是，NeoVerse 展示了優越的軌跡可控性——這一特性往往被純生成模型如 ReCamMaster 所犧牲——同時在高難度的動態人類活動中保持高的美學質量。</p>
</div><p>This versatility means NeoVerse can handle a wide range of downstream applications, including video editing, stabilization, super-resolution, and precise simulation. By democratizing the data source for 4D world models, NeoVerse represents a significant step toward making high-fidelity digital content creation and embodied intelligence systems accessible outside of specialized labs. The researchers plan to make the source code publicly available.</p>
<div class="lb-trans"><p>這種多功能性意味着 NeoVerse 可以處理廣泛的下游應用，包括視頻編輯、穩定、超分辨率和精確模擬。通過使 4D 世界模型的數據源民主化，NeoVerse 代表了向使高保真數字內容創作和具身智能系統在專業實驗室之外可及的重要一步。研究人員計劃公開源代碼。</p>
</div>

NeoVerse 解決了單目 4D 模型的可擴展性問題