<p>蘋果的人工智能研究團隊開發了一種新模型，可以顯著提升機器感知深度的能力，潛在地改變從增強現實到自動駕駛等各行各業。</p>
<p>這一系統名為 Depth Pro，能夠在幾分之一秒內從單個 2D 圖像生成詳細的 3D 深度圖，而無需依賴傳統上用於進行此類預測的相機數據。</p>
<p>這項技術在一篇名為 “Depth Pro: Sharp Monocular Metric Depth in Less Than a Second” 的研究論文中詳細介紹，是單目深度估計領域的一大飛躍，這一過程僅使用一張圖像來推斷深度。</p>
<p>這可能在需要實時空間意識至關重要的各個領域具有廣泛的應用。由 Aleksei Bochkovskii 和 Vladlen Koltun 領導的模型創造者們將 Depth Pro 描述為同類系統中速度最快、最準確的系統之一。</p>
<p><img src="https://imageproxy.pbkrs.com/https://venturebeat.com/wp-content/uploads/2024/10/Screenshot-2024-10-04-at-11.26.12%E2%80%AFAM.png/query-dz01ODQ?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" alt="" original-src="https://imageproxy.pbkrs.com/https://venturebeat.com/wp-content/uploads/2024/10/Screenshot-2024-10-04-at-11.26.12%E2%80%AFAM.png/query-dz01ODQ"/></p>
<p>對比了蘋果的 Depth Pro、Marigold、Depth Anything v2 和 Metric3D v2 的深度圖。Depth Pro 在捕捉毛髮和鳥籠線等細節方面表現出色，僅用 0.3 秒就能生成清晰、高分辨率的深度圖，準確性和細節方面優於其他模型。（來源：arxiv.org）</p>
<p>長期以來，單目深度估計一直是一項具有挑戰性的任務，需要多張圖像或像焦距這樣的元數據來準確測量深度。</p>
<p>但 Depth Pro 繞過了這些要求，在標準 GPU 上僅用 0.3 秒就能生成高分辨率的深度圖。該模型可以創建具有異常清晰度的 225 萬像素地圖，捕捉甚至其他方法經常忽略的頭髮和植被等細微細節。</p>
<p>研究人員在論文中解釋説：“這些特性得益於多項技術貢獻，包括用於密集預測的高效多尺度視覺變換器。” 這種架構使模型能夠同時處理圖像的整體背景和更細節的部分，這是一個巨大的進步，超越了之前速度較慢、不夠精確的模型。</p>
<p><img src="https://imageproxy.pbkrs.com/https://venturebeat.com/wp-content/uploads/2024/10/Screenshot-2024-10-04-at-11.34.18%E2%80%AFAM.png/query-dz01MzM?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" alt="" original-src="https://imageproxy.pbkrs.com/https://venturebeat.com/wp-content/uploads/2024/10/Screenshot-2024-10-04-at-11.34.18%E2%80%AFAM.png/query-dz01MzM"/></p>
<p>對比了蘋果的 Depth Pro、Depth Anything v2、Marigold 和 Metric3D v2 的深度圖。Depth Pro 在捕捉鹿毛、風車葉片和斑馬條紋等細節方面表現出色，僅用 0.3 秒就能生成清晰、高分辨率的深度圖。（來源：arxiv.org）</p>
<h2>度量深度，零樣本學習</h2>
<p>真正讓 Depth Pro 脱穎而出的是其估計相對深度和絕對深度的能力，這種能力稱為 “度量深度”。</p>
<p>這意味着該模型可以提供真實世界的測量值，這對於增強現實（AR）等應用至關重要，其中虛擬對象需要精確放置在物理空間內。</p>
<p>而 Depth Pro 不需要在特定領域數據集上進行大量訓練以進行準確預測，這一特性被稱為 “零樣本學習”。這使得該模型非常靈活，可以應用於各種圖像，而無需深度估計模型通常需要的特定相機數據。</p>
<p>作者解釋説：“Depth Pro 在 ‘野外’ 的任意圖像上生成具有絕對尺度的度量深度圖，而無需相機內參等元數據。” 這種靈活性為各種可能性打開了大門，從增強 AR 體驗到提高自動駕駛車輛檢測和避障能力。</p>
<p>對於那些想親身體驗 Depth Pro 的人，可以在 Hugging Face 平台上進行實時演示。</p>
<p><img src="https://imageproxy.pbkrs.com/https://venturebeat.com/wp-content/uploads/2024/10/Screenshot-2024-10-04-at-11.35.50%E2%80%AFAM.png/query-dz04MDA?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" alt="" original-src="https://imageproxy.pbkrs.com/https://venturebeat.com/wp-content/uploads/2024/10/Screenshot-2024-10-04-at-11.35.50%E2%80%AFAM.png/query-dz04MDA"/></p>
<p>對比了多個數據集上的深度估計模型。蘋果的 Depth Pro 在整體上排名最高，平均排名為 2.5，在各種場景中的準確性超過了 Depth Anything v2 和 Metric3D 等模型。（來源：arxiv.org）</p>
<h2>實際應用：從電子商務到自動駕駛車輛</h2>
<p>這種多功能性對各個行業都有重要影響。例如，在電子商務中，Depth Pro 可以讓消費者通過簡單地將手機攝像頭對準房間，看到傢俱在家中的擺放情況。在汽車行業，能夠從單個攝像頭生成實時、高分辨率的深度圖，可以改善自動駕駛汽車感知環境的能力，提升導航和安全性。</p>
<p>研究人員寫道：“該方法理想情況下應在這種零樣本情況下生成具有絕對尺度的度量深度圖，以準確重現物體形狀、場景佈局和絕對尺度。” 強調了該模型減少與訓練更傳統的 AI 模型相關的時間和成本的潛力。</p>
<h2>度量深度估計的挑戰</h2>
<p>深度估計中最棘手的挑戰之一是處理所謂的 “飛行像素”——由於深度映射錯誤而看起來漂浮在半空中的像素。Depth Pro 直面這個問題，使其在 3D 重建和虛擬環境等應用中特別有效，其中準確性至關重要。</p>
<p>此外，Depth Pro 在邊界跟蹤方面表現出色，優於以前的模型，能夠清晰地勾畫出物體及其邊緣。研究人員聲稱它在邊界準確性方面超過其他系統 “乘法因子”，這對於需要精確物體分割的應用非常關鍵，如圖像摳像和醫學成像。</p>
<h2>開源並準備擴展</h2>
<p>為了加速其採用，蘋果已經將 Depth Pro 開源。代碼以及預訓練模型權重都可以在 GitHub 上找到，允許開發人員和研究人員對這項技術進行實驗和進一步完善。存儲庫包括從模型架構到預訓練檢查點的所有內容，使其他人可以輕鬆構建在蘋果工作基礎上的工作。</p>
<p>研究團隊還鼓勵進一步探索 Depth Pro 在機器人、製造和醫療等領域的潛力。作者們寫道：“我們在 https://github.com/apple/ml-depth-pro 上發佈了代碼和權重”，表明這只是該模型的一個開始。</p>
<h2>人工智能深度感知的下一步發展</h2>
<p>隨着人工智能不斷推動可能性的邊界，Depth Pro 在單目深度估計的速度和準確性方面樹立了新的標準。它能夠從單張圖像生成高質量、實時的深度圖，可能對依賴空間感知的各行業產生廣泛影響。</p>
<p>在人工智能日益成為決策和產品開發的核心的今天，Depth Pro 展示了前沿研究如何轉化為實用的現實解決方案。無論是改善機器感知周圍環境的方式，還是增強消費者體驗，Depth Pro 的潛在用途廣泛而多樣。</p>
<p>研究人員總結道：“Depth Pro 在物體邊界的清晰劃分方面遠遠優於以往所有工作，包括頭髮、毛髮和植被等細微結構。” 通過開源發佈，Depth Pro 很快可能成為從自動駕駛到增強現實等各行業不可或缺的技術，改變機器和人與 3D 環境互動的方式。</p>

蘋果

<p>蘋果推出了 Depth Pro，這是一款人工智能模型，通過僅需 0.3 秒即可從單張圖像生成高分辨率深度圖，無需相機元數據，從而徹底改變了 3D 深度估計技術。這項技術提升了增強現實和自動駕駛等應用的性能，提供真實世界的測量數據和出色的細節。Depth Pro 具有零-shot 學習能力，可以在各種圖像上運行，無需大量訓練。該模型解決了深度估計中的挑戰，如飛行像素，並且是開源的，促進了各行業對其廣泛採用</p>

<p>Apple’s AI research team has developed a new model that could significantly advance how machines perceive depth, potentially transforming industries ranging from augmented reality to autonomous vehicles.</p>
<div class="lb-trans"><p>蘋果的人工智能研究團隊開發了一種新模型，可以顯著提升機器感知深度的能力，潛在地改變從增強現實到自動駕駛等各行各業。</p>
</div><p>The system, calledDepth Pro, is able to generate detailed 3D depth maps from single 2D images in a fraction of a second—without relying on the camera data traditionally needed to make such predictions.</p>
<div class="lb-trans"><p>這一系統名為 Depth Pro，能夠在幾分之一秒內從單個 2D 圖像生成詳細的 3D 深度圖，而無需依賴傳統上用於進行此類預測的相機數據。</p>
</div><p>The technology, detailed in a research paper titled <em>“Depth Pro: Sharp Monocular Metric Depth in Less Than a Second,”</em> is a major leap forward in the field of monocular depth estimation, a process that uses just one image to infer depth.</p>
<div class="lb-trans"><p>這項技術在一篇名為 “Depth Pro: Sharp Monocular Metric Depth in Less Than a Second” 的研究論文中詳細介紹，是單目深度估計領域的一大飛躍，這一過程僅使用一張圖像來推斷深度。</p>
</div><p>This could have far-reaching applications across sectors where real-time spatial awareness is key. The model’s creators, led by Aleksei Bochkovskii and Vladlen Koltun, describeDepth Proas one of the fastest and most accurate systems of its kind.</p>
<div class="lb-trans"><p>這可能在需要實時空間意識至關重要的各個領域具有廣泛的應用。由 Aleksei Bochkovskii 和 Vladlen Koltun 領導的模型創造者們將 Depth Pro 描述為同類系統中速度最快、最準確的系統之一。</p>
</div><p><img src="https://imageproxy.pbkrs.com/https://venturebeat.com/wp-content/uploads/2024/10/Screenshot-2024-10-04-at-11.26.12 AM.png/query-dz01ODQ" alt="" original-src="https://venturebeat.com/wp-content/uploads/2024/10/Screenshot-2024-10-04-at-11.26.12%E2%80%AFAM.png?w=584"/></p>
<p>A comparison of depth maps from Apple’s Depth Pro, Marigold, Depth Anything v2, and Metric3D v2. Depth Pro excels in capturing fine details like fur and birdcage wires, producing sharp, high-resolution depth maps in just 0.3 seconds, outperforming other models in accuracy and detail. (credit: arxiv.org)</p>
<div class="lb-trans"><p>對比了蘋果的 Depth Pro、Marigold、Depth Anything v2 和 Metric3D v2 的深度圖。Depth Pro 在捕捉毛髮和鳥籠線等細節方面表現出色，僅用 0.3 秒就能生成清晰、高分辨率的深度圖，準確性和細節方面優於其他模型。（來源：arxiv.org）</p>
</div><p>Monocular depth estimation has long been a challenging task, requiring either multiple images or metadata like focal lengths to accurately gauge depth.</p>
<div class="lb-trans"><p>長期以來，單目深度估計一直是一項具有挑戰性的任務，需要多張圖像或像焦距這樣的元數據來準確測量深度。</p>
</div><p>ButDepth Probypasses these requirements, producing high-resolution depth maps in just 0.3 seconds on a standard GPU. The model can create 2.25-megapixel maps with exceptional sharpness, capturing even minute details like hair and vegetation that are often overlooked by other methods.</p>
<div class="lb-trans"><p>但 Depth Pro 繞過了這些要求，在標準 GPU 上僅用 0.3 秒就能生成高分辨率的深度圖。該模型可以創建具有異常清晰度的 225 萬像素地圖，捕捉甚至其他方法經常忽略的頭髮和植被等細微細節。</p>
</div><p>“These characteristics are enabled by a number of technical contributions, including an efficient multi-scale vision transformer for dense prediction,” the researchers explain in their paper. This architecture allows the model to process both the overall context of an image and its finer details simultaneously—an enormous leap from slower, less precise models that came before it.</p>
<div class="lb-trans"><p>研究人員在論文中解釋説：“這些特性得益於多項技術貢獻，包括用於密集預測的高效多尺度視覺變換器。” 這種架構使模型能夠同時處理圖像的整體背景和更細節的部分，這是一個巨大的進步，超越了之前速度較慢、不夠精確的模型。</p>
</div><p><img src="https://imageproxy.pbkrs.com/https://venturebeat.com/wp-content/uploads/2024/10/Screenshot-2024-10-04-at-11.34.18 AM.png/query-dz01MzM" alt="" original-src="https://venturebeat.com/wp-content/uploads/2024/10/Screenshot-2024-10-04-at-11.34.18%E2%80%AFAM.png?w=533"/></p>
<p>A comparison of depth maps from Apple’s Depth Pro, Depth Anything v2, Marigold, and Metric3D v2. Depth Pro excels in capturing fine details like the deer’s fur, windmill blades, and zebra’s stripes, delivering sharp, high-resolution depth maps in 0.3 seconds. (credit: arxiv.org)</p>
<div class="lb-trans"><p>對比了蘋果的 Depth Pro、Depth Anything v2、Marigold 和 Metric3D v2 的深度圖。Depth Pro 在捕捉鹿毛、風車葉片和斑馬條紋等細節方面表現出色，僅用 0.3 秒就能生成清晰、高分辨率的深度圖。（來源：arxiv.org）</p>
</div><h2>Metric depth, zero-shot learning</h2>
<div class="lb-trans"><h2>度量深度，零樣本學習</h2>
</div><p>What truly setsDepth Proapart is its ability to estimate both relative and absolute depth, a capability called “metric depth.”</p>
<div class="lb-trans"><p>真正讓 Depth Pro 脱穎而出的是其估計相對深度和絕對深度的能力，這種能力稱為 “度量深度”。</p>
</div><p>This means that the model can provide real-world measurements, which is essential for applications like augmented reality (AR), where virtual objects need to be placed in precise locations within physical spaces.</p>
<div class="lb-trans"><p>這意味着該模型可以提供真實世界的測量值，這對於增強現實（AR）等應用至關重要，其中虛擬對象需要精確放置在物理空間內。</p>
</div><p>AndDepth Prodoesn’t require extensive training on domain-specific datasets to make accurate predictions—a feature known as “zero-shot learning.” This makes the model highly versatile. It can be applied to a wide range of images, without the need for the camera-specific data usually required in depth estimation models.</p>
<div class="lb-trans"><p>而 Depth Pro 不需要在特定領域數據集上進行大量訓練以進行準確預測，這一特性被稱為 “零樣本學習”。這使得該模型非常靈活，可以應用於各種圖像，而無需深度估計模型通常需要的特定相機數據。</p>
</div><p>“Depth Pro produces metric depth maps with absolute scale on arbitrary images ‘in the wild’ without requiring metadata such as camera intrinsics,” the authors explain. This flexibility opens up a world of possibilities, from enhancing AR experiences to improving autonomous vehicles’ ability to detect and navigate obstacles.</p>
<div class="lb-trans"><p>作者解釋説：“Depth Pro 在 ‘野外’ 的任意圖像上生成具有絕對尺度的度量深度圖，而無需相機內參等元數據。” 這種靈活性為各種可能性打開了大門，從增強 AR 體驗到提高自動駕駛車輛檢測和避障能力。</p>
</div><p>For those curious to experience Depth Pro firsthand, a live demo is available on the Hugging Face platform.</p>
<div class="lb-trans"><p>對於那些想親身體驗 Depth Pro 的人，可以在 Hugging Face 平台上進行實時演示。</p>
</div><p><img src="https://imageproxy.pbkrs.com/https://venturebeat.com/wp-content/uploads/2024/10/Screenshot-2024-10-04-at-11.35.50 AM.png/query-dz04MDA" alt="" original-src="https://venturebeat.com/wp-content/uploads/2024/10/Screenshot-2024-10-04-at-11.35.50%E2%80%AFAM.png?w=800"/></p>
<p>A comparison of depth estimation models across multiple datasets. Apple’s Depth Pro ranks highest overall with an average rank of 2.5, outperforming models like Depth Anything v2 and Metric3D in accuracy across diverse scenarios. (credit: arxiv.org)</p>
<div class="lb-trans"><p>對比了多個數據集上的深度估計模型。蘋果的 Depth Pro 在整體上排名最高，平均排名為 2.5，在各種場景中的準確性超過了 Depth Anything v2 和 Metric3D 等模型。（來源：arxiv.org）</p>
</div><h2>Real-world applications: From e-commerce to autonomous vehicles</h2>
<div class="lb-trans"><h2>實際應用：從電子商務到自動駕駛車輛</h2>
</div><p>This versatility has significant implications for various industries. In e-commerce, for example,Depth Procould allow consumers to see how furniture fits in their home by simply pointing their phone’s camera at the room. In the automotive industry, the ability to generate real-time, high-resolution depth maps from a single camera could improve how self-driving cars perceive their environment, boosting navigation and safety.</p>
<div class="lb-trans"><p>這種多功能性對各個行業都有重要影響。例如，在電子商務中，Depth Pro 可以讓消費者通過簡單地將手機攝像頭對準房間，看到傢俱在家中的擺放情況。在汽車行業，能夠從單個攝像頭生成實時、高分辨率的深度圖，可以改善自動駕駛汽車感知環境的能力，提升導航和安全性。</p>
</div><p>“The method should ideally produce metric depth maps in this zero-shot regime to accurately reproduce object shapes, scene layouts, and absolute scales,” the researchers write, emphasizing the model’s potential to reduce the time and cost associated with training more conventional AI models.</p>
<div class="lb-trans"><p>研究人員寫道：“該方法理想情況下應在這種零樣本情況下生成具有絕對尺度的度量深度圖，以準確重現物體形狀、場景佈局和絕對尺度。” 強調了該模型減少與訓練更傳統的 AI 模型相關的時間和成本的潛力。</p>
</div><h2>Tackling the challenges of depth estimation</h2>
<div class="lb-trans"><h2>度量深度估計的挑戰</h2>
</div><p>One of the toughest challenges in depth estimation is handling what are known as “flying pixels”—pixels that appear to float in mid-air due to errors in depth mapping.Depth Protackles this issue head-on, making it particularly effective for applications like 3D reconstruction and virtual environments, where accuracy is paramount.</p>
<div class="lb-trans"><p>深度估計中最棘手的挑戰之一是處理所謂的 “飛行像素”——由於深度映射錯誤而看起來漂浮在半空中的像素。Depth Pro 直面這個問題，使其在 3D 重建和虛擬環境等應用中特別有效，其中準確性至關重要。</p>
</div><p>Additionally,Depth Proexcels in boundary tracing, outperforming previous models in sharply delineating objects and their edges. The researchers claim it surpasses other systems “by a multiplicative factor in boundary accuracy,” which is key for applications that require precise object segmentation, such as image matting and medical imaging.</p>
<div class="lb-trans"><p>此外，Depth Pro 在邊界跟蹤方面表現出色，優於以前的模型，能夠清晰地勾畫出物體及其邊緣。研究人員聲稱它在邊界準確性方面超過其他系統 “乘法因子”，這對於需要精確物體分割的應用非常關鍵，如圖像摳像和醫學成像。</p>
</div><h2>Open-source and ready to scale</h2>
<div class="lb-trans"><h2>開源並準備擴展</h2>
</div><p>In a move that could accelerate its adoption, Apple has madeDepth Proopen-source. The code, along with pre-trained model weights, is available on GitHub, allowing developers and researchers to experiment with and further refine the technology. The repository includes everything from the model’s architecture to pretrained checkpoints, making it easy for others to build on Apple’s work.</p>
<div class="lb-trans"><p>為了加速其採用，蘋果已經將 Depth Pro 開源。代碼以及預訓練模型權重都可以在 GitHub 上找到，允許開發人員和研究人員對這項技術進行實驗和進一步完善。存儲庫包括從模型架構到預訓練檢查點的所有內容，使其他人可以輕鬆構建在蘋果工作基礎上的工作。</p>
</div><p>The research team is also encouraging further exploration ofDepth Pro’s potential in fields like robotics, manufacturing, and healthcare. “We release code and weights athttps://github.com/apple/ml-depth-pro,” the authors write, signaling this as just the beginning for the model.</p>
<div class="lb-trans"><p>研究團隊還鼓勵進一步探索 Depth Pro 在機器人、製造和醫療等領域的潛力。作者們寫道：“我們在 https://github.com/apple/ml-depth-pro 上發佈了代碼和權重”，表明這只是該模型的一個開始。</p>
</div><h2>What’s next for AI depth perception</h2>
<div class="lb-trans"><h2>人工智能深度感知的下一步發展</h2>
</div><p>As artificial intelligence continues to push the boundaries of what’s possible, <em>Depth Pro</em> sets a new standard in speed and accuracy for monocular depth estimation. Its ability to generate high-quality, real-time depth maps from a single image could have wide-ranging effects across industries that rely on spatial awareness.</p>
<div class="lb-trans"><p>隨着人工智能不斷推動可能性的邊界，Depth Pro 在單目深度估計的速度和準確性方面樹立了新的標準。它能夠從單張圖像生成高質量、實時的深度圖，可能對依賴空間感知的各行業產生廣泛影響。</p>
</div><p>In a world where AI is increasingly central to decision-making and product development, <em>Depth Pro</em> exemplifies how cutting-edge research can translate into practical, real-world solutions. Whether it’s improving how machines perceive their surroundings or enhancing consumer experiences, the potential uses for <em>Depth Pro</em> are broad and varied.</p>
<div class="lb-trans"><p>在人工智能日益成為決策和產品開發的核心的今天，Depth Pro 展示了前沿研究如何轉化為實用的現實解決方案。無論是改善機器感知周圍環境的方式，還是增強消費者體驗，Depth Pro 的潛在用途廣泛而多樣。</p>
</div><p>As the researchers conclude, “Depth Pro dramatically outperforms all prior work in sharp delineation of object boundaries, including fine structures such as hair, fur, and vegetation.” With its open-source release, <em>Depth Pro</em> could soon become integral to industries ranging from autonomous driving to augmented reality—transforming how machines and people interact with 3D environments.</p>
<div class="lb-trans"><p>研究人員總結道：“Depth Pro 在物體邊界的清晰劃分方面遠遠優於以往所有工作，包括頭髮、毛髮和植被等細微結構。” 通過開源發佈，Depth Pro 很快可能成為從自動駕駛到增強現實等各行業不可或缺的技術，改變機器和人與 3D 環境互動的方式。</p>
</div>

Apple releases Depth Pro, an AI model that rewrites the rules of 3D vision

- Apple 的 AI 研究團隊開發了 Depth Pro 模型，能從單張 2D 圖像生成 3D 深度圖。  
- 該技術在深度估計領域取得重大突破，適用於增強現實和自動駕駛等行業。  
- Depth Pro 以 0.3 秒的速度生成高分辨率深度圖，具有廣泛的應用潛力。  

蘋果發佈了 Depth Pro，這是一款重塑 3D 視覺規則的 AI 模型