<p>苹果的人工智能研究团队开发了一种新模型，可以显著提升机器感知深度的能力，潜在地改变从增强现实到自动驾驶等各行各业。</p>
<p>这一系统名为 Depth Pro，能够在几分之一秒内从单个 2D 图像生成详细的 3D 深度图，而无需依赖传统上用于进行此类预测的相机数据。</p>
<p>这项技术在一篇名为 “Depth Pro: Sharp Monocular Metric Depth in Less Than a Second” 的研究论文中详细介绍，是单目深度估计领域的一大飞跃，这一过程仅使用一张图像来推断深度。</p>
<p>这可能在需要实时空间意识至关重要的各个领域具有广泛的应用。由 Aleksei Bochkovskii 和 Vladlen Koltun 领导的模型创造者们将 Depth Pro 描述为同类系统中速度最快、最准确的系统之一。</p>
<p><img src="https://imageproxy.pbkrs.com/https://venturebeat.com/wp-content/uploads/2024/10/Screenshot-2024-10-04-at-11.26.12%E2%80%AFAM.png/query-dz01ODQ?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" alt="" original-src="https://imageproxy.pbkrs.com/https://venturebeat.com/wp-content/uploads/2024/10/Screenshot-2024-10-04-at-11.26.12%E2%80%AFAM.png/query-dz01ODQ"/></p>
<p>对比了苹果的 Depth Pro、Marigold、Depth Anything v2 和 Metric3D v2 的深度图。Depth Pro 在捕捉毛发和鸟笼线等细节方面表现出色，仅用 0.3 秒就能生成清晰、高分辨率的深度图，准确性和细节方面优于其他模型。（来源：arxiv.org）</p>
<p>长期以来，单目深度估计一直是一项具有挑战性的任务，需要多张图像或像焦距这样的元数据来准确测量深度。</p>
<p>但 Depth Pro 绕过了这些要求，在标准 GPU 上仅用 0.3 秒就能生成高分辨率的深度图。该模型可以创建具有异常清晰度的 225 万像素地图，捕捉甚至其他方法经常忽略的头发和植被等细微细节。</p>
<p>研究人员在论文中解释说：“这些特性得益于多项技术贡献，包括用于密集预测的高效多尺度视觉变换器。” 这种架构使模型能够同时处理图像的整体背景和更细节的部分，这是一个巨大的进步，超越了之前速度较慢、不够精确的模型。</p>
<p><img src="https://imageproxy.pbkrs.com/https://venturebeat.com/wp-content/uploads/2024/10/Screenshot-2024-10-04-at-11.34.18%E2%80%AFAM.png/query-dz01MzM?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" alt="" original-src="https://imageproxy.pbkrs.com/https://venturebeat.com/wp-content/uploads/2024/10/Screenshot-2024-10-04-at-11.34.18%E2%80%AFAM.png/query-dz01MzM"/></p>
<p>对比了苹果的 Depth Pro、Depth Anything v2、Marigold 和 Metric3D v2 的深度图。Depth Pro 在捕捉鹿毛、风车叶片和斑马条纹等细节方面表现出色，仅用 0.3 秒就能生成清晰、高分辨率的深度图。（来源：arxiv.org）</p>
<h2>度量深度，零样本学习</h2>
<p>真正让 Depth Pro 脱颖而出的是其估计相对深度和绝对深度的能力，这种能力称为 “度量深度”。</p>
<p>这意味着该模型可以提供真实世界的测量值，这对于增强现实（AR）等应用至关重要，其中虚拟对象需要精确放置在物理空间内。</p>
<p>而 Depth Pro 不需要在特定领域数据集上进行大量训练以进行准确预测，这一特性被称为 “零样本学习”。这使得该模型非常灵活，可以应用于各种图像，而无需深度估计模型通常需要的特定相机数据。</p>
<p>作者解释说：“Depth Pro 在 ‘野外’ 的任意图像上生成具有绝对尺度的度量深度图，而无需相机内参等元数据。” 这种灵活性为各种可能性打开了大门，从增强 AR 体验到提高自动驾驶车辆检测和避障能力。</p>
<p>对于那些想亲身体验 Depth Pro 的人，可以在 Hugging Face 平台上进行实时演示。</p>
<p><img src="https://imageproxy.pbkrs.com/https://venturebeat.com/wp-content/uploads/2024/10/Screenshot-2024-10-04-at-11.35.50%E2%80%AFAM.png/query-dz04MDA?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" alt="" original-src="https://imageproxy.pbkrs.com/https://venturebeat.com/wp-content/uploads/2024/10/Screenshot-2024-10-04-at-11.35.50%E2%80%AFAM.png/query-dz04MDA"/></p>
<p>对比了多个数据集上的深度估计模型。苹果的 Depth Pro 在整体上排名最高，平均排名为 2.5，在各种场景中的准确性超过了 Depth Anything v2 和 Metric3D 等模型。（来源：arxiv.org）</p>
<h2>实际应用：从电子商务到自动驾驶车辆</h2>
<p>这种多功能性对各个行业都有重要影响。例如，在电子商务中，Depth Pro 可以让消费者通过简单地将手机摄像头对准房间，看到家具在家中的摆放情况。在汽车行业，能够从单个摄像头生成实时、高分辨率的深度图，可以改善自动驾驶汽车感知环境的能力，提升导航和安全性。</p>
<p>研究人员写道：“该方法理想情况下应在这种零样本情况下生成具有绝对尺度的度量深度图，以准确重现物体形状、场景布局和绝对尺度。” 强调了该模型减少与训练更传统的 AI 模型相关的时间和成本的潜力。</p>
<h2>度量深度估计的挑战</h2>
<p>深度估计中最棘手的挑战之一是处理所谓的 “飞行像素”——由于深度映射错误而看起来漂浮在半空中的像素。Depth Pro 直面这个问题，使其在 3D 重建和虚拟环境等应用中特别有效，其中准确性至关重要。</p>
<p>此外，Depth Pro 在边界跟踪方面表现出色，优于以前的模型，能够清晰地勾画出物体及其边缘。研究人员声称它在边界准确性方面超过其他系统 “乘法因子”，这对于需要精确物体分割的应用非常关键，如图像抠像和医学成像。</p>
<h2>开源并准备扩展</h2>
<p>为了加速其采用，苹果已经将 Depth Pro 开源。代码以及预训练模型权重都可以在 GitHub 上找到，允许开发人员和研究人员对这项技术进行实验和进一步完善。存储库包括从模型架构到预训练检查点的所有内容，使其他人可以轻松构建在苹果工作基础上的工作。</p>
<p>研究团队还鼓励进一步探索 Depth Pro 在机器人、制造和医疗等领域的潜力。作者们写道：“我们在 https://github.com/apple/ml-depth-pro 上发布了代码和权重”，表明这只是该模型的一个开始。</p>
<h2>人工智能深度感知的下一步发展</h2>
<p>随着人工智能不断推动可能性的边界，Depth Pro 在单目深度估计的速度和准确性方面树立了新的标准。它能够从单张图像生成高质量、实时的深度图，可能对依赖空间感知的各行业产生广泛影响。</p>
<p>在人工智能日益成为决策和产品开发的核心的今天，Depth Pro 展示了前沿研究如何转化为实用的现实解决方案。无论是改善机器感知周围环境的方式，还是增强消费者体验，Depth Pro 的潜在用途广泛而多样。</p>
<p>研究人员总结道：“Depth Pro 在物体边界的清晰划分方面远远优于以往所有工作，包括头发、毛发和植被等细微结构。” 通过开源发布，Depth Pro 很快可能成为从自动驾驶到增强现实等各行业不可或缺的技术，改变机器和人与 3D 环境互动的方式。</p>

苹果

<p>苹果推出了 Depth Pro，这是一款人工智能模型，通过仅需 0.3 秒即可从单张图像生成高分辨率深度图，无需相机元数据，从而彻底改变了 3D 深度估计技术。这项技术提升了增强现实和自动驾驶等应用的性能，提供真实世界的测量数据和出色的细节。Depth Pro 具有零-shot 学习能力，可以在各种图像上运行，无需大量训练。该模型解决了深度估计中的挑战，如飞行像素，并且是开源的，促进了各行业对其广泛采用</p>

<p>Apple’s AI research team has developed a new model that could significantly advance how machines perceive depth, potentially transforming industries ranging from augmented reality to autonomous vehicles.</p>
<div class="lb-trans"><p>苹果的人工智能研究团队开发了一种新模型，可以显著提升机器感知深度的能力，潜在地改变从增强现实到自动驾驶等各行各业。</p>
</div><p>The system, calledDepth Pro, is able to generate detailed 3D depth maps from single 2D images in a fraction of a second—without relying on the camera data traditionally needed to make such predictions.</p>
<div class="lb-trans"><p>这一系统名为 Depth Pro，能够在几分之一秒内从单个 2D 图像生成详细的 3D 深度图，而无需依赖传统上用于进行此类预测的相机数据。</p>
</div><p>The technology, detailed in a research paper titled <em>“Depth Pro: Sharp Monocular Metric Depth in Less Than a Second,”</em> is a major leap forward in the field of monocular depth estimation, a process that uses just one image to infer depth.</p>
<div class="lb-trans"><p>这项技术在一篇名为 “Depth Pro: Sharp Monocular Metric Depth in Less Than a Second” 的研究论文中详细介绍，是单目深度估计领域的一大飞跃，这一过程仅使用一张图像来推断深度。</p>
</div><p>This could have far-reaching applications across sectors where real-time spatial awareness is key. The model’s creators, led by Aleksei Bochkovskii and Vladlen Koltun, describeDepth Proas one of the fastest and most accurate systems of its kind.</p>
<div class="lb-trans"><p>这可能在需要实时空间意识至关重要的各个领域具有广泛的应用。由 Aleksei Bochkovskii 和 Vladlen Koltun 领导的模型创造者们将 Depth Pro 描述为同类系统中速度最快、最准确的系统之一。</p>
</div><p><img src="https://imageproxy.pbkrs.com/https://venturebeat.com/wp-content/uploads/2024/10/Screenshot-2024-10-04-at-11.26.12 AM.png/query-dz01ODQ" alt="" original-src="https://venturebeat.com/wp-content/uploads/2024/10/Screenshot-2024-10-04-at-11.26.12%E2%80%AFAM.png?w=584"/></p>
<p>A comparison of depth maps from Apple’s Depth Pro, Marigold, Depth Anything v2, and Metric3D v2. Depth Pro excels in capturing fine details like fur and birdcage wires, producing sharp, high-resolution depth maps in just 0.3 seconds, outperforming other models in accuracy and detail. (credit: arxiv.org)</p>
<div class="lb-trans"><p>对比了苹果的 Depth Pro、Marigold、Depth Anything v2 和 Metric3D v2 的深度图。Depth Pro 在捕捉毛发和鸟笼线等细节方面表现出色，仅用 0.3 秒就能生成清晰、高分辨率的深度图，准确性和细节方面优于其他模型。（来源：arxiv.org）</p>
</div><p>Monocular depth estimation has long been a challenging task, requiring either multiple images or metadata like focal lengths to accurately gauge depth.</p>
<div class="lb-trans"><p>长期以来，单目深度估计一直是一项具有挑战性的任务，需要多张图像或像焦距这样的元数据来准确测量深度。</p>
</div><p>ButDepth Probypasses these requirements, producing high-resolution depth maps in just 0.3 seconds on a standard GPU. The model can create 2.25-megapixel maps with exceptional sharpness, capturing even minute details like hair and vegetation that are often overlooked by other methods.</p>
<div class="lb-trans"><p>但 Depth Pro 绕过了这些要求，在标准 GPU 上仅用 0.3 秒就能生成高分辨率的深度图。该模型可以创建具有异常清晰度的 225 万像素地图，捕捉甚至其他方法经常忽略的头发和植被等细微细节。</p>
</div><p>“These characteristics are enabled by a number of technical contributions, including an efficient multi-scale vision transformer for dense prediction,” the researchers explain in their paper. This architecture allows the model to process both the overall context of an image and its finer details simultaneously—an enormous leap from slower, less precise models that came before it.</p>
<div class="lb-trans"><p>研究人员在论文中解释说：“这些特性得益于多项技术贡献，包括用于密集预测的高效多尺度视觉变换器。” 这种架构使模型能够同时处理图像的整体背景和更细节的部分，这是一个巨大的进步，超越了之前速度较慢、不够精确的模型。</p>
</div><p><img src="https://imageproxy.pbkrs.com/https://venturebeat.com/wp-content/uploads/2024/10/Screenshot-2024-10-04-at-11.34.18 AM.png/query-dz01MzM" alt="" original-src="https://venturebeat.com/wp-content/uploads/2024/10/Screenshot-2024-10-04-at-11.34.18%E2%80%AFAM.png?w=533"/></p>
<p>A comparison of depth maps from Apple’s Depth Pro, Depth Anything v2, Marigold, and Metric3D v2. Depth Pro excels in capturing fine details like the deer’s fur, windmill blades, and zebra’s stripes, delivering sharp, high-resolution depth maps in 0.3 seconds. (credit: arxiv.org)</p>
<div class="lb-trans"><p>对比了苹果的 Depth Pro、Depth Anything v2、Marigold 和 Metric3D v2 的深度图。Depth Pro 在捕捉鹿毛、风车叶片和斑马条纹等细节方面表现出色，仅用 0.3 秒就能生成清晰、高分辨率的深度图。（来源：arxiv.org）</p>
</div><h2>Metric depth, zero-shot learning</h2>
<div class="lb-trans"><h2>度量深度，零样本学习</h2>
</div><p>What truly setsDepth Proapart is its ability to estimate both relative and absolute depth, a capability called “metric depth.”</p>
<div class="lb-trans"><p>真正让 Depth Pro 脱颖而出的是其估计相对深度和绝对深度的能力，这种能力称为 “度量深度”。</p>
</div><p>This means that the model can provide real-world measurements, which is essential for applications like augmented reality (AR), where virtual objects need to be placed in precise locations within physical spaces.</p>
<div class="lb-trans"><p>这意味着该模型可以提供真实世界的测量值，这对于增强现实（AR）等应用至关重要，其中虚拟对象需要精确放置在物理空间内。</p>
</div><p>AndDepth Prodoesn’t require extensive training on domain-specific datasets to make accurate predictions—a feature known as “zero-shot learning.” This makes the model highly versatile. It can be applied to a wide range of images, without the need for the camera-specific data usually required in depth estimation models.</p>
<div class="lb-trans"><p>而 Depth Pro 不需要在特定领域数据集上进行大量训练以进行准确预测，这一特性被称为 “零样本学习”。这使得该模型非常灵活，可以应用于各种图像，而无需深度估计模型通常需要的特定相机数据。</p>
</div><p>“Depth Pro produces metric depth maps with absolute scale on arbitrary images ‘in the wild’ without requiring metadata such as camera intrinsics,” the authors explain. This flexibility opens up a world of possibilities, from enhancing AR experiences to improving autonomous vehicles’ ability to detect and navigate obstacles.</p>
<div class="lb-trans"><p>作者解释说：“Depth Pro 在 ‘野外’ 的任意图像上生成具有绝对尺度的度量深度图，而无需相机内参等元数据。” 这种灵活性为各种可能性打开了大门，从增强 AR 体验到提高自动驾驶车辆检测和避障能力。</p>
</div><p>For those curious to experience Depth Pro firsthand, a live demo is available on the Hugging Face platform.</p>
<div class="lb-trans"><p>对于那些想亲身体验 Depth Pro 的人，可以在 Hugging Face 平台上进行实时演示。</p>
</div><p><img src="https://imageproxy.pbkrs.com/https://venturebeat.com/wp-content/uploads/2024/10/Screenshot-2024-10-04-at-11.35.50 AM.png/query-dz04MDA" alt="" original-src="https://venturebeat.com/wp-content/uploads/2024/10/Screenshot-2024-10-04-at-11.35.50%E2%80%AFAM.png?w=800"/></p>
<p>A comparison of depth estimation models across multiple datasets. Apple’s Depth Pro ranks highest overall with an average rank of 2.5, outperforming models like Depth Anything v2 and Metric3D in accuracy across diverse scenarios. (credit: arxiv.org)</p>
<div class="lb-trans"><p>对比了多个数据集上的深度估计模型。苹果的 Depth Pro 在整体上排名最高，平均排名为 2.5，在各种场景中的准确性超过了 Depth Anything v2 和 Metric3D 等模型。（来源：arxiv.org）</p>
</div><h2>Real-world applications: From e-commerce to autonomous vehicles</h2>
<div class="lb-trans"><h2>实际应用：从电子商务到自动驾驶车辆</h2>
</div><p>This versatility has significant implications for various industries. In e-commerce, for example,Depth Procould allow consumers to see how furniture fits in their home by simply pointing their phone’s camera at the room. In the automotive industry, the ability to generate real-time, high-resolution depth maps from a single camera could improve how self-driving cars perceive their environment, boosting navigation and safety.</p>
<div class="lb-trans"><p>这种多功能性对各个行业都有重要影响。例如，在电子商务中，Depth Pro 可以让消费者通过简单地将手机摄像头对准房间，看到家具在家中的摆放情况。在汽车行业，能够从单个摄像头生成实时、高分辨率的深度图，可以改善自动驾驶汽车感知环境的能力，提升导航和安全性。</p>
</div><p>“The method should ideally produce metric depth maps in this zero-shot regime to accurately reproduce object shapes, scene layouts, and absolute scales,” the researchers write, emphasizing the model’s potential to reduce the time and cost associated with training more conventional AI models.</p>
<div class="lb-trans"><p>研究人员写道：“该方法理想情况下应在这种零样本情况下生成具有绝对尺度的度量深度图，以准确重现物体形状、场景布局和绝对尺度。” 强调了该模型减少与训练更传统的 AI 模型相关的时间和成本的潜力。</p>
</div><h2>Tackling the challenges of depth estimation</h2>
<div class="lb-trans"><h2>度量深度估计的挑战</h2>
</div><p>One of the toughest challenges in depth estimation is handling what are known as “flying pixels”—pixels that appear to float in mid-air due to errors in depth mapping.Depth Protackles this issue head-on, making it particularly effective for applications like 3D reconstruction and virtual environments, where accuracy is paramount.</p>
<div class="lb-trans"><p>深度估计中最棘手的挑战之一是处理所谓的 “飞行像素”——由于深度映射错误而看起来漂浮在半空中的像素。Depth Pro 直面这个问题，使其在 3D 重建和虚拟环境等应用中特别有效，其中准确性至关重要。</p>
</div><p>Additionally,Depth Proexcels in boundary tracing, outperforming previous models in sharply delineating objects and their edges. The researchers claim it surpasses other systems “by a multiplicative factor in boundary accuracy,” which is key for applications that require precise object segmentation, such as image matting and medical imaging.</p>
<div class="lb-trans"><p>此外，Depth Pro 在边界跟踪方面表现出色，优于以前的模型，能够清晰地勾画出物体及其边缘。研究人员声称它在边界准确性方面超过其他系统 “乘法因子”，这对于需要精确物体分割的应用非常关键，如图像抠像和医学成像。</p>
</div><h2>Open-source and ready to scale</h2>
<div class="lb-trans"><h2>开源并准备扩展</h2>
</div><p>In a move that could accelerate its adoption, Apple has madeDepth Proopen-source. The code, along with pre-trained model weights, is available on GitHub, allowing developers and researchers to experiment with and further refine the technology. The repository includes everything from the model’s architecture to pretrained checkpoints, making it easy for others to build on Apple’s work.</p>
<div class="lb-trans"><p>为了加速其采用，苹果已经将 Depth Pro 开源。代码以及预训练模型权重都可以在 GitHub 上找到，允许开发人员和研究人员对这项技术进行实验和进一步完善。存储库包括从模型架构到预训练检查点的所有内容，使其他人可以轻松构建在苹果工作基础上的工作。</p>
</div><p>The research team is also encouraging further exploration ofDepth Pro’s potential in fields like robotics, manufacturing, and healthcare. “We release code and weights athttps://github.com/apple/ml-depth-pro,” the authors write, signaling this as just the beginning for the model.</p>
<div class="lb-trans"><p>研究团队还鼓励进一步探索 Depth Pro 在机器人、制造和医疗等领域的潜力。作者们写道：“我们在 https://github.com/apple/ml-depth-pro 上发布了代码和权重”，表明这只是该模型的一个开始。</p>
</div><h2>What’s next for AI depth perception</h2>
<div class="lb-trans"><h2>人工智能深度感知的下一步发展</h2>
</div><p>As artificial intelligence continues to push the boundaries of what’s possible, <em>Depth Pro</em> sets a new standard in speed and accuracy for monocular depth estimation. Its ability to generate high-quality, real-time depth maps from a single image could have wide-ranging effects across industries that rely on spatial awareness.</p>
<div class="lb-trans"><p>随着人工智能不断推动可能性的边界，Depth Pro 在单目深度估计的速度和准确性方面树立了新的标准。它能够从单张图像生成高质量、实时的深度图，可能对依赖空间感知的各行业产生广泛影响。</p>
</div><p>In a world where AI is increasingly central to decision-making and product development, <em>Depth Pro</em> exemplifies how cutting-edge research can translate into practical, real-world solutions. Whether it’s improving how machines perceive their surroundings or enhancing consumer experiences, the potential uses for <em>Depth Pro</em> are broad and varied.</p>
<div class="lb-trans"><p>在人工智能日益成为决策和产品开发的核心的今天，Depth Pro 展示了前沿研究如何转化为实用的现实解决方案。无论是改善机器感知周围环境的方式，还是增强消费者体验，Depth Pro 的潜在用途广泛而多样。</p>
</div><p>As the researchers conclude, “Depth Pro dramatically outperforms all prior work in sharp delineation of object boundaries, including fine structures such as hair, fur, and vegetation.” With its open-source release, <em>Depth Pro</em> could soon become integral to industries ranging from autonomous driving to augmented reality—transforming how machines and people interact with 3D environments.</p>
<div class="lb-trans"><p>研究人员总结道：“Depth Pro 在物体边界的清晰划分方面远远优于以往所有工作，包括头发、毛发和植被等细微结构。” 通过开源发布，Depth Pro 很快可能成为从自动驾驶到增强现实等各行业不可或缺的技术，改变机器和人与 3D 环境互动的方式。</p>
</div>

Apple releases Depth Pro, an AI model that rewrites the rules of 3D vision

- Apple 的 AI 研究团队开发了 Depth Pro 模型，能从单张 2D 图像生成 3D 深度图。  
- 该技术在深度估计领域取得重大突破，适用于增强现实和自动驾驶等行业。  
- Depth Pro 以 0.3 秒的速度生成高分辨率深度图，具有广泛的应用潜力。  

苹果发布了 Depth Pro，这是一款重塑 3D 视觉规则的 AI 模型