地平线发布 LoFT 原生视频几何基础模型,多项指标达到 SoTA

地平线机器人实验室发布原生视频几何基础模型 LoFT,可从 RGB 视频中还原场景三维结构。该模型在多项深度估计指标上达到 SoTA 水平,适配机器人、自动驾驶等多场景空间感知需求。#地平线#

作者
浩渺
发布方
IT之家
发布时间
篇幅
361 字 · 2 分钟
地平线发布 LoFT 原生视频几何基础模型,多项指标达到 SoTA

IT之家 11 月 19 日消息,11 月 18 日,地平线机器人实验室发布原生视频几何基础模型 LoFT(Looped Foundation Transformer for Video Geometry)。据介绍,该模型能够从 RGB 视频中联合预测相机位姿、内参及逐帧深度,恢复场景三维结构,为机器人空间感知、环境理解与具身学习提供几何基础。

官方称,LoFT 原生面向连续视频建模,采用双循环 Transformer 架构,将跨帧视觉信息聚合与相机状态迭代优化相结合,用于挖掘视频中的时序关联与多视角几何信息。

IT之家从官方公布信息获悉,第一循环通过局部与全局时序注意力聚合跨帧信息,逐步扩大时间感受范围,利用相邻帧的连续性与跨视角的几何关联;第二循环显式更新相机位姿与内参,并将相机状态反馈至下一轮特征计算。

模型结合双循环特征预测逐帧深度及其置信度,恢复场景的可见三维结构。

▲ 原生双循环 Transformer:LB1 通用几何特征提取,LB2 实现 Coarse2Fine 几何与姿态估计

官方表示,为支撑规模化训练,团队搭建了统一的三维重建数据处理与训练平台,约 297 万条有效训练序列、9.62 亿帧图像记录,覆盖仿真与真实、动态与静态等多样化场景,并通过统一的数据清洗、质量筛选和采样策略提供数据基础。

▲ 高频动态场景下的精准空间感知
▲ 实现文字级精细几何重建
▲ 驾驶场景中对动态车辆的鲁棒视觉重建
▲ 复杂生活场景高精度重建

评测方面,研究团队在 SpatialBench、ClassicBench 和 VRBench 三套评测体系中将 LoFT 与 VGGT-Ω、DA3-Giant 等代表性模型比较。其中 SpatialBench 覆盖 12 个数据集、98 个连续视频场景;ClassicBench 整合 7 个经典视频重建基准;VRBench 涵盖机器人、自动驾驶及通用视频场景。据官方公布信息,LoFT 在多项深度估计指标上达到 SoTA。

▲ 通用 3D 空间重建评测 SpatialBench,多项指标达到 SoTA
▲ 在经典重建 ClassicBench 和连续视频重建 VRBench 中达到 SoTA 效果

在应用侧,官方称 LoFT 可利用连续视频中的时序与多视角几何信息,恢复场景三维结构与相机运动轨迹,覆盖机器人第一人称视频、动态街道、室内操作及开放环境探索等场景。

参考

图片
图片

内容来源

本文由浩渺报道,IT之家于2026年11月18日首次发布。HUE Legacy Ventures 并非本文作者。

Rights reserved by the publisher. Carried with attribution and a link back, removal on request, on the same footing as the other commercial publishers on the wire.

在 ithome.com 阅读 →