现在咨询，获得最前沿的AR产品
2026-07-27
用一段360°视频扫描办公室，把它重建成可碰撞、可训练的数字孪生，再让只在仿真中见过这个空间的机器人走进真实现场——这条链路正在把空间计算从“看见数字内容”推向“让机器学会行动”。
7月20日，Niantic Spatial与瑞士机器人公司Flexion联合公开一套Real2Sim到Sim2Real流程：真实场地经3D高斯泼溅和碰撞网格重建后，直接进入NVIDIA Isaac Sim与Isaac Lab训练RGB导航策略，随后零样本迁移到实体人形机器人。发布已满一周，但从普通相机采集、数字孪生生成到机器人部署的完整方法仍有持续搜索价值，也为AR空间地图如何服务工业智能提供了新的分析角度。
核心结论：空间地图的价值正在越过“给人看”的阶段，进入“给机器训练和定位”的阶段。要让同一空间同时服务AR人员引导、机器人导航和数字孪生仿真，关键不是单一模型，而是视觉层、几何层、坐标系与版本管理保持一致。
Niantic Spatial与Flexion披露的流程从一次场地步行采集开始。操作者使用普通360°相机拍摄数分钟视频，无需激光雷达或固定三脚架站点。系统估计相机位姿，训练3D Gaussian Splat作为照片级视觉层，同时从同一重建结果生成碰撞网格作为物理层。
| 环节 | 公开做法 | 解决的问题 |
|---|---|---|
| 采集 | 普通360°相机步行拍摄 | 降低每个部署现场的数字化门槛 |
| 重建 | 3D高斯视觉层与碰撞网格同源生成 | 避免机器人“看见的墙”和“撞到的墙”错位 |
| 导出 | 打包为符合NuRec规范的USDZ | 直接进入Isaac Sim和Isaac Lab |
| 训练 | RGB导航策略在数字孪生中并行强化学习 | 把大量试错留在仿真环境 |
| 部署 | 策略零样本迁移到真实办公室 | 缩短现场反复调试的周期 |
人形机器人在真实办公室的3D重建场景中进行并行导航训练。图片来源：Niantic Spatial、Flexion。
机器人训练不只需要“看起来像”，还需要“物理上对”。如果渲染中的墙面与碰撞网格相差几厘米，策略可能学会穿过看得见的障碍，或绕开现实中不存在的物体。Niantic Spatial将视觉高斯场与几何碰撞层从同一重建流程导出，减少二次配准带来的误差。
这也是空间计算项目容易被忽略的一点：好看的数字孪生不等于可用于定位或训练。AR导览更关心内容是否稳定锚定，机器人更关心自由空间、障碍与尺度是否可靠，工业系统还需要资产编号和作业状态。若底层坐标和版本不一致，上层体验越丰富，维护成本反而越高。
Flexion在两个办公室重建场景中比较了四种局部导航策略，每种条件使用相同起点和目标进行1024次仿真评估。采用实际场地3DGS重建训练的RGB策略，在较简单的Flexion办公室取得97.8%的仿真成功率，常规深度基线为93.8%；在更困难的Niantic Spatial办公室，两者分别为75.0%和70.9%。团队还展示了该RGB策略零样本迁移到真实机器人，并在家具变化下完成名义导航。
这些数字不能直接当作工厂SLA。它们来自两个办公室和特定局部导航任务，且主要对比是在仿真中完成。官方也明确列出限制：重建记录的是某一时刻，光照、反射和物体位置会被固化；人和机器人等动态主体需在仿真中另行加入；漏拍区域的质量会下降。项目没有公开跨楼层、长周期运营或不同硬件平台的现场成功率。
RGB图像同时包含纹理、颜色和物体语义。玻璃门、细线缆或一块会绊脚的垫子，可能在深度图中并不醒目，却能在视觉语义中被识别。代价是模型更依赖训练场景的真实性和覆盖范围。换句话说，普通相机降低了采集门槛，但并没有消除数据治理和现场验证。
同一座工厂或园区里，人和机器需要共享对空间的理解。维修人员通过AR眼镜看到设备编号、步骤和风险提示，机器人则需要识别可通行区域、目标位置和环境变化。两套系统如果各自建图，不仅重复采集，也容易出现坐标漂移与资产版本不一致。
EasyAR Mega关注大场景空间地图、VPS定位和内容锚定，适合把真实空间变成可持续维护的数字底座；视+AR导航方案可面向园区、医院、商业与公共空间组织第一人称引导；对于工业现场，视+5G AR行业方案展示了云、终端与现场服务协同的路径。需要图像识别、运动跟踪和终端交互时，也可从EasyAR Sense SDK开始验证。
这次合作最值得空间计算行业借鉴的，是“同一份空间数据服务多个执行主体”。数字孪生不再只是会议室里的可视化大屏，而是训练环境、定位底图、作业上下文和评估工具。对企业项目而言，建图阶段就应定义尺度、坐标、资产语义、更新频率与权限，避免后期每个应用重新解释空间。
但从演示走向生产，还要补上持续定位、变化检测和安全冗余。办公室里挪动一把椅子，与工厂里更换一台设备的影响完全不同；AR提示出错可能误导人员，机器人定位出错则可能直接影响安全。未来更现实的路线，是用统一空间底座连接人和机器，再为不同终端配置各自的感知校验与失效保护。
Real2Sim是把真实场地、物体和物理关系重建到仿真环境；Sim2Real是把在仿真中训练出的策略迁移到真实机器人。两者连起来，能把大量危险、昂贵的试错放在虚拟环境中完成。
3D Gaussian Splatting能够从多视角图像生成可实时渲染、外观较真实的三维场景。对RGB策略而言，真实的纹理、材质和光照线索很重要；但机器人训练仍需配套可靠的尺度和碰撞几何。
不能这样概括。公开结果显示，在两个特定办公室的仿真任务中，基于真实3DGS重建训练的RGB策略匹配或超过了深度基线；它不代表所有场地、机器人和任务中RGB都更好。
通常不能直接等同。AR地图偏重定位与内容锚定，机器人训练还需要准确尺度、可碰撞几何、动态障碍、物理属性和安全验证。但统一采集、坐标与资产语义，可以显著减少重复建设。
本文由视+AR编辑整理，信息截至2026年7月27日。文中成功率为合作方公开的特定仿真评估结果，不应直接外推为生产环境指标。
