| 查看: 1108 | 回复: 0 | ||
[交流]
Franka RoboSplat：仅需一次演示，即实现六类任务泛化！
|
|
采集真实训练数据难度大、成本高、速度慢？由多家顶级研究机构联合研发的“RoboSplat”应运而生。该项目采用“3D高斯投影（3D Gaussian Splatting）”技术，通过仅一次的现实演示，即可生成多样化且真实的训练数据，从而使机器人能够“一次性泛化”到不同任务、物体、视角和平台！ 相较于传统二维数据增强方法平均57.2%的成功率，RoboSplat在六类真实泛化场景任务中的成功率高达87.8%！ Franka Robotics正加速推进sim2real（模拟到现实）数据闭环建设，致力于赋能新一代智能机器人！ Franka RoboSplat 是一种基于 Franka Research 3 机械臂的机器人操控技术，它通过 3D 高斯溅射技术，仅需一次专家演示即可实现六类任务泛化。以下是该技术的详细介绍： 核心技术： 3D 高斯溅射重建：利用多视角图像实现高保真场景重建，构建包含机械臂、物体、环境的三维场景。 六维度数据增强：基于原始演示，生成包含新物体、新光照、新视角等场景的虚拟演示数据。 实现过程： 数据采集：使用 Franka Research 3 机械臂完成一次专家演示，同步采集多视角 RGB 图像、关节轨迹数据。 场景重建与预处理：通过 COLMAP 稀疏重建 + 3DGS 密集高斯生成，构建三维场景，并利用 Grounded-SAM 分割物体高斯与机械臂链接高斯，实现场景组件解耦。 策略训练：使用增强后的 5000 + 演示数据训练视觉运动策略，输入为渲染图像，输出为机械臂关节控制指令。 泛化能力： 物体姿态泛化：成功处理专家轨迹中未出现的堆叠、悬空等复杂场景。 光照条件泛化：通过光照增强技术，生成不同光照条件下的虚拟演示数据。 相机视角泛化：随机轨道半径、俯仰、偏航，模拟各种相机视角。 物体类型泛化：通过 3D 高斯替换技术，改变物体类型。 场景外观泛化：通过 3D 高斯替换技术，改变场景外观。 机器人实体泛化：通过 3D 高斯替换技术，改变机器人实体。 实验验证： 实验配置：一台 Franka Research 3 机械臂和两台 RealSense D435i 摄像头。 任务设计：设计了五个操作任务用于现实世界的评估，包括拾取物体、关闭抽屉、拾取-放置-关闭、双重拾取-放置和清扫。 -性能表现：RoboSplat 生成的演示数据在规模扩展时展现出显著优势，1800 个生成演示可将成功率提升至 94.7%，显著超越同等规模真实数据。 优势与应用： 数据采集成本低：将传统需要数百次演示的数据采集成本，压缩至单次高效采集加智能增强的模式。 泛化能力强：在六类任务泛化场景中表现出色，为工业机器人训练提供了全新范式。 Franka RoboSplat 技术通过创新的数据增强方法和高效的场景重建技术，显著提升了机器人在复杂环境下的操作能力和泛化能力，为机器人操控领域带来了新的突破。 |
回复此楼
