| 查看: 866 | 回复: 0 | |||
[交流]
Franka RoboSplat：仅需一次演示，即实现六类任务泛化！
|
|
采集真实训练数据难度大、成本高、速度慢？由多家顶级研究机构联合研发的“RoboSplat”应运而生。该项目采用“3D高斯投影（3D Gaussian Splatting）”技术，通过仅一次的现实演示，即可生成多样化且真实的训练数据，从而使机器人能够“一次性泛化”到不同任务、物体、视角和平台！ 相较于传统二维数据增强方法平均57.2%的成功率，RoboSplat在六类真实泛化场景任务中的成功率高达87.8%！ Franka Robotics正加速推进sim2real（模拟到现实）数据闭环建设，致力于赋能新一代智能机器人！ Franka RoboSplat 是一种基于 Franka Research 3 机械臂的机器人操控技术，它通过 3D 高斯溅射技术，仅需一次专家演示即可实现六类任务泛化。以下是该技术的详细介绍： 核心技术： 3D 高斯溅射重建：利用多视角图像实现高保真场景重建，构建包含机械臂、物体、环境的三维场景。 六维度数据增强：基于原始演示，生成包含新物体、新光照、新视角等场景的虚拟演示数据。 实现过程： 数据采集：使用 Franka Research 3 机械臂完成一次专家演示，同步采集多视角 RGB 图像、关节轨迹数据。 场景重建与预处理：通过 COLMAP 稀疏重建 + 3DGS 密集高斯生成，构建三维场景，并利用 Grounded-SAM 分割物体高斯与机械臂链接高斯，实现场景组件解耦。 策略训练：使用增强后的 5000 + 演示数据训练视觉运动策略，输入为渲染图像，输出为机械臂关节控制指令。 泛化能力： 物体姿态泛化：成功处理专家轨迹中未出现的堆叠、悬空等复杂场景。 光照条件泛化：通过光照增强技术，生成不同光照条件下的虚拟演示数据。 相机视角泛化：随机轨道半径、俯仰、偏航，模拟各种相机视角。 物体类型泛化：通过 3D 高斯替换技术，改变物体类型。 场景外观泛化：通过 3D 高斯替换技术，改变场景外观。 机器人实体泛化：通过 3D 高斯替换技术，改变机器人实体。 实验验证： 实验配置：一台 Franka Research 3 机械臂和两台 RealSense D435i 摄像头。 任务设计：设计了五个操作任务用于现实世界的评估，包括拾取物体、关闭抽屉、拾取-放置-关闭、双重拾取-放置和清扫。 -性能表现：RoboSplat 生成的演示数据在规模扩展时展现出显著优势，1800 个生成演示可将成功率提升至 94.7%，显著超越同等规模真实数据。 优势与应用： 数据采集成本低：将传统需要数百次演示的数据采集成本，压缩至单次高效采集加智能增强的模式。 泛化能力强：在六类任务泛化场景中表现出色，为工业机器人训练提供了全新范式。 Franka RoboSplat 技术通过创新的数据增强方法和高效的场景重建技术，显著提升了机器人在复杂环境下的操作能力和泛化能力，为机器人操控领域带来了新的突破。 |
回复此楼» 猜你喜欢
材料成型及控制工程
已经有5人回复
-
材料成型及控制工程 材料加工工程
已经有4人回复
-
工程热物理与能源利用论文润色/翻译怎么收费?
已经有161人回复
-
材料成型及控制工程 材料加工工程
已经有5人回复
-
燕山大学先进结构材料团队招收金属材料相关方向
已经有0人回复
-
08类有较多调剂名额，欢迎各位考生联系咨询。
已经有0人回复
-
材料成型及控制工程 材料加工工程
已经有5人回复
-
材料成型及控制工程 材料加工工程
已经有0人回复
-
重庆长江师范学院材料工程接收材料类和机械类考生调剂硕士研究生
已经有3人回复
-
重庆长江师范学院材料工程接收材料类考生调剂硕士研究生
已经有0人回复
-
天津大学化学工程专业专业课
已经有0人回复
