| 查看: 851 | 回复: 0 | |||
[交流]
Franka Robotics x RoboSplat：仅需一次演示，即实现六类任务泛化！
|
|
在机器人操控领域，视觉运动策略的模仿学习面临两大核心挑战： 1、传统策略因训练数据场景覆盖有限，导致部署时性能急剧下降； 2、模拟到现实的迁移过程中，几何重建误差与物理模拟失配造成策略稳定性不足。 本文以Franka Research 3机械臂为载体，提出RoboSplat方法。该方法基于3D高斯溅射技术，通过单次专家演示即可生成空间精准、场景多样的高质量数据，有效突破数据采集瓶颈并填补模拟现实差距，显著增强视觉运动策略的泛化能力与鲁棒性。 技术框架与核心参数 Franka Research 3机械臂： 7自由度设计 Franka末端执行夹爪 传感器配置 Realsense D435i 相机：获取 RGB 图像观测值 RoboSplat技术框架 三维高斯溅射重建 3D 高斯溅射（3DGS）：利用多视角图像实现高保真场景重建 RoboSplat 的关键技术：通过场景重建与预处理、新颖演示生成两大模块实现技术突破 图1：我们的方法从单个专家演示和多视角图像入手，生成多样化且视觉逼真的策略学习数据，从而在现实世界中六种泛化类型中实现稳健的性能。与之前的二维数据增强方法相比，我们的方法在各种泛化类型中都取得了显著更好的效果。值得注意的是，我们在一个统一的框架内实现了这一目标。 策略开发全流程： 数据采集： 使用 Franka Research 3 机械臂完成一次专家演示（如拾取红酒杯并放置到指定位置），同步采集多视角 RGB 图像、关节轨迹数据。 场景重建与预处理： 通过 COLMAP 稀疏重建 + 3DGS 密集高斯生成，构建包含机械臂、物体、环境的三维场景。 利用 Grounded-SAM 分割物体高斯与机械臂链接高斯，实现场景组件解耦。 六维度数据增强： 基于原始演示，生成包含新物体（如玻璃杯、金属罐）、新光照（强光 / 弱光）、新视角（顶视 / 侧视）等场景的虚拟演示数据。 策略训练： 使用增强后的 5000 + 演示数据训练视觉运动策略（如 DDPG 算法），输入为渲染图像，输出为机械臂关节控制指令。 高斯初始化：通过Depth Anything优化深度估计，初始化N≈106个高斯基元 可微分优化：采用分层渲染策略，先优化前景物体（迭代次数Tobj=500），再全局微调（Tglobal=2000） 图4：可微分渲染的帧对齐示意图。计算使用高斯Splatting渲染的蒙版与使用URDF渲染的蒙版之间的损失。随后，使用反向传播和梯度下降来优化平移、旋转和缩放，并将其应用于3D高斯函数。 对齐的目标函数： 真实实验论证： 在现实世界中进行了全面的实验，以验证演示生成流程的有效性。 真实世界实验配置： 一台ranka Research 3 两台 RealSense D435i 摄像头 任务说明：设计了五个操作任务用于现实世界的评估：拾取物体、关闭抽屉、拾取-放置-关闭、双重拾取-放置和清扫 实验设置 在物体姿态泛化测试中，RoboSplat成功处理专家轨迹中未出现的堆叠（高度差达0.4m）、悬空（支撑点占比<30%）等复杂场景。特别是在工具使用任务中，机械臂能自适应调整螺丝刀握持角度（变化范围±45∘），完成非结构化环境下的装配操作。 图8：不同泛化类型的真实世界实验说明。数据是在原始设置中收集的。在部署训练好的策略时，我们会修改物体姿态、光照条件、场景外观、摄像机视角、物体类型和具体化，以评估其在不同场景下的鲁棒性。 验证照明增强有效性实验策略： 200 个真实世界演示 1800 个仅使用物体姿势增强生成的演示，与VC中（图8使用的数据相同 增强了色彩抖动的真实世界演示 管道生成了 3200 个演示，同时具有光照条件和物体姿势增强 增强数据训练策略的表现 图7： 主要结果。 左上：我们展示了五项任务的平均成功率。随着演示次数的增加，我们的方法展现出良好的可扩展性。 其余五个子图：对于每项任务，我们评估了使用手动收集的数据训练的策略以及我们的方法在 30 次试验中生成的策略的成功率，并使用了不同的演示次数。 RoboSplat生成的演示数据在规模扩展时展现出显著优势：800个生成演示即可达到200个真实演示的性能水平，而1800个生成演示可将成功率提升至94.7%，显著超越同等规模真实数据。尤其在Dual Pick-Place任务中，该方法实现96.7%的成功率，较基线提升近20%，验证了其在生成多样化物体姿态及提升策略泛化能力方面的卓越可扩展性。 面对各种部署设置时的稳健性 在光照、场景外观、摄像机视角、物体类型及具体化类型五个维度上增强了专家演示，并对比了使用真实、二维增强数据及我们生成数据数据训练的策略效果。 光照条件和外观变化下的性能。我们报告了不同策略在不同光照条件和外观下的成功率。使用生成的演示进行训练，并进行相应增强的策略与基线策略相比，表现出显著的进步。 结论： RoboSplat开创性地将三维高斯溅射技术转化为机器人学习引擎，通过单次演示即可生成覆盖六维变化的高保真数据。该方法在Franka Research 3平台上的成功验证，为工业机器人训练提供了全新范式：将传统需要数百次演示的数据采集成本，压缩至单次高效采集加智能增强的模式。未来工作将探索动态场景重建与强化学习结合，进一步拓展机器人操作的能力边界。 项目详情链接：https://arxiv.org/html/2504.13175v1#S5.SS3 |
回复此楼» 猜你喜欢
上海交通大学电气工程学院赵跃老师团队有意向招收有镀膜基础的博士研究生
已经有0人回复
-
杂多酸盐催化剂制备过程
已经有6人回复
-
金属材料论文润色/翻译怎么收费?
已经有150人回复
-
求Mg5Gd和Mg7Gd的PDF卡片
已经有0人回复
-
求助二硫化钼 JCPDS card no: 01-073-1508
已经有0人回复
-
求助TEM衍射斑点标定
已经有3人回复
-
溶胶凝胶法制备玻璃包覆铜粉粒径问题
已经有10人回复
-
溶胶凝胶制备玻璃粉工艺
已经有0人回复
-
硅溶胶和硅酸钠水玻璃干燥后的结构为什么出现明显差异？
已经有6人回复
