| 查看: 485 | 回复: 0 | |||
[交流]
技术干货：UMI框架如何完美适配Franka机器人
|
|
在Franka机器人上部署 UMI 策略 UMI全称为universal manipulation interface， 是斯坦福大大学团队提出通用操纵接口（UMI）通用框架，可以直接从人类演示中学习有能力且可泛化的操纵策略。UMI 夹具是一个手持式演示接口，可捕获足够的信息来学习一些具有挑战性的操作任务，包括洗脏盘子、双手折叠毛衣以及动态物体投掷和分类。该项工作解决了机器人训练中“先有鸡还是先有蛋”的难题。该部署框架，可以直接采用Franka七轴力控机器人实现操作。 系统概述 1.Franka Interface (服务器)：scripts_real/launch_franka_interface_server.py (L7) 2.Franka Interface (客户端): umi/real_world/franka_interpolation_controller.py (L36) 3.Franka Interpolation Controller umI real world /franka_interpolation_controller.py（L71） 步骤 1.按照Franka机器人部署文档在具有实时内核的计算机上安装Polymetis （即我们示例中的 NUC）。Franka机器人部署Polymetis 2.在 NUC 上启动FrankaInterface 服务器。python scripts_real/launch_franka_interface_server.py 3.（可选）现在您应该能够使用另一台桌面上的空间鼠标来控制Franka手臂，您将在该桌面上运行机器人策略。python scripts_real/control_franka.py 4.将eval_robots_config.yaml /robots/robottype 更改为。这将更改umi_env'franka' (L233)中的机器人控制器 5.获取 IP 地址并更新eval_robots_config.yaml /robots/robotip 6.在Franka机器人界面上将质量设置为 1.8 kg将法兰到载荷矢量质心设置为 (0.064, -0.06, 0.03) m 7.然后您就能开始对FrankaArm 进行评估了。 python eval_real.py --robot config=example / eva robots config yam I cup wild vit l ckpt -o data/ eval cup wild example 设备支持 详细可了解--www.pnprobotics.com PNP机器人可以帮助同步配置FRANKA机器人和手持器，为模仿学习提供同步方案。手持式抓手和精心的界面设计，可为具有挑战性的双臂和动态操纵演示提供便携式、低成本和信息丰富的数据收集。为促进可部署的策略学习，UMI 设计的策略界面，具有推理时间延迟匹配和相对轨迹动作表示功能。学习到的策略与硬件无关，可在多个机器人平台上部署。有了这些功能，UMI 框架就能释放新的机器人操纵能力，只需改变每个任务的训练数据，就能实现零样本通用动态、双臂、精确和长序列行为。 在真实世界实验证明UMI 的多功能性和有效性，配备FRANKA等机器人，验证后PNP机器人建议优先配置平行指夹持器，在这些实验中，通过 UMI 零样本学习到的策略在不同的人类演示训练中可泛化到新的环境和物体。 |
回复此楼» 猜你喜欢
智能高分子相关专业硕士已毕业，接受科研助理岗位，后转为博士在读
已经有5人回复
-
各位院士大佬，帮忙看看几C？
已经有107人回复
-
工程热物理与能源利用论文润色/翻译怎么收费?
已经有97人回复
-
求助含有微量硫元素的镍，塑性加工问题！！！
已经有0人回复
-
靶材制备加工
已经有0人回复
-
招收2026年秋季入学博士生1名（北京科技大学 力学超材料/机器学习/增材制造相关方向）
已经有21人回复
-
MOCVD可逆气相反应求助
已经有0人回复
-
硅溶胶和硅酸钠水玻璃干燥后的结构为什么出现明显差异？
已经有6人回复
-
招收26年秋季入学博士生（北科大高精尖学院 力学超材料/机器学习/增材制造相关方向）
已经有3人回复
