| 查看: 920 | 回复: 0 | |||
[交流]
技术干货：UMI框架如何完美适配Franka机器人
|
|
在Franka机器人上部署 UMI 策略 UMI全称为universal manipulation interface， 是斯坦福大大学团队提出通用操纵接口（UMI）通用框架，可以直接从人类演示中学习有能力且可泛化的操纵策略。UMI 夹具是一个手持式演示接口，可捕获足够的信息来学习一些具有挑战性的操作任务，包括洗脏盘子、双手折叠毛衣以及动态物体投掷和分类。该项工作解决了机器人训练中“先有鸡还是先有蛋”的难题。该部署框架，可以直接采用Franka七轴力控机器人实现操作。 系统概述 1.Franka Interface (服务器)：scripts_real/launch_franka_interface_server.py (L7) 2.Franka Interface (客户端): umi/real_world/franka_interpolation_controller.py (L36) 3.Franka Interpolation Controller umI real world /franka_interpolation_controller.py（L71） 步骤 1.按照Franka机器人部署文档在具有实时内核的计算机上安装Polymetis （即我们示例中的 NUC）。Franka机器人部署Polymetis 2.在 NUC 上启动FrankaInterface 服务器。python scripts_real/launch_franka_interface_server.py 3.（可选）现在您应该能够使用另一台桌面上的空间鼠标来控制Franka手臂，您将在该桌面上运行机器人策略。python scripts_real/control_franka.py 4.将eval_robots_config.yaml /robots/robottype 更改为。这将更改umi_env'franka' (L233)中的机器人控制器 5.获取 IP 地址并更新eval_robots_config.yaml /robots/robotip 6.在Franka机器人界面上将质量设置为 1.8 kg将法兰到载荷矢量质心设置为 (0.064, -0.06, 0.03) m 7.然后您就能开始对FrankaArm 进行评估了。 python eval_real.py --robot config=example / eva robots config yam I cup wild vit l ckpt -o data/ eval cup wild example 设备支持 详细可了解--www.pnprobotics.com PNP机器人可以帮助同步配置FRANKA机器人和手持器，为模仿学习提供同步方案。手持式抓手和精心的界面设计，可为具有挑战性的双臂和动态操纵演示提供便携式、低成本和信息丰富的数据收集。为促进可部署的策略学习，UMI 设计的策略界面，具有推理时间延迟匹配和相对轨迹动作表示功能。学习到的策略与硬件无关，可在多个机器人平台上部署。有了这些功能，UMI 框架就能释放新的机器人操纵能力，只需改变每个任务的训练数据，就能实现零样本通用动态、双臂、精确和长序列行为。 在真实世界实验证明UMI 的多功能性和有效性，配备FRANKA等机器人，验证后PNP机器人建议优先配置平行指夹持器，在这些实验中，通过 UMI 零样本学习到的策略在不同的人类演示训练中可泛化到新的环境和物体。 |
回复此楼» 猜你喜欢
非全博士求助
已经有18人回复
-
IEEE TBME期刊综述投稿周期求助
已经有0人回复
-
工程热物理与能源利用论文润色/翻译怎么收费?
已经有59人回复
-
爱尔兰都柏林大学工学院全额奖学金招聘博士研究生
已经有1人回复
-
请问下国内的中文EI学报有哪些投稿周期比较快的
已经有7人回复
-
为什么旋转测试台跑了几个月，传感器数据开始出现周期性漂移？
已经有0人回复
-
【机械】从机床防水到正压防护：如何解决高精度旋转平台的“进水失准”死局？
已经有0人回复
-
经验分享】涉水/水下实验频频翻车？扒一扒高精度防水转台的硬核密封逻辑
已经有0人回复
-
基金高中！
已经有694人回复
30