| 查看: 854 | 回复: 0 | |||
[交流]
技术干货：UMI框架如何完美适配Franka机器人
|
|
在Franka机器人上部署 UMI 策略 UMI全称为universal manipulation interface， 是斯坦福大大学团队提出通用操纵接口（UMI）通用框架，可以直接从人类演示中学习有能力且可泛化的操纵策略。UMI 夹具是一个手持式演示接口，可捕获足够的信息来学习一些具有挑战性的操作任务，包括洗脏盘子、双手折叠毛衣以及动态物体投掷和分类。该项工作解决了机器人训练中“先有鸡还是先有蛋”的难题。该部署框架，可以直接采用Franka七轴力控机器人实现操作。 系统概述 1.Franka Interface (服务器)：scripts_real/launch_franka_interface_server.py (L7) 2.Franka Interface (客户端): umi/real_world/franka_interpolation_controller.py (L36) 3.Franka Interpolation Controller umI real world /franka_interpolation_controller.py（L71） 步骤 1.按照Franka机器人部署文档在具有实时内核的计算机上安装Polymetis （即我们示例中的 NUC）。Franka机器人部署Polymetis 2.在 NUC 上启动FrankaInterface 服务器。python scripts_real/launch_franka_interface_server.py 3.（可选）现在您应该能够使用另一台桌面上的空间鼠标来控制Franka手臂，您将在该桌面上运行机器人策略。python scripts_real/control_franka.py 4.将eval_robots_config.yaml /robots/robottype 更改为。这将更改umi_env'franka' (L233)中的机器人控制器 5.获取 IP 地址并更新eval_robots_config.yaml /robots/robotip 6.在Franka机器人界面上将质量设置为 1.8 kg将法兰到载荷矢量质心设置为 (0.064, -0.06, 0.03) m 7.然后您就能开始对FrankaArm 进行评估了。 python eval_real.py --robot config=example / eva robots config yam I cup wild vit l ckpt -o data/ eval cup wild example 设备支持 详细可了解--www.pnprobotics.com PNP机器人可以帮助同步配置FRANKA机器人和手持器，为模仿学习提供同步方案。手持式抓手和精心的界面设计，可为具有挑战性的双臂和动态操纵演示提供便携式、低成本和信息丰富的数据收集。为促进可部署的策略学习，UMI 设计的策略界面，具有推理时间延迟匹配和相对轨迹动作表示功能。学习到的策略与硬件无关，可在多个机器人平台上部署。有了这些功能，UMI 框架就能释放新的机器人操纵能力，只需改变每个任务的训练数据，就能实现零样本通用动态、双臂、精确和长序列行为。 在真实世界实验证明UMI 的多功能性和有效性，配备FRANKA等机器人，验证后PNP机器人建议优先配置平行指夹持器，在这些实验中，通过 UMI 零样本学习到的策略在不同的人类演示训练中可泛化到新的环境和物体。 |
回复此楼» 猜你喜欢
ZL-AI-BTAI大小鼠步态精细行为分析系统
已经有0人回复
-
ZL-AG-99Agent 小动物行为视频智能解析系统
已经有0人回复
-
金属材料论文润色/翻译怎么收费?
已经有282人回复
-
ZL-AI-NORAI新物体识别精细行为分析系统
已经有0人回复
-
ZL-AI-NORAI新物体识别精细行为分析系统
已经有0人回复
-
半导体/模具厂采购蔡司三坐标避坑，靠谱代理商推荐
已经有0人回复
-
ZL-AI-SJ AI大小鼠三箱社交精细行为分析系统
已经有0人回复
-
ZL-AI-OFT AI大小鼠旷场精细行为分析系统
已经有0人回复
-
ZL-AI-T AI大小鼠T迷宫精细行为分析系统
已经有0人回复
50