| 查看: 1085 | 回复: 0 | |||
[交流]
用Franka机械臂打造“触觉+视觉”超级学习库，太震撼了！
|
|
英伟达研究中心，华盛顿大学 TacSL：使用Franka机器人的视觉触觉传感器模拟和学习库 对于人类和机器人来说，触觉（称为触觉感知）对于执行接触丰富的操作任务至关重要。在使用FRANKA机器人过程中触觉感知的三个关键挑战是 （1） 解释传感器信号 （2）在新场景中预测传感器信号 （3）学习基于传感器的策略。对于视觉触觉传感器，由于其与视觉传感器（例如 RGB 相机）的密切关系，解释变得更容易。 然而，预测仍然很困难，因为视觉触觉传感器通常涉及接触、变形、照明和成像，所有这些都是昂贵的模拟；反过来，策略学习一直具有挑战性，因为模拟不能用于大规模数据收集。 英伟达推出了TacSL taxel，这是一个基于 GPU 的视觉触觉传感器模拟和学习库。TacSL可用于模拟视觉触觉图像并提取接触力分布，速度比之前最先进的技术快 200 倍以上，所有这些都在广泛使用的 Isaac Gym 模拟器中完成。此外，TacSL还提供了一个学习工具包，其中包含多个传感器模型、接触密集型训练环境和在线/离线算法，可促进模拟到真实应用的策略学习，形成了使用Franka机器人的视觉触觉传感器模拟和学习库。 在算法方面，引入了一种名为非对称演员-评论家蒸馏 (AACD) 的新型在线强化学习算法，旨在有效且高效地学习基于触觉的模拟策略，并将其迁移到现实世界。最后，我们通过评估蒸馏和多模态传感对接触丰富的FRANKA机器人操作任务的好处，以及最关键的执行模拟到现实的迁移，展示了我们的库和算法的实用性。 更多详细--www.pnprobotics.com 关于Franka Robotics FR3 1. 基本参数 • 自由度（DOF）：7个关节轴。 • 负载能力：3公斤。 • 工作半径：855毫米。 • 重量：18公斤。 • 控制系统：基于x86的PC控制器。 2. 传感器和安全系统 • 力传感器：每个关节都配备有力传感器，能够实时检测施加的力，从而确保机器人能够与人安全互动。 • 碰撞检测：内置碰撞检测机制，能在感知到异常力时立即停止运动。 • 位置传感器：高精度的编码器提供准确的位置反馈。 3. 编程和控制 • 编程语言：支持多种编程环境，如Python、C++、ROS(Robot Operating System）MatlabSimulink. • 用户界面：直观的用户界面，支持拖放式编程，便于无编程经验的用户使用。 • 网络连接：通过Wi-Fi或以太网进行远程监控和控制。 |
回复此楼» 猜你喜欢
高温合金金属球（直径10mm）加工
已经有2人回复
-
定向工程博士如何申请
已经有2人回复
-
工程热物理与能源利用论文润色/翻译怎么收费?
已经有100人回复
-
紧急招收2026年秋季入学博士生1名（河北工大/北京科技大学联合 增材制造/生物材料）
已经有19人回复
-
紧急招收2026年秋季入学博士生1名（湘潭大学 固体废弃物低碳利用湖南省工程研究中心）
已经有20人回复
-
测面比电阻，600-850℃
已经有0人回复
-
【急招】“双一流”高校-新能源材料课题组招收2026年秋季入学博士生1名(湘潭大学)
已经有22人回复
-
祈祷面上基金能中
已经有129人回复
-
含铝高熵合金 真空感应熔炼
已经有0人回复
-
自用分享｜桌面深层文件夹分组映射工具 HyperDesk 免费体验版
已经有2人回复
-
材料博士申请
已经有21人回复
50