| 查看: 2649 | 回复: 0 | |||
[交流]
视触觉方案：视觉实现触觉方案并在Franka机器人上实验刚性和柔性物体的操控
|
|
通过基于视觉的触觉传感器实现低成本远程操作和触觉反馈，用于刚性和柔性物体的操控 触觉反馈对于人类成功执行复杂而精细的操作任务至关重要。最近触觉传感器的兴起使机器人能够利用触觉并大幅扩展其能力。然而，许多任务仍然需要人工干预/指导。为此，我们提出了一个远程操作框架，旨在根据安装在Franka机器人夹持器上的基于摄像头的触觉传感器的数据为人类操作员提供触觉反馈。引入部分自主性以防止在执行任务期间抓取的物体滑落。值得注意的是，我们完全依靠低成本的现成硬件来实现经济实惠的解决方案。我们在真实硬件上使用三个不同的操作员，展示了该框架在九种不同物体上的多功能性，从刚性物体到柔软易碎物体。 集智联机器人（Plug & Play Robotics），简称PNP机器人，是Franka Robotics和思灵机器人金牌合作伙伴，集智联机器人团队成员均来自于国内外机器人行业知名企业，具有较强的学术背景。PNP机器人致力于为客户提供从硬件到软件的全方位支持，帮助客户快速实现机器人的部署与应用，提升生产效率和智能化水平。 PNP机器人和思灵机器人以及旗下Franka机器人等深度合作，聚焦面向生活和工业场景的单臂/双臂数据采集场景，致力于机器人即插即用（Plug & Play ）技术和具身智能通用解决方案。 通过PNP机器人平台，您可以轻松购买各种机器人相关产品，省心省事省力。我们专注于为用户提供专业、便捷且经济实惠的机器人系统及定制服务，帮助您实现更多可能。 一、介绍 触觉传感器旨在复制机器的触觉，使机器人能够收集与其接触的物体的物理特性信息，包括纹理、形状和柔软度。这种触觉能力在对易碎物体进行精确而精细的操作时尤其重要，例如处理食品或易碎材料。在各种触觉传感器技术中[1]，基于摄像头的触觉传感器由于其高分辨率、稳健性、电路简单和低成本，最近引起了研究界的广泛兴趣 [2]与电子传感器相比，这种传感器更先进。这种传感器通常由可变形弹性体组成，并在其后方集成一个摄像头，用于捕捉接触过程中发生的变形的高分辨率图像。举几个应用例子，手部操作[3]、体积网格重建[4]，以及对软脆物体的操作[5]已在文献中使用配备基于视觉的触觉传感器的自主机器人实现。然而，在许多现实世界的应用中，人类指导仍然是必不可少的，以确保成功的结果。这种必要性出现在从意外故障中恢复、在高度非结构化的环境中操作或记录示例操作等场景中。 二、相关工作 远程机器人控制，通常称为遥操作，是一个活跃的研究领域，有各种方法可以最有效、最准确地实现这一目标 。10]。谢等人讨论了使用操纵杆作为控制界面 [11]。石黑一雄等人深入研究了外骨骼的应用[12]，而 Gliesche 的作品将键盘和鼠标与动觉设备进行了比较 [十三]。Nandikolla 等人表示，控制机器人的另一种方法是通过脑机接口 (BCI)，利用用户的脑信号指挥机器人，让他们以创新的方式与机器人互动 。[14]。虽然这些方法提供了先进的远程操作，但需要注意的是，它们通常需要昂贵的设备，并且需要专业知识和培训。此外，它们中的大多数都是针对特定机器人平台量身定制的。 人机交互中的触觉反馈触觉反馈在实现机器人操控的精确度方面起着重要作用。它包含各种反馈选项和控制器，有助于提高用户对机器人状态和运动的理解。各种反馈都被归类为触觉。振动触觉反馈是一种振动，可以提供有关机器人是否离障碍物更近或更远的感官信息 。22，23]而挤压弹力带可以模拟抓握物体的感觉 [24]。六个自由度控制器施加阻力来引导机器人的运动，例如，当机器人偏离预定路径时进行干预 [二十五，二十六]。然而，这些解决方案高度专业化且成本高昂。此外，将引导力作为触觉反馈有时会导致用户和机器人之间产生混淆和冲突，而寻找平衡是一个活跃的研究领域 [二十七]。此外，触觉设备还包括配备阻力板的手套，以模拟握住物体的感觉 [二十八]，腕戴式触觉设备，为虚拟和增强现实体验提供无控制器触觉反馈 [二十九]，以及用于模拟与虚拟物体交互的设备，触觉反馈集中在手腕上 [三十，31]。 三、问题陈述和方法概述 本研究的主要目标是开发一个遥操作框架，利用现成的、经济高效的硬件来操纵可能很精密的物体。具体来说，该框架应实现以下目标：i）经济高效的遥操作，即实现基于低成本和商用硬件组件的系统，提高其可承受性；ii）精密物体操纵，即能够精确、轻柔地操纵易碎物体；iii）用户友好界面，即为用户设计直观的界面，确保易用性，并降低不同专业水平操作员的学习曲线；iv）实时控制，即提供无延迟的控制和反馈机制。为了实现上述目标，我们提出了图1所示的 T2H 框架 。具体来说，我们考虑在夹持器上配备现成的基于视觉的触觉传感器的机器人机器人，以及能够向用户提供振动反馈的控制器。在我们的设置中，我们采用以下商用和低成本设备：DIGIT 触觉传感器[9]用于机器人，Oculus Quest 2 控制器用于远程操作。触觉传感器数据基于低计算图像处理转换为振动反馈，使用户能够感知到对操作物体施加的压力感。同时，控制器的线速度和角速度转换为机器人末端执行器的速度命令，为用户提供反应灵敏、直观的界面。此外，我们设计了一种部分自主行为，以主动防止操作过程中物体滑落。在实践中，这需要在检测到自主滑落时自动收紧抓握，确保牢固握住物体。触觉反馈和自主行为之间的协同作用使用户能够轻松操纵精密物体（如第五节所示 ），从而降低了这些物体。 四、T2H 框架 所提出的 T2H 框架包括以下关键模块，这些模块将在本节的其余部分详细介绍：i）从触觉传感器到遥控操作控制器的映射， ii）从遥控操作控制器到机器人命令的映射，以及iii） 用于防止滑落的部分自主性。 五、从触觉传感器到触觉反馈的映射 为了根据触觉传感器的图像确定触觉反馈，我们扩展了之前工作中介绍的处理方法。5]。基本思想是计算每个传感器图像相对于背景参考图像的像素变化，背景参考图像可由操作员随时设置，然后将振动反馈与改变的像素数相关联。一般来说，随着抓握力的增强，与背景图像不同的像素比例也会增加，从而产生放大的触觉反馈，并应将其传达给操作员。 六、结论 该T2H框架基于基于视觉的触觉传感器为远程操作提供触觉反馈。我们使用低成本的消费级硬件实现了 T2H，并公开了源代码。该框架利用触觉图像与背景参考图像相比的像素变化来提供振动反馈，增强操作员在对象操作过程中的感知和控制。此外，部分自主功能旨在防止操作任务期间打滑。该系统的有效性已在具有各种物理特性的一系列物体（包括易碎物品）上得到证实，且不会造成损坏。在不同经验水平的操作员之间确认了可用性。未来的工作旨在通过预测人类意图引入主动行为，将 GUI 与耳机集成，并开展涉及多名操作员的广泛用户研究。 |
回复此楼» 猜你喜欢
第一性原理镍基单晶高温合金界面偏析-Acta在审+2篇SCI-求26年博名额
已经有10人回复
-
5--羟甲基糠醛电催化氧化性能测试
已经有0人回复
-
工程热物理与能源利用论文润色/翻译怎么收费?
已经有68人回复
-
请高手指点:用orgin怎样绘制随x轴渐变色，多种颜色波长对应x轴坐标。
已经有0人回复
-
西南地区哪里可以测试LED样品的发光性能？
已经有0人回复
» 本主题相关商家推荐: (我也要在这里推广)
