| 查看: 134 | 回复: 0 | |||
[交流]
挖掘16自由度潜力，Allegro Hand实现多物体分批抓取
|
|
BlueRobots上海蓝色萝卜自动化科技有限公司是一家专注于机器人领域的技术型企业，致力于为客户提供高性能硬件和人工智能算法的全套机器人相关软硬件解决方案。公司核心团队成员来自哈尔滨工业大学、上海交通大学等知名院校，以及ABB、Universal Robots等国际机器人公司，拥有十余年的研发制造经验。 BlueRobots在ABB协作机器人应用领域深耕，提供包括机器人系统集成、机器视觉、灵巧手、六维力传感器等在内的成套解决方案。公司通过先进的控制技术和核心技术驱动，专注于协作机器人的应用开发与市场推广，帮助客户实现工业自动化和智能化转型。 通过BlueRobots平台，您可以轻松购买各种机器人相关产品，省心省事省力。我们专注于为用户提供专业、便捷且经济实惠的机器人系统及定制服务，帮助您实现更多可能。 在机器人灵巧手科研领域，Allegro Hand是使用非常广泛的四指科研灵巧手。它拥有拇指加三根手指，共16个主动驱动自由度，手掌尺寸接近成年人手掌，常搭载于Franka协作机械臂末端，用来开展抓取、手内操作算法验证。即便硬件自由度充足，要让Allegro Hand像人一样，在手中同时握住2‑4个分散的小物体，依旧是一个极具挑战的问题。 人类可以采用分批的策略抓取物件：用部分手指捏住第一个物体之后保持关节锁死，再调动其余空闲手指抓取下一个物体。但传统算法大多控制Allegro Hand所有手指同步动作，只完成单个物体包裹抓取；现有的多物体同步抓取方案，又要求物体必须紧密聚集摆放。一旦物体分散，抓取极易失败。 瑞典皇家理工KTH研究团队，围绕Allegro Hand这套硬件，完整开发了SeqGrasp优化算法、SeqDataset大规模仿真抓取数据集、SeqDiffuser扩散抓取生成模型。这套方案每次只占用手部部分自由度逐个抓取物体，已经抓取的物体保留在手内，剩余自由度继续执行后续抓取，最多可连续抓取4个物体。对比基线MultiGrasp，抓取成功率最高提升43.33%；SeqDiffuser抓取生成速度相比传统优化方法快750‑1250倍。 一、硬件背景：Allegro Hand的能力与现实约束 Allegro Hand每根手指配备4个独立驱动关节，合计16自由度，关节无耦合，支持对每个关节独立控制。把算法落地到这款灵巧手做多物体序列化抓取，需要面对几个硬件带来的客观约束： 关节复用冲突：不同夹持模式会共享部分关节。一旦某组关节被一次抓取占用冻结，所有依赖这些关节的其余夹持模式都会失效，算法需要精细化管理关节占用状态； 手掌空间有限：Allegro Hand手掌物理空间有限，当手中已经持有2‑3件物体，留给新物体的操作空间被大幅压缩，极易发生物体之间互相穿透挤压； 仿真与实物鸿沟：仿真环境中稳定的抓取姿态，迁移到真实Allegro Hand上，微小的定位误差就会造成物体脱落。 过去多物体抓取相关研究，大多最多只支持2个物体，或者仅适配球体、圆柱体这类简单几何体；专门面向Allegro Hand的大规模序列化多物体抓取公开数据集处于空白。 二、SeqGrasp：面向Allegro Hand的序列化抓取优化算法 SeqGrasp属于机械手无关的优化框架，论文中主要在Allegro Hand上开展实现与验证。核心思路：每次抓取仅启用Allegro Hand一部分自由度，抓取完成后冻结对应关节，剩余可用自由度留给后续物体，循环执行，最多完成4个物体的抓取序列。 针对Allegro Hand，论文定义7组对抗空间（Opposition Space，OS），分别是：中指‑无名指、食指‑中指、拇指‑食指、无名指‑手掌、中指‑手掌、食指‑手掌、拇指‑手掌。 每一组对抗空间由两部分组成：二元掩码向量，标记该模式需要使用Allegro Hand的哪些关节；一组手部三维接触点集合，代表可以施加夹持力的手部表面。仅依靠一组对抗空间的两个接触点，就可以实现稳定夹持，不需要调动全部16个关节。 算法核心流程（来自论文Algorithm 1）： 在可用对抗空间集合中随机采样一组OS，用于抓取当前目标物体； 使用MALA（Metropolis‑Adjusted Langevin Algorithm）做梯度优化求解抓取位姿；能量函数共6项加权子项，包含力封闭、接触距离、手‑物穿透、手自穿透、物体‑物体穿透、关节限位，保证不破坏已经握在手内的物体，同时姿态符合Allegro Hand硬件关节范围； 将已经使用完毕的对抗空间从可用集合剔除；更新剩余全部对抗空间的关节掩码，若某一组OS依赖的关节全部被占用，则直接移除该OS； 循环执行，直到没有剩余可用对抗空间，或者完成预设物体抓取数量。 整套优化输出的抓取序列全部满足Allegro Hand物理约束，为数据集生成提供基础。 三、SeqDataset：Allegro Hand专用大规模序列化抓取数据集 现有公开多物体抓取数据集大多面向同步抓取，很多适配Shadow Hand，缺少Allegro Hand的序列化样本。SeqDataset是当前规模最大的序列化多物体灵巧手数据集。 源物体取自DexGraspNet共509个物体模型，缩放物体包围盒至0.06‑0.10 m，适配Allegro Hand手掌尺寸； 构造600套四物体组合，做4次随机置换，得到2400组唯一物体序列； 使用SeqGrasp生成原始抓取，总量490万条；在Isaac Gym仿真器中做物理有效性校验； 仿真验证条件：物体密度500 kg/m3，摩擦系数2.0；6个正交方向施加9.8 m/s2加速度持续100仿真步；全部物体保持接触、最大穿透深度小于1 cm，才判定为成功样本； 筛选后保留870K（87万）条有效无穿透抓取样本；数据生成消耗约2500小时A100 GPU算力，数据集开源。 数据集统计得到贴合Allegro Hand硬件特性的客观结论： 手掌参与的对抗空间（无名指‑手掌、中指‑手掌、食指‑手掌）抓取成功率显著高于指尖‑指尖类对抗空间；其中Ring‑Palm成功率45.57%； Thumb‑Index成功率仅5.75%，Thumb‑Palm为17.67%。论文假设：该现象来源于Allegro Hand和人手生物力学结构差异，人类擅长的拇指主导抓取，在这款机械手上稳定性反而偏低； 统计显示96.12%样本具备抓取3‑4个物体的能力，证明这套策略可以有效利用Allegro Hand的自由度资源。 四、SeqDiffuser：基于扩散模型面向Allegro Hand的高速抓取生成 SeqGrasp优化得到的抓取质量高，但计算开销巨大：生成256个抓取样本，SeqGrasp、MultiGrasp约需要900‑1000秒，无法用于机器人实时任务。团队基于SeqDataset训练条件扩散模型SeqDiffuser。 模型基于DexDiffuser架构改造，把Allegro Hand的对抗空间OS作为条件输入： 将选中OS编码为one‑hot特征向量，和抓取表征拼接； 设计二进制扩散选择掩码，扩散加噪、去噪过程只更新当前OS所对应的关节与手部位姿，已经被之前抓取冻结的关节保持不变； 使用BPS（Basis Point Set）对物体点云编码作为物体条件；损失函数仅针对掩码选中维度计算。 实测：生成256个抓取仅需要0.8秒，相比优化方法提速750‑1250倍。论文明确指出它的短板：扩散生成样本普遍存在更大手‑物体穿透深度，仿真可以通过，但很多姿态无法直接在真实Allegro Hand硬件复现，需要后处理优化。 五、仿真与实物实验 对比基线为SOTA同步多物体抓取方法MultiGrasp；实物硬件平台：Franka Panda机械臂 + Allegro Hand灵巧手。测试物体分为两套：3D打印适配尺寸的测试物体集、日常物体集。实物测试执行高加速度动态轨迹、手掌朝下手腕±90°旋转，模拟扰动检验抓取稳定性。 仿真实验（Isaac Gym） 评价指标：成功率SR、最大穿透深度Pene.、多样性Div.、生成耗时Eff. 1‑2个物体：SeqGrasp、SeqDiffuser与MultiGrasp性能接近； 3‑4个物体场景：SeqGrasp成功率显著优于MultiGrasp。MultiGrasp调用Allegro Hand全部自由度同步抓取，单物体接触点更多，但随着物体数量增加，手物挤压造成穿透快速增大，成功率大幅衰减。 所有方法在4物体任务均出现性能下降：3个物体已经占用Allegro Hand手掌大部分空间，第四个物体抓取逼近机械手运动学极限，物体间交互组合爆炸，任务难度急剧上升。 SeqDiffuser速度优势极大，但输出样本穿透数值显著高于SeqGrasp。 真实硬件实验 SeqGrasp：打印物体集，3物体任务10次试验5次成功，4物体任务10次试验5次成功；平均成功率约50%； MultiGrasp：平均成功率仅8.7%，部分试验甚至无法输出有效抓取；同步抓取依赖物体之间互相挤压维持稳定，现实微小定位误差就直接导致物体掉落； SeqDiffuser：实物平均成功率仅13%。主要原因是扩散模型输出的穿透，使得真实Allegro Hand无法复现仿真内的理想姿态。 六、研究局限 当前对抗空间选择、物体抓取顺序为随机采样，目的获取多样性数据集，不是任务最优抓取序列；未来可以通过人类偏好学习得到面向任务的最优抓取时序； 该工作只输出目标抓取关节位姿，没有做机械臂运动规划，无法直接得到无碰撞到达抓取姿态的运动轨迹，因此没有完成完整端到端抓取演示；后续可以结合强化学习，以目标抓取位姿为条件学习运动策略。 Allegro Hand是机器人研究中最主流的科研灵巧手之一，大量研究集中在单物体抓取。该工作跳出“全部手指同步包裹物体”的思路，通过分次占用自由度，充分利用Allegro Hand的16自由度，实现手内连续抓取多个物体。 |
回复此楼» 猜你喜欢
面上第三年申请，改了一遍又一遍，希望能中啊！散金祈福！！！
已经有216人回复
-
医用半导体激光治疗仪选型及产品解析
已经有0人回复
-
机械工程论文润色/翻译怎么收费?
已经有60人回复
-
广东省TZ青年拔尖人才
已经有33人回复
-
面上没中，邀请各位路过的虫友分析一下分数
已经有15人回复
-
实验室净化洁净工程公司排名｜口碑信誉双优品牌
已经有0人回复
