| 查看: 697 | 回复: 0 | |||
[交流]
告别笨拙操控！DexFlow 重构动作迁移，机器人灵巧手实现人手级精细作业
|
|
BlueRobots上海蓝色萝卜自动化科技有限公司是一家专注于机器人领域的技术型企业，致力于为客户提供高性能硬件和人工智能算法的全套机器人相关软硬件解决方案。公司核心团队成员来自哈尔滨工业大学、上海交通大学等知名院校，以及ABB、Universal Robots等国际机器人公司，拥有十余年的研发制造经验。 BlueRobots在kinova机器人应用领域深耕，提供包括机器人系统集成、机器视觉、灵巧手、六维力传感器等在内的成套解决方案。公司通过先进的控制技术和核心技术驱动，专注于协作机器人的应用开发与市场推广，帮助客户实现工业自动化和智能化转型。 论文参考地址：https://arxiv.org/pdf/2504.21159v1 在具身智能与人形机器人加速走向实用化的当下，机器人灵巧手已成为决定整机落地能力的核心部件。工业精密装配、医疗微创操作、家庭日常服务、特种场景作业，几乎所有需要精细执行的任务，都高度依赖机器人手部能否像人类一样灵活、稳定、自然地完成抓、捏、转、拧、夹、持等动作。然而，将人类高度灵活的手部动作，无缝、稳定、无失真地迁移到结构迥异的机器人灵巧手上，长期以来都是行业内难以攻克的技术瓶颈。受结构差异、物理约束、时序连续性、接触建模等多重问题限制，绝大多数灵巧手方案只能停留在实验室演示阶段，难以真正进入真实场景投入使用。 近期，武汉大学联合麻省理工学院（MIT）、佐治亚理工学院组成的跨国研究团队，在 arXiv 预印本平台发布全新研究成果 ——DexFlow，一套面向机器人灵巧手的统一姿态迁移与交互优化方法。该技术以分层优化、时序鲁棒约束、接触感知优化为核心，从底层逻辑上解决人类动作向机器人手迁移过程中的畸变、穿透、抖动、接触不稳定等难题，让机器人灵巧手真正实现学得像、抓得稳、动得顺，为灵巧手控制、远程遥操作、人形机器人整机研发提供可直接落地的算法底座，被视为灵巧手技术从实验室走向产业应用的关键突破。 当前机器人灵巧手在动作迁移上面临的核心困境，源于人类与机器人手部在结构、运动方式、交互逻辑上的天然差异难以调和。人类手掌骨骼柔软、关节布局自然、指尖具备细腻的触觉反馈，可根据物体形状与重量实时调整姿态与力度；而主流商用灵巧手多为刚性连杆结构，自由度数量、关节限位、手指长度比例、运动范围均与人类手存在明显区别。 传统迁移方法大多采用直接的运动学映射，简单将人类姿态对应到机器人关节角度，完全忽略结构差异带来的冲突，直接导致机器人手指出现穿模、畸形弯曲、关节超限、姿态怪异等问题，完全违背物理规则，无法完成真实可靠的抓取。与此同时，精细操作的本质是稳定且连续的接触，人类在抓取不同物体时会自动调整接触点、压力与姿态，保证握持稳定；但现有算法普遍对手–物交互的动态性考虑不足，接触状态频繁跳变、判断粗糙、缺乏平滑过渡，机器人要么抓不牢物体，要么用力过度损坏物件，像拧瓶盖、插线头、持笔、取放小件等日常精细任务几乎无法稳定完成。 更关键的是，人类手部运动是连续平滑的时序过程，动作过渡自然、节奏稳定，而现有方法大多只针对单帧姿态优化，缺少帧间约束与轨迹连续性设计，导致机器人动作出现卡顿、突变、抖动、跳跃等问题，不仅观感生硬，还会引发控制震荡，威胁机械结构安全。再加上传统方案泛化性差、计算效率低、依赖大量标注数据、难以适配不同灵巧手与不同物体，进一步限制了灵巧手技术的规模化落地，DexFlow 正是针对这些痛点提出的完整、端到端、高鲁棒性解决方案。 DexFlow并非对现有方法的局部改进，而是一套从头构建、可通用、可落地的动作迁移全流程框架，从人类手部捕捉数据输入开始，依次完成姿态对齐、全局优化、接触检测、局部精细化调整、时序平滑，最终输出可直接驱动机器人的稳定关节角序列，整体设计简洁高效、工程友好。 团队创新性提出全局加局部的分层姿态优化策略，先完成整体对齐，再进行局部逐指优化，先基于MANO手模型将人类手部关键点与机器人灵巧手完成尺度统一与姿态初始匹配，快速得到接近人类姿态的机器人初始配置，解决大角度偏差问题；再按照拇指到小指的固定顺序逐根手指独立优化，大幅缩小求解空间，避免手指自碰撞，同时保证每根手指的弯曲、伸展、旋转都符合机械约束与人类运动习惯，在显著提升精度的同时提高计算效率，让实时动作迁移成为可能。 针对接触不稳定这一核心痛点，团队设计双阈值接触检测机制并配合时序平滑处理，指尖与物体距离小于下限阈值则判定为有效接触，大于上限阈值则判定为脱离，介于两阈值之间则保持上一帧状态，再通过帧间插值抑制噪声抖动，实验数据显示，该机制可解决 68% 的接触状态波动问题，让手–物交互更贴近人类真实行为，显著提升抓取稳定性。 为让机器人动作流畅自然，DexFlow 在优化目标中加入二阶微分损失约束，强制关节角度变化连续、加速度无突变，使运动轨迹满足 C2 连续性，彻底告别卡顿与突变，让机器人运动节奏与人类高度一致。同时，团队构建包含距离、穿透、法向对齐、自碰撞、关节正则五项指标的多目标能量函数，距离能量让指尖贴近物体表面，穿透能量严格禁止穿模，法向对齐提升接触贴合度，自碰撞能量避免手指互相干涉，关节正则保证姿态自然不超限，多重约束协同工作，使 DexFlow可轻松适配球体、方块、不规则异形物等多种物体形态，并兼容ShadowHand、Allegro Hand 等多款主流灵巧手，具备极强的跨平台泛化能力。 为全面验证算法效果，研究团队在 Isaac Gym 物理仿真平台开展大量对比实验，基于行业标准的ShadowHand 与 Allegro Hand 灵巧手，构建包含 292K 个抓取帧的高质量数据集，覆盖 50 种 YCB 标准物体，并与DexGraspNet、SpringGrasp、FRoGGeR、DexRetarget等主流方法全面对标，实验结果展现出明显优势。 DexFlow的语义成功率达到 40.32%，较传统迁移方法提升 7.5 倍，在相同场景下可完成更多精细抓取任务；穿透深度降低 90%，基本消除机器人手指穿模问题，物理交互真实性大幅提升；时序倒角距离降低 50%，轨迹一致性与动作流畅度显著改善。同时，算法支持跨灵巧手拓扑迁移，同一套人类动作可无缝迁移到不同机械手，在姿态精度、抓取稳定性、时序平滑度、物理合理性等维度全面超越现有方案，是少数可直接用于真实机器人控制的算法框架，具备极高的工程落地价值。 DexFlow的意义不仅停留在学术层面，更能为工业、医疗、服务、科研等多个领域带来切实改变。在工业机器人领域，DexFlow 可让机械灵巧手稳定完成精密装配、线缆插接、螺丝锁付、小件分拣等柔性任务，提升自动化产线效率与灵活性，降低人工依赖；在医疗机器人领域，可用于康复机器人手指训练与微创手术遥操作，将医生的精细动作精准传递到手术器械，提升操作精度与安全性；在家庭服务机器人领域，能让机器人稳定抓取水杯、餐具、果蔬、衣物等日常物品，适应复杂多变的居家环境，推动服务机器人真正走进家庭；在科研与教育领域，团队公开的大规模抓取数据集与算法框架为全球研究者提供统一基准，大幅降低灵巧手研发门槛，加速整个领域技术迭代。可以说，DexFlow 不仅是一项算法创新，更是推动机器人灵巧手从实验室演示走向真实场景应用的重要基础设施。 从 “能动手” 到 “手灵巧”，是机器人走进现实世界的关键一步。DexFlow 的出现，填补了跨形态手部动作迁移的技术空白，让机器人灵巧手首次实现高精度、高稳定、高自然度的动作复刻。尽管目前算法仍依赖高质量姿态输入，在多物体堆叠、严重遮挡、动态抓取等极端复杂场景中仍有提升空间，但研究团队已明确未来方向：下一步将重点研发从单目视频直接端到端迁移的能力，降低对高精度捕捉设备的依赖；同时融合视觉、触觉、力觉多模态信息，让机器人手不仅能模仿动作，更能理解任务逻辑，实现感知、决策、执行的完整闭环。随着具身智能快速发展，机器人将越来越多地进入生产、生活、医疗、工业等各个场景，而一双灵活、稳定、智能的手，正是它们融入人类世界的核心载体。 DexFlow以简洁、高效、鲁棒的设计，为灵巧手技术打开全新发展空间，也让我们看到，机器人正在一步步接近人类的精细操作能力。在不远的未来，真正具备人类般灵活与稳定的机器人灵巧手，将成为推动产业升级与社会智能化的重要力量，让机器人更安全、更可靠、更自然地服务于人类社会。 |
回复此楼» 猜你喜欢
北京理工大学 空天学院-招收发动机相关专业（力学、燃烧传热等方向）博士生
已经有2人回复
-
通过高温激光共聚焦显微镜研究CaO–Al2O3–SiO2型炼钢渣中钙铝酸盐夹杂物的溶解动力学
已经有0人回复
-
机械工程论文润色/翻译怎么收费?
已经有213人回复
-
第13期 使用高温共聚焦显微镜原位观察低碳钢的凝固过程
已经有0人回复
-
两种316L不锈钢的凝固模式及δ铁素体：铸态显微组织与HT- CLSM相结合的研究
已经有0人回复
-
金属学报中文版投稿，复审求助
已经有7人回复
-
利用超高温激光共聚焦显微镜分析钢的相变过程
已经有0人回复
-
有做黄铜热轧冷轧的供应商吗？
已经有0人回复
-
使用高温共聚焦显微镜原位观察钛合金的凝固过程
已经有0人回复
-
高温原位观察夹杂物对奥氏体晶界迁移的钉扎作用
已经有0人回复
