| 查看: 55 | 回复: 0 | |||
[交流]
GPU加持多臂协同，深度拆解 NVIDIA 时序规划框架
|
|
Kinova Gen3 凭借7自由度轻量化、高负载、全开放 Python 生态，成为全球科研机构验证双臂协同算法的硬件平台。但长期以来，即便硬件拥有双机械臂，绝大多数规划算法只能让两只手臂串行作业，一臂操作、一臂闲置，硬件潜力被严重浪费。 NVIDIA最新发布的 ScheduleStream 通用时序规划框架，首次在 Kinova Gen3 双机械臂实物平台完成全场景落地验证，依靠 GPU 并行采样、时序持续动作建模、惰性流采样算法，实现双臂异步并行无碰撞调度，任务总耗时平均减半，多物体杂乱场景规划成功率逼近 99%。今天我们结合论文实测数据，拆解这套框架如何释放 Kinova Gen3 双臂的全部协作能力，同时聊聊双臂机器人商业化落地的核心突破。 在 ScheduleStream 论文的实物验证环节，研究团队选用两台 Kinova Gen3 搭建双臂实验台，这款七轴协作机械臂天生适配多臂协同算法研发，也是目前高校、AI 实验室做具身操作的主流硬件。 Kinova Gen3 搭载 7 个可无限旋转关节，区别于普通六轴机械臂，冗余自由度可以在双臂工作空间重叠时，灵活调整关节姿态规避碰撞，完美匹配 ScheduleStream 中动态臂间碰撞检测逻辑。论文中三类典型场景：平行拾取、顺序拾取、避让拾取，全部依靠 Gen3 冗余关节完成无冲突并行轨迹生成。同时整机轻量化设计，单臂自重仅10kg，最大持续负载4kg，既能抓取苹果、零件等小件物体，也可完成协同搬运、堆叠等重载协作任务，覆盖分拣、装箱、组装全场景测试需求。 ScheduleStream 整套框架完全基于 Python 语言开发，而 Kinova 官方 Kortex API 提供完善 Python 绑定，无需中间转换层，可直接调用逆解、关节控制、末端视觉接口。传统多臂规划框架大多基于 PDDL 文本描述领域规则，调试门槛极高；ScheduleStream 直接通过 Python 代码定义动作、采样器、碰撞约束，搭配 Gen3 原生开发接口，科研人员可快速修改抓取、移动、避障逻辑，大幅缩短算法迭代周期。 Gen3 可选装集成深度视觉模块，搭配 GroundingDINO 开源检测算法，完成论文中水果分拣、多物体堆叠等开放场景识别；内置关节扭矩传感器，持续检测双臂交互碰撞，和 ScheduleStream 运行时动态碰撞约束形成双重安全保障。 Gen3 支持快速模块化组装，30 分钟内即可完成双臂平台搭建，支持固定台面、移动底盘多种安装方式。对比 Franka Panda 等竞品，Gen3 拥有 IP54 防尘防水等级，可拓展到移动双臂机器人研究，这也是 ScheduleStream 团队选择其作为实物验证平台的核心原因之一。 双臂同时运动时，需要实时计算两条轨迹扫掠体之间、机械臂与场景物体之间的碰撞，计算复杂度呈二次增长。传统 CPU 串行采样方案，4 物体装箱任务规划耗时超 22 秒，完全无法满足机器人实时控制需求。Kinova Gen3 单臂逆解、轨迹生成本身计算量不大，但双臂耦合碰撞检测会成倍增加算力消耗，这也是此前双臂并行算法很难落地实物平台的关键阻碍。 现有多臂协同算法大多针对装配、物件交接单一场景定制，不具备通用性。如果实验室先用 Kinova 双臂做分拣，再切换堆叠、打包任务，需要重写全部规则、采样逻辑，研发成本极高。此前没有通用框架，能够统一支撑拾取、堆叠、协作搬运、物体重抓取全场景时序规划。 生成抓取位姿、关节轨迹、逆运动学解的采样操作是 TAMP 核心算力消耗点。传统贪婪采样会无差别生成大量连续参数，哪怕该参数不会出现在最终调度方案中，也要完整计算碰撞、运动可行性，对于 Kinova 双臂多参数耦合场景，算力浪费极其严重。 传统规划仅支持瞬时动作，ScheduleStream 创新性引入带时长的持续动作，完美描述 Gen3 机械臂移动这类占用时间、过程中存在碰撞风险的行为。以 Gen3 单臂 move 动作为例，框架将运动拆分为启动条件、运行持续约束、结束条件： 启动前校验：机械臂初始关节构型、轨迹可行性； 运行中约束：全程实时检测臂间、臂物碰撞（对应 Gen3 七轴扫掠体积碰撞计算）； 结束后生效：更新机械臂末端构型、物体位姿状态。两只 Gen3 手臂的 move 动作可以设置不同启动时间、不同持续时长，异步执行，不再受全局同步时钟限制。论文图 2 三类双臂场景全部依靠持续动作建模实现：轨迹无碰撞则完全并行；轨迹交叉则自动插入时序约束串行；抓取位姿干涉则自动增加避让移动动作。 流采样（Stream）架构，适配 Kinova 运动学批量计算 框架定义三类机器人专用采样器，直接对接 Gen3 底层运动学接口： grasps 采样器：生成物体抓取位姿，适配 Gen3 末端夹爪； ik_qs 逆解采样器：批量求解 Kinova 七轴逆运动学解； motions 轨迹采样器：生成无碰撞平滑关节轨迹。区别于传统串行采样，ScheduleStream 将采样器封装为可 GPU 批量加速的算子，依托 cuRobo CUDA 内核，批量完成 Gen3 双臂逆解、球体碰撞检测，把原本几十秒的采样计算压缩至毫秒级。 惰性流调度算法 Lazy-Stream，大幅降低 Kinova 平台算力消耗 针对采样资源浪费问题，框架提出 Lazy-Stream 惰性规划策略：先用占位符常量做骨架调度规划，仅当调度方案确定需要某组抓取、轨迹参数时，再调用 Gen3 运动学接口真实采样。在 Kinova 双臂 4 物体堆叠仿真测试中，惰性算法相比贪婪 EAGER-STREAM，采样调用次数减少 62%，规划平均耗时从 31.6 秒降至 6.8 秒，完美解决多臂高维参数空间算力爆炸问题。 GPU 批量碰撞检测，适配 Gen3 双臂动态避障需求 多臂并行最大计算开销来自动态碰撞检测，ScheduleStream 将 Gen3 机械臂网格简化为膨胀球体集合，并行批量计算： 臂 - 物体碰撞：轨迹扫掠球体与场景物体网格批量求交； 臂 - 臂碰撞：两台 Gen3 整条轨迹球体对球体并行碰撞校验。论文对比数据清晰体现 GPU 加速价值：搭载 GPU 的 ScheduleStream，各类 Kinova 双臂任务平均规划时间仅 1.9 秒，纯 CPU 版本则需要 31.4 秒，分层算法更是高达 28.3 秒。 设置 5 大类 Kinova 双臂仿真任务 + 21 组实物真实演示，设置四类对照算法：传统串行 TAMP、分层多臂规划、原生 Lazy-Stream、GPU 加速 Lazy-Stream，核心量化数据直观展现框架优势。 1. 任务成功率：GPU 版 ScheduleStream 平均 99%，分层算法仅 64% 分层式算法存在向下细化缺陷，当 Kinova 双臂物体可达性存在约束时极易规划失败。例如 “Franka Hold Any 4” 四物体杂乱抓取任务，分层算法成功率仅 5%，串行 TAMP 100% 但效率极低，ScheduleStream GPU 加速版本成功率 100%。平均所有测试任务：串行算法成功率 99%（仅串行无并行）、分层 64%、原生 Lazy-Stream 91%、GPU 加速版 99%，兼顾高成功率与并行效率。 2. 规划耗时：GPU 加速让 Kinova 双臂规划速度提升 3 倍以上 表格平均数据显示： 传统串行 TAMP：平均首次解耗时 6.5 秒； 分层规划：平均 28.3 秒，大量场景规划失败； 无 GPU ScheduleStream：31.4 秒； GPU 加速 ScheduleStream：仅 1.9 秒。复杂 SO100 四杂乱物体任务，GPU 版本仅 4.4 秒完成规划，分层算法需要 101.4 秒且成功率不足 10%。 3. 任务完成总时长（Makespan）：并行调度平均缩短一半 Makespan 代表双臂从启动到完成全部任务的总时间，直接反映并行调度效率。传统串行算法只能单臂运动，平均完成时长 3.4；分层算法虽支持并行但大量场景无解，有效样本平均 1.7；ScheduleStream GPU 加速版本平均仅 2.0，在双臂无干涉场景可低至 1.5，同等硬件下任务速度提升近一倍。以 Kinova Gen3 实物水果分拣任务举例： 串行规划：4.2 秒，左臂完成再启动右臂； ScheduleStream 并行规划：2.2 秒，双臂同步抓取、移动，全程无碰撞。 4. 21 组 Kinova Gen3 真实世界演示验证 研究团队搭建双 Kinova Gen3 实物工作站，完成分拣、装箱、堆叠、物体交接、重抓取 10 类实操任务： 依靠 GroundingDINO 视觉模块识别无标记水果、零件； ScheduleStream 输出时序调度表，下发至 Kortex API 控制双 Gen3 异步运动； 算法层持续碰撞预判 + Gen3 内置力控双层安全防护； 连续百次重复测试，无碰撞、规划失败率低于 1%。实物视频可查阅项目官网 schedulestream.github.io，直观看到两台 Gen3 手臂在同一工作台同步作业，互不干扰，完美复刻人类双手协同逻辑。 这套软硬件组合补齐了双臂协作落地的算法短板，既能降低高校机器人科研的开发门槛，也为柔性分拣、轻型装配、移动服务机器人等场景提供可行解决方案。未来随着大模型与调度框架深度融合，Kinova 双臂机器人还能进一步简化任务交互，拓展更多真实落地场景。 |
回复此楼» 猜你喜欢
26申博-西工大材料专业-电化学方向-情况有点特殊
已经有6人回复
-
【26年入学】红外半导体/电子信息/嵌入式视觉/诚招博士生 光电教育部重点实验室
已经有0人回复
-
机械工程论文润色/翻译怎么收费?
已经有268人回复
-
AI赋能复合材料力学：机器学习、PINN与多尺度仿真实战
已经有1人回复
-
【全奖博士/科研助理/博后招生】新加坡南洋理工大学机械与航空航天学院
已经有9人回复
-
AI+ CFD！20 个实战案例拆解 fluent、pinn 与智能流体应用
已经有1人回复
-
为什么复合材料+机器学习那么好发文章？
已经有0人回复
-
纳米颗粒分散度差，容易团聚怎么办
已经有1人回复
-
中国机械工程投稿求助
已经有4人回复
-
分享一个可以用于高精度模拟液态碳氢燃料相变的LAMMPS程序
已经有0人回复
