| 查看: 50 | 回复: 0 | |||
[交流]
双臂机器人 MR 遥操作实验、优势与局限
|
|
BlueRobots上海蓝色萝卜自动化科技有限公司是一家专注于机器人领域的技术型企业，致力于为客户提供高性能硬件和人工智能算法的全套机器人相关软硬件解决方案。公司核心团队成员来自哈尔滨工业大学、上海交通大学等知名院校，以及ABB、Universal Robots等国际机器人公司，拥有十余年的研发制造经验。 BlueRobots在ABB协作机器人应用领域深耕，提供包括机器人系统集成、机器视觉、灵巧手、六维力传感器等在内的成套解决方案。公司通过先进的控制技术和核心技术驱动，专注于协作机器人的应用开发与市场推广，帮助客户实现工业自动化和智能化转型。 通过BlueRobots平台，您可以轻松购买各种机器人相关产品，省心省事省力。我们专注于为用户提供专业、便捷且经济实惠的机器人系统及定制服务，帮助您实现更多可能。 从技术演进看，近年的沉浸式设备（如 VR 头显与精确动作追踪）已显著拓展遥操作的可能：操作者能在远程环境中获得“在场感”，用自然的身体动作直接控制机械臂，而非下发抽象指令。同时，协作机器人（cobot）内置的安全机制与易编程特性，也把遥操作推向家庭与辅助场景。在此基础上，双机械臂平台进一步扩展了行为范围：物体可在两臂间传递、可选用位形更合适的手臂、可在操作时由另一臂稳定或支撑物体。 遥操作（teleoperation）一直是把人类“延伸”到核电站、深海、太空等危险或不便现场的关键技术。早期接口大多基于二维显示屏与手柄，只提供单目视频反馈，缺乏深度线索，操作者需要凭经验在脑中重建三维结构。熟练用户尚能靠经验弥补，非专业用户则常在深度估计和精细运动控制上受挫，可用性下降、任务负担上升。 与此同时，许多日常动作——够取物体、使用工具、应对杂乱环境——至今难以全自动。更务实的思路转向共享控制（shared control）：由人提供高层意图与监督，由机器人处理低层运动细节、保证安全、过滤噪声与延迟。 值得注意的是，遥操作的价值已不止于“远程执行”。当熟练的人通过遥操作示范复杂任务时，系统可同步记录传感器输入与动作，生成高质量示范数据，用于模仿学习或强化学习——遥操作由此成为通往更大机器人自主性的桥梁。 图片 然而既往研究多集中于单臂机器人、固定桌面与结构化场景，双臂拟人构型的遥操作研究相对较少。论文来自 Intuitive bimanual teleoperation in mixed reality with assisted grasp autonomy（混合现实下的直观双臂遥操作与辅助抓取自主）。 为加速抓取评估同时保留真实末端执行器的物理约束，论文把夹爪近似为“底座+两平行指”的三块长方体组合。抓取位姿由其局部坐标系的三条主轴定义：Z轴为接近方向（手指向物体移动的路径），X轴沿手指闭合方向（夹持力轴），Y轴平行于掌面、自腕部向上。这一抽象让碰撞检测与接触判断都能在几何层面快速完成。 图片 系统由两部分计算单元构成。VR头显端（Meta Quest 3）连接一台工作站（RTX 3090），运行基于 Unity 的混合现实界面，负责场景渲染与人机交互；机器人端（NVIDIA Jetson Orin AGX）运行 ROS 与 MoveIt，负责状态发布、轨迹生成与底层控制。两端经 TCP/IP 桥实时双向通信：Unity 订阅机器人状态与传感器数据，同时把用户输入发布回 ROS 执行。视觉感知采用一台 ZED Mini 立体 RGB-D 相机，为场景可视化、分割与抓取规划提供对齐的 RGB 与深度数据。 系统提供两种可切换模式。手动模式基于微分运动学：操作者手的笛卡尔速度经雅可比伪逆映射为关节速度，并在发送前用指数加权移动平均（EWMA，α=0.9）平滑，抑制抖动与微动作；命令仅在按住控制键时发送，静止时才允许切换夹爪开合，避免指令冲突。辅助模式保留手动控制，同时允许用户额外指定目标物体，触发自主抓取。 视觉反馈上，系统实现三种模态：2D 视频流（画面清晰但缺深度线索）、点云渲染（提供度量深度却伴随噪声与遮挡）、立体视觉（左右眼独立成像，模拟双目深度感知）。三者是后续用户实验的核心自变量。 在采样前，系统先对初始位姿做碰撞修正：若与场景点云冲突，先绕局部 Z 轴以 5° 步长预旋转，仍冲突则沿表面法向以 5mm 步长后退，最大后退 4cm。每个候选随后沿接近方向前伸至接触，并以“与场景无碰撞、夹取体积内包含目标点、且不包含其他场景点”三条硬条件判定是否有效，全部满足才进入打分环节。 辅助抓取的核心是一条几何驱动的 Point-and-Grasp 流水线：用户用控制器射线“指向”目标物体并指定接触区域，分割模块（采用 SAM/ViT-L）从 RGB-D 图切出目标掩码，结合深度图重建物体点云与场景点云；以用户选择点为基准估计表面法向与惯性主轴，生成初始抓取位姿，经碰撞修正后，在局部邻域采样 525 个候选位姿（绕 Z 轴 7 档、绕 X/Y 轴各 5 档、沿 Y 轴 3 档平移）；对每个候选做碰撞剔除、沿接近方向前伸至接触，依六项几何标准打分排序；最后将最优位姿经手眼标定变换到机器人基座系，由MoveIt 生成轨迹执行。 打分函数融合六项准则：夹爪两侧受力平衡、抓取体积内内部占据率、接触覆盖度、物体厚度投影、边缘居中度，以及姿态高度、与重力/物体法向的对齐、惯性主轴对齐与接近深度。权重通过单因子分析与留一消融实验标定：单因子分析显示“与物体法向对齐”和“接近深度”区分力最强；消融显示移除它们导致成功率下降最大（分别 −38%、−21%）。惯性项被条件放大——仅在物体存在显著主轴（各向异性阈值 fI＞0.8）时激活，此时对齐主轴可达到 100% 成功率。加权后的打分把调参场景成功率从 76.5%（均权基线）提升至 97.1%。 与主流端到端深度抓取方法不同，这套打分是显式几何规则：可解释、可复现，抓取排序不依赖 GPU 推理。 统计上，完成时间、尝试次数、NASA-TLX 与 SUS 四个指标的条件主效应均显著（重复测量 ANOVA，p＜0.001，偏 η2 介于 0.49–0.77）；事后 Bonferroni 校正显示立体视觉显著优于 2D 与点云，而 2D 与点云之间多数指标无显著差异。辅助与手动的配对 t 检验也全部显著（p＜0.05，Hedges’ g 达 1.45），说明增益并非随机波动。 实验包含三块。几何打分项分析：23 件日常物品（盒状、柱状、球状、不规则）摆成 34 个桌面场景，验证各打分项的独立与联合贡献并标定权重。 视觉模态用户实验：20 名非专业被试（21–61 岁，7 女 13 男）完成取放、旋转、精细叠杯、双臂移交四项任务，采用拉丁方设计平衡顺序，以重复测量 ANOVA 与 Bonferroni 校正统计。立体视觉在完成时间、尝试次数、NASA-TLX 负荷与 SUS 可用性上全面领先：完成时间 19–35 秒（2D 为 30–66 秒）、SUS 87.3（2D 68.8、点云仅 49.8）、NASA-TLX 17.1（2D 33.8、点云 41.5）。点云虽提供“正确深度”，却因视觉噪声与遮挡成为最差模态；这提示直观、连贯的画面比“精确但难读”的数据更重要。 辅助 vs 手动：立体视觉下开启辅助，系统平均 6.24 秒完成“识别+执行”一次稳定抓取，四项任务完成时间普遍缩短、负荷更低，SUS 升至 91.6。 抓取成功率对比：在 40 个此前未见过的杂乱桌面场景、目标条件协议下，与GPD、Contact-GraspNet、HGGD、GraspGen四个代表方法（均用公开预训练权重、不做场景微调）比较。Point-and-Grasp 成功率 92.5%，高于 GPD 87.5%、GraspGen82.5%、Contact-GraspNet80.0%、HGGD 70.0%。小、薄、贴近支撑面的物体（笔、叉、勺）是所有方法的共同难点；几何方法在目标指向场景下表现更稳定、更可预测。 总体而言，这项工作的贡献在于把可视化、手动控制与抓取规划整合为一条统一工作流，并在真实双臂平台上完成验证。它没有把人类从控制回路中移除，而是保留用户对目标选择与任务监督的主导权，只将抓取这一低层环节委托给机器人——这一“保留人在环中”的设计，也是其可解释性与可信度的重要来源。 局限：单一 RGB-D 视角只能重建物体可见侧，可能抓在“看不见的一侧”（论文 Fig.10 给出典型失败案例）；无触觉/力反馈，夹爪闭合时物体滑动或变形无法在线纠偏；工具类连续旋转（如螺丝刀）需反复重新对位、协调双臂，复杂度显著上升；辅助仅覆盖抓取阶段，放置、旋转、移交仍依赖手动操作，整体任务表现取决于操作者后续控制能力。 研究以真实平台验证，沉浸式感知（立体视觉）与选择性自主（辅助抓取）能显著降低非专业用户的远程操控负担；在不引入黑箱模型的前提下，可解释的几何规则在目标条件协议下取得了更高、更可预测的抓取成功率。未来方向包括：引入力/触觉/力反馈等多模态感知，以在接触中自适应；采用多视角或主动感知，以更完整重建物体；攻克接触密集的工具使用任务。 |
回复此楼» 猜你喜欢
东南大学能源与环境学院-林日琛教授课题组-27级博士招生
已经有108人回复
-
东南大学能源与环境学院-林日琛教授课题组-27级博士招生
已经有103人回复
-
机械工程论文润色/翻译怎么收费?
已经有178人回复
-
东南大学能源与环境学院-林日琛教授课题组-27级博士招生
已经有103人回复
-
基金高中！
已经有694人回复
-
生物质转化方向博士招生
已经有0人回复
-
【交流】请教一个非标打磨设备旋转平台的选型问题
已经有0人回复
-
探究金属切削过程中的粘附机理
已经有0人回复
-
英国利物浦大学机械与航空系Dr Zhihui Li课题组诚招2027级CSC博士生
已经有19人回复
-
做回转台这些年，说说精度这个词在实验室和工厂里到底差在哪
已经有0人回复
-
给在读机械专业同学的几句现场实话：课本和工厂之间到底隔着什么
已经有0人回复
