| 查看: 880 | 回复: 0 | |||
[交流]
Franka机器人赋能RoboCulture研究，打造生物实验室智能解决方案
|
|
研究背景：生物实验室自动化的挑战与突破 生物实验因需毫米级精度、长周期多步骤操作及动态生物系统特性，自动化进程面临显著挑战。传统液体处理设备仅能部分自动化工作流程，需人工干预孔板加载、吸头更换等环节；工业解决方案虽自动化程度高，但成本高昂且缺乏灵活性。自主机器人技术在长周期、高失败敏感性实验中仍存应用空白。 为解决以上难题；研究团队研以Franka Research 3机械臂为载体，通过集成计算机视觉、力反馈控制及行为树决策框架，开发了RoboCulture平台，实现了生物实验室关键任务的全面自动化。 该平台不仅降低了自动化门槛，还显著提升了实验的灵活性与可重复性，有效解决了长时间、高精度生物实验中的人工干预问题 实验配置：硬件与系统架构 核心硬件配置 机械臂：7 轴 Franka Research3 机器人，配备 Robotiq 2F-85 夹具，支持毫米级运动控制。 视觉系统：向下安装的 Intel RealSense D435i RGB-D 相机，用于实时环境感知与目标定位。 移液模块：Digital Pipette v2，采用空气位移设计，兼容 10 mL 可拆卸吸头，通过 Arduino 控制线性 actuator 实现精准液量控制。 辅助设备：OHAUS 轨道摇床、3D 打印吸头架与拆卸器、AprilTag 基准标记（用于静态设备定位）。 图1：酵母生长实验装置。1）我们的数字移液器v2，2）一个朝下的英特尔实感D435i相机 3) 配备 Robotiq 2F-85 夹爪的 Franka Emika 机器人，4) OHAUS SHHD1619DG 重型轨道摇床平台， 5）3D打印的移液管吸头移除器，6）生物垃圾桶，7）装有YPD培养基的Falcon试管架，8）3D打印的 移液枪头架，9）装有酵母的96孔板。 软件框架 基于 ROS Noetic 系统，集成 py_trees_ros 行为树库，实现任务调度与状态管理。 感知模块采用 OpenCV 与 FastSAM 算法，视觉伺服控制通过 FrankaPy 接口实现动态轨迹规划。 图2：RoboCulture集成了一个基于视觉的液体处理系统，能够可靠地将液体移液到96孔板中，一个力引导的移液器吸头交换系统，以及细胞生长监测，以实现通用的生物实验室自动化。 生物学实验方案以行为树的形式呈现，这是一种用于处理实验状态的反应式模块化框架。 核心方法：多技术融合的自动化框架 1. 基于行为树的协议建模 采用分层行为树框架，将生物实验协议拆解为模块化任务（如“生长监测”“传代决策”），通过响应式逻辑协调机器人子系统。 树状结构支持任务优先级管理与实时状态调整，例如当感知失败时自动触发重试机制，确保实验流程稳健执行. 图3：RoboCulture使用行为树连接人类水平的生物协议和低级机器人任务。高级 将生长监测和酵母传代培养等实验操作转化为模块化、分层化的行为 由单个行为组成的树。这些树协调关键的机器人子系统，包括光密度感知， 基于视觉的机器人控制和移液，可在复杂的细胞培养过程中实现自主执行和决策工作流。 2. 视觉与力反馈协同控制 视觉伺服系统：通过 Intel RealSense D435i 相机实时定位 96 孔板与移液管尖端，利用 FastSAM 算法分割目标，结合 Canny 边缘检测实现亚像素级定位，闭环控制移液管插入精度。 力引导吸头更换：利用 Franka 机械臂关节扭矩传感器，通过螺旋搜索策略感知接触力，实现移液管与吸头的精准对接，成功率达 100%。 图4：感知流程概述。利用安装在机器人末端执行器上的向下拍摄的摄像头获取原始图像。对原始图像进行预处理，包括高斯模糊、归一化和对比度调整。使用FastSAM（一种图像分割模型）对移液管和孔板进行分割，分别以点提示和文本提示作为输入。采用Canny算法将图像转换为二值边缘表示，并利用从孔板分割中得到的掩码进行掩码处理。通过包围矩形得到矩形的四个角点，利用这些角点计算出一个投影变换，将其变换到一个模板孔板。将该变换应用于模板孔板上的孔位，以获取每个孔在图像中的坐标。利用移液管尖端的分割掩码确定移液管尖端的坐标。可在图像坐标系中计算出移液管尖端与目标孔之间的误差向量，并通过反馈控制器利用该向量控制机器人运动。 3. 光密度感知与生长监测 基于 RGB 图像的光密度分析，将图像转换为 HSV 色彩空间，提取值通道亮度变化，构建细胞生长曲线。 结合动态阈值判断细胞饱和状态，自动触发传代决策，替代传统人工显微镜观察。 图5：孔生长监测演示。RoboCulture随时间捕捉孔的图像，提取 值通道的大小作为图像亮度的度量。跟踪光密度的变化以生成 增长曲线。 实验设计与验证：从单任务到全流程自动化 1. 单任务精度验证 移液准确性：通过 ISO 8655-6重量测试，Digital Pipette v2在1-10 mL量程内，标准误差与随机误差均低于国际标准限值。例如10mL测试中，平均输送体积9.9909mL，随机误差仅0.10%。 吸头插入成功率：在96孔板随机位置测试中，移液管尖端插入成功率达99%，完美插入率（无重试）为92.4%。 图6：移液管尖端装配的螺旋搜索过程演示。初始时，移液管管身与新尖端处于未对齐状态。以移液管管身的起始位置为中心，在XY平面上生成一系列螺旋形路径点轨迹，机器人驱动移液管沿该轨迹移动，同时将移液管压向新尖端的表面。在此过程中，对机器人末端执行器所受的作用力进行实时监测，当监测到作用力显著下降时，最终将移液管下压装入尖端。 表I：数字移液器v2重量测试。将重量测试得到的标准误差ηs和随机误差Cv与ISO 8655-6规定的最大允许误差进行比较。 表II：移液管尖端插入实验结果。针对孔板的每一个随机位置，机器人均按照96个孔位的随机顺序执行移液管插入操作。若机器人在尝试插入移液管时，移液管压在孔边缘而未能插入，但因作用力增大触发了另一次插入尝试且最终成功，则计为一次重试。每个孔位最多允许重试三次，超过三次则判定为插入失败。重试次数和失败次数均以96次插入操作为基数进行统计，并据此计算成功率和首次成功率，其中成功率包含重试后成功的插入情况，而首次成功率仅统计首次尝试即成功的试验。 2. 全流程自主实验 酵母培养实验设计：在96孔板中设置3组初始浓度（50/30/10 百万细胞 /mL），机器人每5分钟监测光密度，当检测到饱和时自动执行传代：将饱和孔内容物分为3份，注入新孔并补充培养基。 图7：酵母生长实验流程。a) 展示实验前后孔板配置，含不同初始浓度和分液方式，每组样本分至孔板下方三行，原孔位弃用。b) 生长监测：定期拍孔内图像提取生长曲线，指导实验。c) 移液管装尖端：用力反馈技术可靠装配新尖端。d) 液体处理：i) 移液管吸培养基；ii) 用视觉伺服控制策略将培养基分至空孔；iii) 从饱和孔吸酵母并分至三个有培养基的孔。e) 移液管拆尖端：移除受污染尖端。 实验结果：系统连续运行15小时，成功完成4次传代操作。新传代孔生长曲线与母孔趋势一致，验证自动化流程的可靠性。 图8：y轴表示图像亮度，它与光学 各样本的密度。彩色实线表示三个初始酵母浓度实验组的生长情况 分别为5000万、3000万和1000万个细胞/mL。灰色实线表示空白组。虚线 表示3倍稀释后新孔的生长情况。淡线对应于单个重复的原始图像值 每组(n=6)，而不透明线显示每组的滚动平均值(窗口大小为5)。垂直灰色带标记 分裂发生的时间点。 3. 对比验证 与人类操作员对比：在5mL移液任务中，Digital Pipette v2的体积偏差方差显著低于人类（p=0.0046），证明机器人操作的稳定性优势。 图9：数字移液器v2与人工移液器在0.2 mL、1 mL和5 mL体积下的重量比较。进行了Levene检验，以比较两组（数字移液器v2与人工）之间的差异。 关键成果与突破 技术创新 首次实现基于通用机械臂的生物实验全流程自动化，突破传统龙门系统的灵活性限制。 开发力反馈驱动的吸头更换机制，解决无菌操作中自动化耗材更换的难题。 性能突破 移液精度达 ISO 标准，15 小时实验中无人工干预，成功率 99%，远超商业液体处理设备的自主运行时长。 光密度监测结果与板读数器高度吻合，证明 RGB 相机可替代专用设备实现生长动态追踪。 科研价值 开源代码与 CAD 模型（https://ac-rad.github.io/roboculture）支持科研团队定制开发，降低实验室自动化门槛。 模块化设计适配 3D 细胞培养等复杂场景，为类器官研究等前沿领域提供技术支撑。 结语 Franka机器人赋能的RoboCulture平台为生物实验室自动化提供了智能解决方案。未来，随着技术的不断发展与完善，RoboCulture有望在更多生物实验场景中发挥重要作用，推动科研效率与准确性的进一步提升。 |
回复此楼» 猜你喜欢
MOCVD可逆气相反应求助
已经有0人回复
-
硅溶胶和硅酸钠水玻璃干燥后的结构为什么出现明显差异？
已经有6人回复
-
工程热物理与能源利用论文润色/翻译怎么收费?
已经有184人回复
-
考核制博士自荐
已经有30人回复
-
0856材料306分调剂
已经有4人回复
-
26机械调剂 | 杭电本科322 | 精通SW/UG/AutoCAD+ANSYS | 求带走
已经有1人回复
-
26机械调剂 | 杭电本科322 | 精通SW/UG/AutoCAD+ANSYS | 求带走
已经有0人回复
-
非晶合金
已经有2人回复
-
学硕287求调剂
已经有0人回复
-
学硕287求调剂
已经有5人回复
