MATLAB - 使用 YOLO 和基于 PCA 的目标检测，对 UR5e 的半结构化智能垃圾箱拣选进行 Gazebo 仿真

系列文章目录

前言

本示例展示了在 Gazebo 中使用 Universal Robots UR5e cobot 模拟智能垃圾桶拣选的详细工作流程。本示例提供的 MATLAB 项目包括初始化、数据生成、感知、运动规划和积分器模块（项目文件夹），可创建完整的垃圾桶拣选工作流程。

一、打开项目

要开始使用，请单击文档中的 "打开实时脚本 "或使用 openExample 函数打开示例实时脚本并访问支持文件。

openExample('urseries/GazeboSimulationSemiStructuredIntelligentBinPickingUR5eExample');

 然后，打开 Simulink™ 项目文件。

prj = openProject('BinPickingUR5eSimulation/BinPickingGazeboSimExampleProject.prj');

二、拣选工作流程

该图显示了模拟 cobot 仓储拣选应用的一个完整执行周期所涉及的操作。

 在这个例子中，我们的目标是半结构化分仓，这是一种基于仓复杂性的分类。

从高层次来看，这项任务可分为两个主要模块：

1. 视觉处理/感知模块
2. 运动/轨迹规划模块

2.1 视觉处理或感知模块

这一工作流程可进一步分为两个方面：

• 使用 RGB 数据进行物体检测，即使用深度学习基于 RGB 和深度（RGBD）数据进行物体分割
• 使用三维点云数据进行物体姿态估算，可用于估算已识别物体的姿态，以便进行运动规划

下图显示了使用 YOLOv4 和基于 PCA 的算法进行物体姿态估计的步骤。

感知过程包括两个主要步骤、

1. 训练和验证： 训练基于 RGB 的物体检测网络 (YOLOv4)，并根据测试数据集进行验证。
2. 在线物体检测： 使用预训练的 YOLOv4 网络和主成分分析 (PCA) 对实时原始 RGBD 数据进行姿态估计。

2.2 运动规划模块

该工作流程可分为两个部分：

1. 智能运动规划，从检测到的部件中挑选运动规划逻辑
2. 目标执行，使用 UR5e cobot 执行取放操作的轨迹规划

规划器入口点函数是根据使用 manipulatorRRT 算法示例对 UR5e 进行运动规划和刚体树仿真（用于垃圾拣选）中使用的算法设计的。该算法使用 manipulatorRRT 规划方法，并在碰撞环境中拾取和放置轨迹。

使用 C/C++ 代码生成器生成 MEX 函数可帮助您减少计算时间，从而缩短取放周期时间。

有关为基于操纵器RRT 算法的规划器创建 MEX 函数的更多信息，请参阅在感知环境中生成操纵器运动规划代码示例。

此外，请参阅此示例，进一步了解如何生成 MEX 函数以加速 MATLAB 程序的执行。

三、所需软件

本例需要

1. MATLAB

2. Robotics System Toolbox

3. Computer Vision Toolbox

4. Deep Learning Toolbox

5. Image Processing Toolbox

6. ROS Toolbox

7. Optimization Toolbox

8. Statistics and Machine Learning Toolbox

9. MATLAB Coder (Required if you want to use MEX function for motion planner)

10. Robotics System Toolbox Support Package for Universal Robots UR Series Manipulators

11. Computer Vision Toolbox Model for YOLO v4 Object Detection support package (Required if you want to train a detector model)

本示例需要下载虚拟机以使用预配置的 Gazebo 环境。有关详细信息，请参阅以下部分。

四、下载预装 Gazebo 环境的 ROS 虚拟机

您可以下载已安装 ROS 和 Gazebo 的虚拟机镜像。该虚拟机基于 Ubuntu® Linux®，已进行预配置以支持 ROS Toolbox™ 中的示例。

• 从本页 "下载虚拟机 "部分提供的链接下载并安装 ROS 虚拟机。
• 启动虚拟机。

4.1 本模拟示例中使用的插件和 ROS 驱动程序

1. 模拟 Universal 机器人 UR5e
2. 模拟 Robotiq Epick 抽吸式机械手
3. 模拟英特尔® RealSense™ 深度摄像头 D415

4.2 Universal 机器人 UR5e 使用的接口

Universal Robots UR 系列机械手机器人系统工具箱支持包的功能用于对模拟 Universal Robots UR5e 进行轨迹和关节控制。该支持包提供 universalrobot 类，可通过 ROS 接口进行控制。有关其他功能的更多信息，请参阅此文档页面。

4.3 用于 Robotiq Epick 吸爪的接口

为了模拟虚拟吸力机械手，我们使用了 ROS gazebo_plugin 的定制修改真空机械手插件。该插件的修改方式是在末端执行器本体和目标物体之间创建一个虚拟关节，并设定一定的偏移距离，以便吸附物体。在此过程中，它还会消除物体的碰撞，从而避免与垃圾箱或其他部件发生碰撞。

在激活和停用插件时，会使用 activateVacuum 和 deactivateVaccum 函数来调用相应的 ROS 服务。

4.4 用于英特尔® RealSense™ D415 的接口

为实现感知目的，本应用程序开发使用了英特尔® RealSense™ D415 摄像头深度模块。MATLAB 通过 ROS 使用 IntelRealSense ROS 驱动程序建立连接。除了这些 ROS 驱动程序，D415 传感器的 Gazebo 传感器还使用了 realsense_gazebo_plugin 插件。

用于训练 YOLOv4 深度学习网络的数据集就是使用该传感器创建的。

注：所有插件和修改都包含在下载的虚拟机中，并附有所需的许可证文件。

 4.5 本示例中使用的模拟物理设置

为演示使用 Universal Robots UR5e 的智能垃圾桶拣选工作流程，本示例使用了一个长方体物体和一个矩形垃圾桶。

长方体和垃圾箱的尺寸在 initializeParametersForBinPickingSimulation.m 脚本中提供。

4.6 刚体树和实际环境设置

在本示例中，我们将为运动规划创建一个刚体树（RigidBodyTree）环境。

 本流程图将引导您了解感知、运动规划和积分器模块的可用脚本。

五、参数初始化

初始化脚本 initializeParametersForBinPickingSimulation.m 会在打开此 MATLAB 项目时自动运行。该脚本定义了感知、运动规划和积分器项目模块中使用的一些重要参数。您可以在 Initialize 文件夹中找到该脚本，也可以运行下面的命令打开该脚本。如果使用不同的设置，请相应更改参数。

open("initializeParametersForBinPickingSimulation.m")；

六、打开合成数据生成模块脚本

运行此命令打开脚本，以便使用 Gazebo 仿真环境生成合成数据。

open("DatasetGenerationUsingGazeboExample.mlx")；

七、打开感知模块脚本

运行此命令可打开感知工作流程脚本。该脚本涵盖从训练到物体姿态估计工作流的整个感知流程。

open("DetectionAndPoseEstimationforCuboidSim.mlx")；

八、打开运动规划模块脚本

运行此命令可打开运动规划工作流程的脚本。该脚本包括运动规划模块的 RigidBodyTree 仿真工作流程和 MEX 函数生成步骤。

open("BinPickingMotionPlanningMEXGenerationSim.mlx")；

九、打开积分器脚本

运行此命令可打开积分器工作流程的主脚本。该脚本展示了如何使用感知和运动规划模块，利用仿真 Universal Robots UR5e 创建完整的垃圾拣选应用工作流程。

open("UR5eSimulationBinPickingApplicationIntegratedScript.mlx")；