注意:myCobot 280系列仅支持树莓派版本,暂不支持M5版本。

识别图像卡片

       本案例使用 eye-to-hand 的模式,使用摄像头,通过 OpenCV 加载 Tensorflow 训练出来的模型数据,识别图像物块并定位图像物块在视频中的位置。通过相关点位,计算出物块相对于机械臂的空间坐标位置。为机械臂设置一套相关动作,将识别的物块放入桶中。在接下来的章节中将详细介绍整个案例的代码实现过程。

1 程序编译

点击桌面上的ROS1 Shell图标或者桌面下方栏的对应图标,打开ROS1环境终端:

然后输入以下指令:

cd ~/catkin_ws  # 进入工作区的src文件夹中
catkin_make # 构建工作区中的代码
source devel/setup.bash # 添加环境变量

2 摄像头调整

       首先,需要使用python运行mycobot_ai包下的OpenVideo.py。若开启的摄像头为电脑摄像头则需要修改cap_num,具体可参考:注意事项。确保摄像头完全包含整个识别区域,且识别区域在视频中是正正方方的,如下图所示。若识别区域在视频中不符合要求,则需要调整摄像头的位置。

  • 点击桌面上的ROS1 Shell图标或者桌面下方栏的对应图标,打开ROS1环境终端,输入以下命令进入目标文件夹:

cd ~/catkin_ws/src/mycobot_ros/mycobot_ai/aikit_280_pi/
  • 输入以下命令,打开摄像头进行调整
python scripts/OpenVideo.py

2 添加新图像

  • 打开一个控制台终端(快捷键Ctrl+Alt+T),进入目标文件夹
cd ~/catkin_ws/src/mycobot_ros/mycobot_ai/aikit_280_pi/
  • 输入以下命令,启动添加图像的程序。
python scripts/add_img.py
  • 根据终端输入的提示进行操作,在弹出的第二个图像框中进行图像的截取。
  • 图像截取区域完成后,按下回车键,根据终端提示,输入数字(1~4)保存到相对应图像的文件夹,按下回车键即可保存至对应文件夹。

3 案例重现

树莓派版本:

  • 点击桌面上的ROS1 Shell图标或者桌面下方栏的对应图标,打开ROS1环境终端,输入以下命令启动launch文件:

roslaunch aikit_280_pi vision_pi.launch
  • 打开另一个ROS1环境终端(打开方式同上),输入以下命令进入目标文件夹:
cd ~/catkin_ws/src/mycobot_ros/mycobot_ai/aikit_280_pi/
  • 再输入以下命令启动图像识别程序:
python scripts/aikit_img.py
  • 当命令终端出现ok并且摄像头窗口能正常开启时,说明程序运行成功,此时可将可识别的物体放置识别区域进行识别抓取。

注意事项

  1. 当摄像头没有正确自动框出识别区域,需要关闭程序,调整摄像头的位置,可将摄像头向左向右移动等操作。
  2. 若命令终端没有出现ok,且无法识别颜色时,需要将摄像头稍微向后或向前移动一下,当命令终端出现ok时程序即可正常运行。
  3. OpenCV图像识别会受环境的影响,若处在较为昏暗的环境下识别效果将大大降低。

results matching ""

    No results matching ""