使用案例

本案例使用eye-to-hand的模式，使用3D摄像头，Python+OpenCV相结合，通过OpenCV进行颜色、形状、yolov8定位，并将符合情况的物块框出，通过相关点位计算出物块相对于机械臂的空间坐标位置。为机械臂设置一套相关动作，根据识别的物块不同放置不同的区域中。

支持末端执行器： myCobot 垂直吸泵V2.0、myCobot 自适应夹爪

支持相机： 奥比中光Deeyea相机、RealSense相机

案例汇总

• 夹爪：颜色识别、YOLO识别
• 吸泵：颜色识别、形状识别、YOLO识别、拆码垛

1 识别案例

根据末端执行器的不同，运行不同的脚本文件。

1.1 吸泵

在PyCharm中，在/AiKit_3D_UI/demos/pump_demos路径下

• 若进行颜色识别，则运行脚本文件 pump_color_demo.py。
• 若进行形状识别，则运行脚本文件 pump_shape_demo.py。
• 若进行YOLO识别，则运行脚本文件 pump_yolo_demo.py。
• 若进行拆码垛程序，则运行脚本文件 pump_depalleting_demo.py。

1.2 夹爪

在PyCharm中，/AiKit_3D_UI/demos/gripper_demos路径下

• 若进行颜色识别，则运行脚本文件 gripper_color_demo.py。
• 若进行YOLO识别，则运行脚本文件 gripper_yolo_demo.py。

注意事项

1. 需要在虚拟环境中运行程序。
2. 若点位抓取不准，则可在对应的脚本文件中修改(x,y,z)的值，以机器正面为基准，x值越大，末端越往前抓取，反之越往后抓取; y值越大，末端越往左抓取，反之越往右抓取; z值越大，末端越往上抓取，反之越往下抓取。可根据实际情况进行调整。
3. 若3D摄像头画面较为昏暗或者过于明亮，若使用Deeyea相机，则打开OpenNI2 Viewer工具关闭曝光模式，以及手动设置曝光控制值。若使用RealSense相机，则打开Intel.RealSense.Viewer.exe工具，设置RGB模型下的曝光控制值。
4. OpenCV图像识别会受环境的影响，若处在较为昏暗的环境下识别效果将大大降低。