AiKit 3D UI使用说明

1 AiKit_3D_UI 下载

1.1 使用git下载项目

进入网址：https://github.com/elephantrobotics/AiKit_3D_UI/tree/main

  • 使用git克隆，在‘Code’按钮下，以第一个地址为例

28

  • 在文件夹中右键打开git窗口

image-20230109101120225

  • 根据机型设备的不同，输入命令：

    • mechArm 270 M5
    cd Desktop
# 若使用奥比中光Deeyea相机，则执行此命令
git clone https://github.com/elephantrobotics/AiKit_3D_UI.git
# 若使用 RealSense相机，则执行此命令
git clone -b realsense_UI https://github.com/elephantrobotics/AiKit_3D_UI.git
    • myCobot 280 M5
    cd Desktop
# 若使用奥比中光Deeyea相机，则执行此命令
git clone -b Deeyea_280_M5 https://github.com/elephantrobotics/AiKit_3D_UI.git
# 若使用 RealSense相机，则执行此命令
git clone -b Realsense_280_M5 https://github.com/elephantrobotics/AiKit_3D_UI.git

2 启动方式

在PyCharm中，在/AiKit_3D_UI路径下：

  • 终端运行
python3 <路径>/main.py
  • 在PyCharm中可以直接运行/AiKit_3D_UI路径下的main.py脚本

启动成功之后如下图所示：

img

3 功能介绍

语言切换

点击窗口右上角的按钮可以进行语言（中文、英文）之间的切换。
img

设备连接

  1. 选择串口、设备、波特率、服务端IP

  2. M5版本：需选择串口、波特率

    img

  3. 点击 “连接” 按钮进行连接，连接成功之后’连接‘按钮会变成'断开'
    img

  4. 点击 “断开” 按钮会断开与机械臂的连接
    img

  5. 成功连接机械臂之后，部分灰色按钮将会被点亮，变为可点击状态。
    img

打开相机

  1. 当识别程序运行成功后，打开相机.
    img

  2. 单击 “打开” 按钮尝试打开相机。 如果无法打开，请检查相机是否连接正确； 摄像头打开成功如下图：
    注意：使用前需将摄像头调整至与桌面平行.
    img

算法控制

  1. 回到抓取初始点位，点击 “运行” 按钮，会停止当前正进行的操作，回到初始点位。
    img

  2. 逐步操作模式 识别：点击 “运行” 按钮开始识别，算法是当前使用的算法。识别成功后方可开启摄像头以及查看实时坐标信息
    img 抓取：点击 “运行” 按钮开始抓取，抓取成功之后，自动关闭识别和抓取，下次使用需要再次点击。
    img

  3. 放置：点击 “运行” 按钮开始放置，BinA，BinB，BinC，BinD选择框分别对应BinA，BinB，BinC，BinD4个存储盒，选择后会放置到指定的存储盒。

    img

  4. 抓取点位调节，X 偏移量、Y 偏移量、Z 偏移量分别代表的是机械臂坐标X轴、Y轴的位置、Z轴的位置，可以根据实际需求进行修改。此偏移量不支持码垛程序

    img

  5. 算法选择，分别有颜色识别 吸泵，形状识别 吸泵，yolov8 吸泵，拆码垛 吸泵，颜色识别 夹爪，yolov8 夹爪，选择对应的算法将进行对应的识别。
    img

坐标显示

当识别程序启动成功后，可以查看坐标信息

  1. 机械臂实时坐标显示：点击’实时坐标'按钮开启
    img

  2. 识别坐标显示：点击''定位坐标'按钮开启
    image-20230106180304086

4 使用步骤

图中编号顺序即为使用步骤顺序

image-20230106180304086

  • 切换算法时，如果从夹爪算法切换到吸泵算法 或者从吸泵算法切换到夹爪算法，都要执行步骤3 一下，因为要初始化夹爪或者吸泵的某些参数配置。

  • 步骤3执行完成后，按钮颜色会变回蓝色

  • 进行拆码垛算法时，抓取流程只需进行步骤6即可，无需进行步骤7，并且抓取过程中会不识别，但完成一次抓取流程操作后，会继续识别抓取，以此类推

  • 执行步骤3后，才能查看图像坐标，如果图像坐标都为0，则代表没有识别到

  • 执行步骤1后，才能查看当前坐标

  • xyz偏移量的修改，可在执行步骤6之前进行修改保存，可根据实际抓取情况修改，默认不修改。以机械臂正面为基准，x值越大，末端越往前抓取，反之越往后抓取；y值越大，越往左边抓取，反之往右边抓取；z值越大，越往上抓取，反之越往下抓取。

5 注意事项

  1. M5版本机型使用串口波特率连接。

  2. 选择算法、修改偏移量之后，才能启动识别程序。

  3. 识别程序启动成功之后，才能点击摄像头按钮，查看相机画面信息。

  4. 进行抓取之后，才能查看坐标显示信息。

  5. 若在使用过程中需要切换算法，则先停止当前识别程序，再进行算法切换。

results matching ""

    No results matching ""