AiKit 3D UI使用说明
运行AiKit 3D UI 程序之前,确保已完成环境搭建操作。
注意:如果机器设备是280 PI版本,需要在280 PI 系统中提前启动服务器脚本,作为服务端使用
1 启动方式
在PyCharm中,在/AiKit_3D_UI
路径下:
- 在虚拟环境终端运行
python3 main.py
- 在PyCharm中可以直接运行
/AiKit_3D_UI
路径下的main.py
脚本
启动成功之后如下图所示:
myCobot 280 M5、mechArm 270 M5版本
myCobot 280 PI版本
2 功能介绍
语言切换
点击窗口右上角的按钮可以进行语言(中文、英文)之间的切换。
设备连接
选择串口、设备、波特率、服务端IP
M5版本:需选择串口、波特率
280PI版本:需输入服务端IP地址,1.端口号无需输入,默认9000,具体以服务端提示信息为准。
点击 “连接” 按钮进行连接,连接成功之后’连接‘按钮会变成'断开'
点击 “断开” 按钮会断开与机械臂的连接
成功连接机械臂之后,部分灰色按钮将会被点亮,变为可点击状态。
打开相机
当识别程序运行成功后,打开相机.
单击 “打开” 按钮尝试打开相机。 如果无法打开,请检查相机是否连接正确; 摄像头打开成功如下图:
注意:使用前需将摄像头调整至与桌面平行.
算法控制
回到抓取初始点位,点击 “运行” 按钮,会停止当前正进行的操作,回到初始点位。
逐步操作模式 识别:点击 “运行” 按钮开始识别,算法是当前使用的算法。识别成功后方可开启摄像头以及查看实时坐标信息
抓取:点击 “运行” 按钮开始抓取,抓取成功之后,自动关闭识别和抓取,下次使用需要再次点击。
放置:点击 “运行” 按钮开始放置,BinA,BinB,BinC,BinD选择框分别对应BinA,BinB,BinC,BinD 4个存储盒,选择后会放置到指定的存储盒。
抓取点位调节,X 偏移量、Y 偏移量、Z 偏移量分别代表的是机械臂坐标X轴、Y轴的位置、Z轴的位置,可以根据实际需求进行修改。
算法选择,分别有颜色识别 吸泵,形状识别 吸泵,yolov8 吸泵,拆码垛 吸泵,颜色识别 夹爪,yolov8 夹爪,选择对应的算法将进行对应的识别。
坐标显示
当识别程序启动成功后,可以查看坐标信息
机械臂实时坐标显示:点击’实时坐标'按钮开启
识别坐标显示:点击''定位坐标'按钮开启
3 使用步骤
3.1 280、270 M5版本
图中编号顺序即为使用步骤顺序
切换算法时,如果从夹爪算法切换到吸泵算法 或者从吸泵算法切换到夹爪算法,都要执行步骤3 一下,因为要初始化夹爪或者吸泵的某些参数配置。
步骤3执行完成后,按钮颜色会变回蓝色
进行拆码垛算法时,抓取流程只需进行步骤6即可,无需进行步骤7,并且抓取过程中会不识别,但完成一次抓取流程操作后,会继续识别抓取,以此类推
执行步骤3后,才能查看图像坐标,如果图像坐标都为0,则代表没有识别到
执行步骤1后,才能查看当前坐标
xyz偏移量的修改,可在执行步骤6之前进行修改保存,可根据实际抓取情况修改,默认不修改。以机械臂正面为基准,x值越大,末端越往前抓取,反之越往后抓取;y值越大,越往左边抓取,反之往右边抓取;z值越大,越往上抓取,反之越往下抓取。
3.2 280 PI版本
图中编号顺序即为使用步骤顺序
PC端启动UI程序之后,根据服务端运行输出的ip地址和端口号,进行机械臂通信连接操作。
服务端启动脚本方法参考 TCP & IP 通信 章节内容。
切换算法时,如果从夹爪算法切换到吸泵算法 或者从吸泵算法切换到夹爪算法,都要执行步骤4 一下,因为要初始化夹爪或者吸泵的某些参数配置。
步骤4执行完成后,按钮颜色会变回蓝色。
进行拆码垛算法时,抓取流程只需进行步骤7即可,无需进行步骤8,并且抓取过程中会不识别,但完成一次抓取流程操作后,会继续识别抓取,以此类推。
执行步骤4后,才能查看图像坐标,如果图像坐标都为0,则代表没有识别到。
执行步骤2后,才能查看当前坐标。
xyz偏移量的修改,可在执行步骤7之前进行修改保存,可根据实际抓取情况修改,默认不修改。以机械臂正面为基准,x值越大,末端越往前抓取,反之越往后抓取;y值越大,越往左边抓取,反之往右边抓取;z值越大,越往上抓取,反之越往下抓取。
5 注意事项
M5版本机型使用串口波特率连接。
280 PI版本机型使用socket进行通信连接,需要在280 pi系统内启动服务器脚本,作为服务端,Windows PC作为客户端,启动AiKit_3D_UI程序。
选择算法、修改偏移量之后,才能启动识别程序。
识别程序启动成功之后,才能点击摄像头按钮,查看相机画面信息。
进行抓取之后,才能查看坐标显示信息。
若在使用过程中需要切换算法,则先停止当前识别程序,再进行算法切换。