Windows 环境搭建
首先,需要明确的是所有案例实验都是基于python+opencv+pymycobot实现的,所以使用M5版本的机械臂时需要使用Mystudio在机械臂头部和底部分别烧入ATOM固件和M5Stack-basic固件。
使用环境: Windows 10 或者 Windows 11、Python3.9.10+OpenCV+pymycobot、PyQt6、Git、Deeyea相机、RealSense相机
适用设备: mechArm 270 M5、myCobot 280 M5、myCobot 280 PI
注意: RealSense相机需使用USB3.2 Type-C 数据线 + 电脑设备USB3.0端口
注意: MyCobot 280 for Pi 设备通过 Socket 通信与 PC 进行连接。因此,Pi 设备所连接的网络必须与 PC 处于同一网段。请先在 Pi 设备上运行服务器端脚本以启动服务端,再在 PC 上启动 AiKit_3D_UI 程序作为客户端进行连接。服务器脚本的启动方式可以查看 TCP & IP 通信 章节内容。
1 安装Python+pymycobot
pymycobot 是一个和 myCobot 进行串口通讯的 Python 包,支持 Python2、Python3.5 及之后版本。
在使用 pymycobot控制机械臂之前需要搭建Python环境,具体搭建过程请查看 Pyhton + PyCharm 环境搭建 章节。
注意:Python版本应安装 3.9.10的版本
2 安装OpenCV
OpenCV-Python是基于Python的库,旨在解决计算机视觉问题。安装之前需确保Python环境已完成搭建。
打开一个控制台终端(快捷键Win+R,输入cmd进入终端),输入以下命令:
# 二者版本号需保持一致,这里安装4.6.0.66版本
pip install opencv-python==4.6.0.66
pip install opencv-contrib-python==4.6.0.66
安装成功后,可通过下面的命令查看具体安装的版本以及安装位置:
# 也可查看其他python库 格式:pip show 库名称
pip show opencv-python
pip show opencv-contrib-python
3 安装Git
Git是一个开源的分布式版本控制系统,用以有效、高速的处理从很小到非常大的项目版本管理。
Git官方下载地址: https://gitforwindows.org/
点击
Download
选项,开始下载Git
- 双击下载好的exe文件进行安装
- 选择安装位置,默认是在C盘下,如果不想放在C盘下可以进行位置更换。选择好安装位置以后点击next。
- 默认不会在桌面创建图标,并且增加了一个新的特性,将GItBash添加到Windows terminal中,建议勾选。
- 下一步默认,选择Next即可。
- 选择一个默认的编辑器,默认为Vim(Linux的),里面还有Notepad,我选择使用Vim
- 在Git创建分支后的默认的名字(master),如果没有特别的使用默认的设置,点击next即可。
- 下一步默认,选择Next即可。
- 下一步默认,选择Next即可。
- 下一步默认,选择Next即可。
- 下一步默认,选择Next即可。
- 下一步默认,选择Next即可。
- 下一步默认,选择Next即可。
- 下一步默认,选择Next即可。
- 下一步默认,选择Next即可。
- 额外的配置选项,这里面默认都没有选,可以将这两个选框勾选上,支持(node、python虽然还有bug)然后选择install。
- 安装完成后,点击FInish安装完成。
检查
打开一个控制台终端(快捷键Win+R,输入cmd进入终端),输入以下命令查看Git版本信息:
git --version
在后续下载 aikit 包需要用到git,git 的使用可以参考下面链接:
4 奥比中光Deeyea相机的使用
- 使用前提: Python版本为3.9,numpy版本1.21.0及以上,opencv-python版本为4.6.0.66
4.1 下载驱动并安装
点击下载安装:SensorDriver_V4.3.0.22.zip
4.2 下载OrbbecViewer工具
OrbbecViewer是基于Orbbec SDK开发的示例工具,帮助开发者快速使用Orbbec的3D传感器产品。实现了 Orbbec 3D传感器产品的特性功能,包括读取序列号、获取设备类型、相机参数、控制等功能。
下载链接:OrbbecViewer_v1.10.18_202501032218_win_x64_release.zip
使用教程:OrbbecViewer 使用教程
OrbbecViewer工具演示平台:Windows x64
4.3 Deeyea相机参数调整
电脑连接3D相机之后,打开OrbbecViewer工具,调整彩色画面的某些参数,将优先自动曝光和自动曝光两种模式关闭,将曝光控制的值设置为78,部分电脑设置156。
注意:热插拔相机后,需要重新调整参数,避免曝光。
5 RealSense相机的使用
- 使用前提: Python版本为3.9,numpy版本1.21.0及以上,opencv-python版本为4.6.0.66、USB3.2 Type-C 数据线 + 电脑设备USB3.0端口
5.1 RealSense可视化工具
RelalSense相机可视化工具下载链接:Intel.RealSense.Viewer.exe
5.2 RealSense相机参数调整
借助RealSense相机可视化工具,调整彩色画面的某些参数,将曝光控制的值设置为78,部分电脑可能是改为156
6 Aikit_3D_UI的安装
Aikit_3D_UI
是 ElephantRobotics 推出的,适配旗下桌面机械臂的人工智能套装3D 程序包。
项目地址:https://github.com/elephantrobotics/Aikit_3D_UI
6.1 使用Git克隆
双击桌面 Git Bash
图标,进入Git终端。
6.2 根据机型设备选择不同命令
在Git终端切换到桌面后输入以下命令:
- mechArm 270 M5
cd Desktop
# 若使用奥比中光Deeyea相机,则执行此命令
git clone https://github.com/elephantrobotics/AiKit_3D_UI.git
# 若使用 RealSense相机,则执行此命令
git clone -b realsense_UI https://github.com/elephantrobotics/AiKit_3D_UI.git
- myCobot 280 M5
cd Desktop
# 若使用奥比中光Deeyea相机,则执行此命令
git clone -b Deeyea_280_M5 https://github.com/elephantrobotics/AiKit_3D_UI.git
# 若使用 RealSense相机,则执行此命令
git clone -b Realsense_280_M5 https://github.com/elephantrobotics/AiKit_3D_UI.git
- myCobot 280 PI
cd Desktop
# 仅支持使用奥比中光Deeyea相机
git clone -b Deeyea_280_PI https://github.com/elephantrobotics/AiKit_3D_UI.git
然后桌面会出现 Aikit_3D_UI
文件夹。
6.3 打开项目文件
使用PyCharm打开AiKit_3D_UI项目文件夹
6.4 创建虚拟环境
可以使用不同的方式创建虚拟环境,这里介绍两种方式。
6.4.1 使用PyCharm创建
在PyCharm中为AiKit_3D_UI项目文件夹创建虚拟环境
6.4.2 使用终端命令创建
通过终端命令创建,其中virtual_name
是自定义虚拟环境名称:
# 创建
python -m venv virtual_name
# 激活虚拟环境并进入
cd virtual_name/Scripts
activate
6.5 相关依赖包下载安装
在
AiKit_3D_UI
文件夹下,打开终端(前提:确保终端已进入虚拟环境)输入:pip install -r requirements.txt
前提: 已完成虚拟环境的创建,并且终端已经进入虚拟环境。
注意:
requirements.txt
文件位于~/Desktop/AiKit_3D_UI
文件夹下。
至此,Windows环境搭建完成。
7 注意事项
MyCobot 280 for Pi 设备通过 Socket 通信与 PC 进行连接。因此,Pi 设备所连接的网络必须与 PC 处于同一网段。请先在 Pi 设备上运行服务器端脚本以启动服务端,再在 PC 上启动 AiKit_3D_UI 程序作为客户端进行连接。服务器脚本的启动方式可以查看 TCP & IP 通信 章节内容。
AiKit_3D_UI 项目代码有多个分支,请根据不同的机型设备选择对应的分支代码。
Deeyea 3D相机从新拔插之后都需要打开OrbbecViewer工具,调整彩色画面的某些参数,将优先自动曝光和自动曝光两种模式关闭,将曝光控制的值设置为78,部分电脑设置156。