硬件平台:角蜂鸟 + 虚拟机Ubuntu 16.04 + ROS Kinetic 

1. 角蜂鸟AI视觉套件开箱及简要介绍

       定位于嵌入式人工智能感知平台的触景无限科技(北京)有限公司,最近推出了一款名为角蜂鸟的AI视觉套件,官网售价699元,我有幸作为体验者,通过预交押金的方式,拿到一个套件体验体验。因为他们官方只要求提交试用的文章,对平台没有限制,因此索性就写到博客里来了。拿到手不免疑问到底是个什么东西?能干什么用呢?

拿到角蜂鸟,先来看看硬件结构,接口一端是Type C,另一端为接电脑的USB接口,亚克力基座下就是摄像头,处理器芯片和散热器的位置了,小巧简洁。

要想了解角蜂鸟,先来说一说它的那颗芯片,2016年9月英特尔宣布将收购计算机视觉创业公司Movidius,这家公司也是谷歌Project Tango 3D传感器技术背后的功臣,使得Project Tango拥有了实时处理3D图像的能力。大家都知道,AI计算的时候对硬件要求比较高,Movidius这家公司推出了神经网络计算芯片——Movidius 2450,据说能够加速计算,提高一些设备的计算力。相信有不少朋友知道那个蓝色的计算棒(Movidius Neural Compute Stick(简称NCS))。此外,比如大疆的无人机,Google的AI相机Clips,还有Google AIY的Vision Kit等等有都有Movidius芯片的身影。

角蜂鸟和NCS计算棒有什么区别呢,大家可以直观的看到,它们核心都是Movidius芯片,角蜂鸟多了一个定制的摄像头,并非树莓派的2M相机,分辨率常用的为640*360以及1920*1080。此外,NCS用的模型经过转换,角蜂鸟也可以使用,同时针对一些场景和使用案例,角蜂鸟也做了一些优化。角蜂鸟内部有8种定制神经网络模型,从Mnist手写字识别,人脸识别到物体分类,物体识别等。

2. SDK安装

由于说明书上只留下了一个网站,我们随后的信息都是基于官网介绍的,网页免不了更新,所以以网页为准。

https://hornedsungem.github.io/Docs/cn/installation/

根据官网提供的信息,观察自己的核心板的两侧预留有CSI引脚焊盘,拿到的是A0版本。我的电脑是Ubuntu 16.04因此安装对于的版本

git clone https://github.com/HornedSungem/SungemSDK.git hornedSungemSDK

cd ~/hornedSungemSDK/installer/Ubuntu

sudo ./install.sh tuna

查看下install.sh的内容

#!/bin/bash

set -e

#----------------------------------------

sudo apt-get update -y && sudo apt-get upgrade -y
sudo apt-get install -y $(cat "../deps/requirements_apt.txt")

#----------------------------------------

if [[ `lsb_release -rs` == "14.04" ]] ; then
    sudo -H pip3 install --upgrade pip
fi

if [ "$1" = "tuna" ] ; then
    echo "Using TUNA mirror"
    TUNA="https://pypi.tuna.tsinghua.edu.cn/simple"
    sudo -H python3 -m pip install -i $TUNA -r ../deps/requirements_linux.txt
    sudo -H pip3 install -i $TUNA opencv-python opencv-contrib-python
else
    sudo -H python3 -m pip install -r ../deps/requirements_linux.txt
    sudo -H pip3 install opencv-python opencv-contrib-python
fi

#----------------------------------------

sudo cp ../config/99-hornedsungem.rules /etc/udev/rules.d/
sudo chmod +x /etc/udev/rules.d/99-hornedsungem.rules
sudo udevadm control --reload

其中sudo apt-get upgrade -y这句系统升级的最好不要。

主要就是装python3的软件管理器pip3,装numpy和annoy依赖包,以及opencv-python,最后赋予rules规则,让电脑识别到角蜂鸟并获取访问权限等。

从下面的SDK的installer目录文件中,可以看到角蜂鸟细心的准备了各种安装环境的配置,Ubuntu、Mac、树莓派、TK1、CentOS等。这里我的操作主要是Ubuntu下。

1. 官方的SDK中python例程基于opencv 3,所以电脑上需要预装好opencv。这里是我参考的一个地方Ubuntu 16.04安装python版的OpenCV。不确定的同学可以先输入python3来看看能否打开python 3的环境,比如我这里python 3 是3.5.2,然后引入opencv,输入import cv2,因为我的电脑中安装了ROS,它自带了opencv,所以出现ImportError: /opt/ros/kinetic/lib/python2.7/dist-packages/cv2.so: undefined symbol: PyCObject_Type 的报错

然后安装opencv,这里是利用python的虚拟环境,然后安装opencv,做到有效隔离,避免环境安装混乱。

https://www.pyimagesearch.com/2016/10/24/ubuntu-16-04-how-to-install-opencv/

$ cd ~
$ wget https://bootstrap.pypa.io/get-pip.py
$ sudo python get-pip.py
 
$ sudo pip install virtualenv virtualenvwrapper
$ sudo rm -rf ~/get-pip.py ~/.cache/pip
 
$ gedit ~/.bashrc
export WORKON_HOME=$HOME/.virtualenvs
source /usr/local/bin/virtualenvwrapper.sh
 
$ source ~/.bashrc
 
$ mkvirtualenv cv -p python3
 
$ workon cv
 
$ pip3 install opencv-python
 
$ gedit ~/.bashrc
export PYTHONPATH="$HOME/.virtualenvs/cv/lib/python3.5/site-packages:$PYTHONPATH"

这里跟链接里的主要区别是OpenCV我并没有从源码编译,我利用 pip3 install opencv-python 来安装OpenCV

配置好以后就可以试试看了,输入下面两句测试是否安装成功,顺便看看opencv的版本,我这里是OpenCV 3.4.2

import cv2

cv2.__version__

3. 角蜂鸟使用入门

配置好SDK后,我们就可以接入角蜂鸟了,一头接电脑的USB,一头接角蜂鸟的Type C,一根线就搞定。

虚拟机上还需要额外手动点击,才能正常接入,图标上右键,点击连接

接入以后在命令行查看一下

https://hornedsungem.github.io/Docs/cn/quickstart/

cd ~/hornedSungemSDK/examples/python

~/hornedSungemSDK/examples/python$ sudo python3 Hello2018.py

出现Hello 2018就表示启用成功了。

参考资料:

1. ROS下import cv2报错

https://blog.csdn.net/fendoubasaonian/article/details/78536231

https://blog.csdn.net/krais_wk/article/details/80701261

2. 官方资料

角蜂鸟在线资源汇总

官网:http://www.hornedsungem.org/

公众号:微信搜索角蜂鸟,添加关注。

文档:

https://hornedsungem.github.io/Docs/cn/

https://hornedsungem.senscape.cn/Docs/cn/

专栏:

https://zhuanlan.zhihu.com/hornedsungem

Github:

https://github.com/HornedSungem

固件:

https://github.com/HornedSungem/SungemSDK/releases

Github提问:

https://github.com/HornedSungem/SungemSDK/issues

购买:

微信搜索角蜂鸟公众号,在公众号中购买。

技术交流:

欢迎加入角蜂鸟交流群,QQ群聊号码:782248879

角蜂鸟树莓派镜像下载地址:

树莓派上配置角蜂鸟环境,由于网络等原因,容易出现失败的情况,这里提供配置好的树莓派镜像,一个是树莓派Zero,一个是树莓派3B/3B+:

百度云地址链接: 

https://pan.baidu.com/s/1rj1xBfA55xwVsOV9zN6Ifw密码: k1x6

Dropbox地址链接: 

https://www.dropbox.com/sh/gnnjq7x5s24qlsq/AAD-Vcr3z8XlYRts8ndf9E9Ma?dl=0

镜像烧写完成后,不需要运行

install.sh脚本安装环境,直接可以运行示例程序了。