全 文 ：第 18 卷 第 1 期
Vol. 18 No. 1
草 地 学 报
ACTA AGRESTIA SINICA
2010 年 1 月
Jan. 2010
基于图像识别技术的豆科牧草分类研究
王敬轩1, 冯 全1 , 王宇通2 , 邵新庆2*
( 1.甘肃农业大学工学院, 甘肃 兰州 730070; 2.中国农业大学动物科技学院, 北京 100193)
摘要: 利用计算机图像处理技术, 依据植物叶片图像的形状特征对 14 种豆科牧草进行分类识别。通过对叶片图像
进行预处理,提取出叶片的轮廓。在此基础上提取了叶片形状的全局特征和局部特征; 全局特征包括叶片的横纵
轴比、矩形度、圆形度等 8 项几何特征和 7 个图像不变矩特征; 局部特征为叶缘粗糙度。利用 PNN( Probabilist ic
neural netw ork)和 BPN( Back propagation netw o rk)作为分类器进行识别分类, 实现了对豆科牧草叶片图像的分类。
识别结果表明, PNN 网络的平均识别率为 85. 1%、BPN 网络的平均识别率为 82. 4%。
关键词:豆科牧草; 叶片识别;图像处理; PNN ; BPN
中图分类号: S126; S541 文献标识码: A 文章编号: 1007-0435( 2010) 01-0037-05
Study on Classification for Leguminous Forage Based on Image Recognition Technology
WANG Jing-xuan1 , FENG Quan1 , WANG Yu- tong2 , SHAO Xin-qing2*
( 1. College of En gineering, Gansu Agricultural University, Gansu Province Lanzh ou 730070, China;
2. Gras sland S cience Departmen t, College of Anim al Science and T echnology, C hina Agricultural University, Beijing 100193, Chin a)
Abstract: T radit ionally , measur e and species classif ication o f plants are implemented by human experts,
w hich is time-consuming and inef ficient. In recent years, information technolog y including image pro cess-
ing and pat tern recognit ion has been intr oduced into plant classificat ion. Compared w ith f low er s w ith 3D
structures, leaves are easier to process by computer due to their 2D structures. This paper int roduces a
method o f classify ing plants of leguminous for ag e based on the leave shape features. First ly, pr e-process-
ing method is used to ex t ract the contour of a leaf . Then g lobal and local features of the leaf shape ar e ex-
tracted. The global features include eight geometric features such as ax is rat io, rectangularity , circular ity,
etc, and seven moment invar iants. Roughness of leaf edge is selected as the local features. Final ly, proba-
bilist ic neural netw or k ( PNN ) and back propagation netw ork ( BPN) are applied to const ruct ing classif-i
ers. T he exper imental results show that the recognit ion r ate of PNN and BPN is 85. 1% and 82. 4% re-
spectively.
Key words: Leguminous forage; Leaf identif icat ion; Image processing; PN N; BPN
图像识别技术是图像处理技术在模式识别领域
的一个重要应用。目前, 其应用已渗透到农业生产
的各个领域,如精细农业作业与农产品长势监测、
农产品自动收获以及农产品产后品质分级及包
装等方面 [ 1]。
随着畜牧业的高速发展, 饲料用粮也大幅度增
长,未来几十年我国粮食的压力并非来自人的口粮,
而是饲料用粮 [ 2]。高产优质人工草地的建设, 发展
节粮型畜牧业, 可有效缓解粮食问题以及解决饲料
短缺[ 3~ 5] 。豆科牧草因蛋白含量高,适口性好, 加之
有固氮的生态作用,在发展草地畜牧业中占有非常
重要的地位。近年来, 以紫花苜蓿(M edicago sat i-
va L. ) 为代表的豆科牧草种植面积不断扩大,
苜蓿草产业得到很大发展, 但病虫草害的控制也是
豆科牧草种植管理中的一项技术难题。本实验旨在
应用计算机图像识别技术构建自动检测和识别豆科
牧草的视觉型鉴别系统, 为实现变量施药奠定一定
的基础,从而有效地防治病虫草的危害。
从植物分类的角度来看, 鉴别叶片是识别植物
最有效和简单的方法。本实验采集了常见豆科牧草
的叶片, 对其进行分类。依据叶片轮廓计算得到形
状的全局特征和局部特征,全局特征包括横纵轴比
在内的 8 项几何特征和具有 RST 不变性的 7 项
叶片不变矩特征, 局部特征为叶缘粗糙度, 共16项
收稿日期: 2009-11-06;修回日期: 2010- 01-08
基金项目:国家科技支撑计划项目( 2007BAD52B06-2)、京承路都市型现代农业走廊工程科技示范项目( D08060500460803)资助
作者简介:王敬轩( 1979- ) ,男,甘肃人,硕士研究生,研究方向为计算机技术与应用研究, E-mail: ew jx2009@ 126. com; * 通讯作者 Auth or
for correspondence, E-mail: shaoxinqing@ 163. com
草 地 学 报 第 18卷
特征组成叶片的特征向量,将特征向量作为输入, 分
别运用 PNN ( Probabilist ic neural netw orks ) 和
BPN ( Back propagat ion netw orks)作为分类器 [ 6] ,
从而达到对多种豆科牧草的分类识别。
1 材料与方法
1. 1 实验地概况
实验叶片采集于北京克劳沃草业基地, 位于北
纬 3934,东经 11628。气候属于典型的暖温带、
半湿润大陆性季风气候。海拔高度 50 m。年平均
气温 11. 4 ,绝对最低温度为- 21. 7 ,绝对最高
温度为 41. 6 。年平均降水量 628 mm, 年际分配
不均,多数集中在 7、8 月, 年蒸发量为 2002 mm, 约
是降水量的 3. 2倍。年日照时数平均为 2600 h, 无
霜期为 211 d。
1. 2 取样方法
选择具有代表性的红豆草( Onobr y chi s v iciae-
f ol ia Scop. )、紫花苜蓿(Medicago sativa L. )、白三
叶 ( T ri f ol ium r ep ens L. )、红三 叶 ( T r if ol ium
p r atense L. )、百脉根( L otus spp. )、小冠花 ( Coro-
ni l la v ar ia L. )、库拉三叶草( T r if ol ium ambiguum
Bieb. )、白花草木樨 (M elilotus albus Desr. )、黄花
草木樨( Meli lotus of f i cinal i s Lam . )、毛苕子 ( Vi-
cia vi llosa Roth. )、沙打旺 ( A str ag alua adsur gens
Pal l. )、扁蓿豆( T rigonella r uthenica L. )、紫云英
( A str agalus sinicus L. )、胡枝子( L esp ed ez a bicolor
T ur cz. )作为计算机识别目标。为了保证获取到不
同生长期的豆科牧草叶片图像, 将采集时间确定在
2009年4月 23日至 09年 6月 10日;一周为一个采
集周期,每次对以上各类豆科牧草各采集 20片大小
不同但有代表性的叶子, 采集时选取长势较好且完
整无损的叶片。
2 图像预处理
将每次采集到的 14种植物的 20片有代表性叶
片通过扫描仪 (型号为 BenQ5560) 制成分辨率为
300 300的 JPG格式的数字图像, 如图 1( a)为红
豆草的一个图像样本; 后对图像进行预处理,其中包
括图像灰度化、滤波、阈值分割、叶片图像形态学处
理和轮廓提取 5个环节。本实验以红豆草图像为模
式植物,演示叶片预处理过程。
图 1 红豆草叶片图像预处理
Fig. 1 The image pre-processing of Onobry chis viciaef olia Scop leaf
2. 1 灰度化图像
扫描获取的叶片图像是RGB 彩色图像, 需进行
图像灰度化处理,因为植物在不同时期颜色不同, 对
植物种类识别造成一定干扰, 将彩色图像灰度化, 并
不影响图像信息的提取, 相反会使处理过程更加简
单和省时。另外,彩色图像存储量大,处理起来很不
方便。由彩色图像转为灰度图像的公式为: Y= R
0. 2989+ G 0. 5870+ B 0. 1141, 其中, R, G, B 分
别为彩色图像中像素的红,绿,蓝 3个分量, Y 是该
像素在灰度图像中的灰度值。图 1( a)的彩色图像
转换成灰度图像的结果见图 1( b)。由于叶片在扫
描过程中易受到设备清洁度等环境因素的影响, 所
获图像存在噪声, 如果直接把这样的图像应用于特
征提取,必然影响叶片特征的提取和分类器识别的
准确率。因此, 在此之前必须对图像去除噪声。采
用 3 3均值滤波对灰度图去噪,得到图 1( c)。
38
第 1期 王敬轩等:基于图像识别技术的豆科牧草分类研究
2. 2 阈值分割与形态学处理
阈值分割的目的是把叶片与其背景分开并得到
二值图像,以便于之后的轮廓提取和形状特征计算。
通过直方图双峰法得知不同种类叶片的灰度阈值并
不一样,所以很难用一个统一的阈值对不同图像进
行分割,必须针对每一幅图像计算其灰度门限。本
文利用 Ostu[ 7]算法进行自动阈值分割, 得到二值图
像。试验中发现由于采集叶片时某些叶片叶柄的存
在,且叶柄长度的参差不齐,对后面形状特征的提取
造成一定影响。采用形态学处理中的开运算对二
值化后的图像去除叶柄, 得到的二值图见图 1( d)。
2. 3 轮廓提取
轮廓提取的目的是从去除叶柄后的二值图像提
取出轮廓信息, 从而计算叶片相应的形状特征。采
用轮廓跟踪法来确定无柄二值图像的轮廓, 具体步
骤为[ 8] :
第一,按从上到下和从左到右的顺序逐次扫描
图像,以第一个像素值为 1的点作为起始点, 如寻找
起始点失败则算法结束, 否则继续。
第二,以逆时针顺序从当前点右边像素点开始搜
索其8个方向上的邻域点,如果发现一个未曾搜索过
的像素值为 1的点,并且该点8个方向上的邻域点含
有0值像素点,则将此 1值像素点置为当前点,同时
记录下相应的链码值。重复该过程直到找到起始点。
第三,根据所记录的链码值,采用 8方向弗里曼
链码法对其进行编码, 从而输出轮廓信息。二值图
处理后的轮廓效果见图 1( e)。
3 叶片特征提取
通常可用于植物叶片分类的特征有形状特征、
颜色特征、纹理特征和光谱反射特征 [ 9]。本文所研
究的 14种豆科牧草中形状之间存在差异,因此选择
形状特征用于分类,提取叶片形状的全局特征和局
部特征。全局特征用来区分不同种类叶片整体形状
上的不相似,而局部特征则可以捕捉到总体形状相
同的不同种类叶片的局部差异。
3. 1 全局形状特征
由于同种叶片的大小比例存在差异,所以直观
的一些特征,如叶片的周长、面积、横轴长、纵轴长等
绝对值特征不能作为分类特征, 而是应选择那些具
有旋转、尺度和平移不变性的形状特征。本实验利
用叶片轮廓图计算一些叶片形状的几何描述, 包括
叶片的内接圆 ( Inscribed circle )、最小包围盒
( Bound-box ) , 外接圆、凸包( Convex hull )等, 依据
文献[ 10]中介绍的特征参量通过计算可以得到 8项
相对值形状特征: 纵横轴比、矩形度、面积凹凸比、周
长凹凸比、球状性、圆形度、偏心率、形状参数。
纵横轴比 ( Aspect ratio )是叶片最小包围盒的
长宽比值:
Aspect r at io=
leng thbounding- box
w idthbounding- box
( 1)
矩形度( Rectangular ity )是叶片面积与叶片最
小包围盒面积的比值:
Rectangularity=
Areaobject
Areabounding- box
( 2)
面积凹凸比( Area convexity )是叶片面积与叶
片凸包面积的比值:
Ar ea convexity= Area
Convex area
( 3)
周长凹凸比( Perimeter convexity )是叶片周长
与叶片凸包周长的比值:
Perimeter convex ity= Perimeter
Convex perimeter2
( 4)
球状性( Sphericity )是叶片面积与叶片凸包周
长的计算值:
Sphericity= 4 Area
Convex perimeter
2 ( 5)
圆形度( Cir cular ity )是叶片内接圆与外接圆半
径的比值:
Circularity=
R inscribed circle
Rexcircle
( 6)
偏心率( Eccentricity )是叶片自身长轴与短轴
的比值:
Eccentricity=
Ax isLeng th long
Ax isLength short
( 7)
形状参数( Fo rm factor )是叶片面积和周长的
计算值:
Form facto r=
4 Ar ea
Perimeter2
( 8)
此 8 项几何特征都具有旋转、平移和尺度不变
性,表 1为图 1( f)中红豆草的 8项几何特征数值。
Hu[ 11] 提出的 7项不变矩也具有旋转、平移和
尺度不变性,所以经常被应用在图像识别领域, 但它
只能用于灰度图像。Chen等 [ 12]在 Hu 的基础上进
行了改进, 使这 7种不变矩可以适用于轮廓。本文
也将 Hu不变矩作为识别特征。表 2 为图 1( f)中红
豆草叶片以及对其缩小一倍和旋转 90后的 7 项
Hu不变矩特征参数,可以看出,旋转和缩小后的图
像与原图像的 7项矩基本保持了不变。
39
草 地 学 报 第 18卷
表 1 红豆草叶片 8 项几何特征数值
Table 1 Values of eight feature parameter s
参数名 Name of parameter 参数值 Value
纵横轴比 Axis rat io 2. 224
矩形度 Rectangularity 0. 719
面积凹凸度 Area convex ity 0. 999
周长凹凸度 Perim eter convexity 1. 242
球状性 Sph erici ty 0. 751
圆形度 Circu larity 0. 368
偏心率 Eccent ricity 2. 235
形状参数 Form factor 0. 487
表 2 红豆草叶片以及缩小旋转后的 Hu特征数值
T able 2 Values of H u feat ur e par ameters of
Narr ow 1 times and Rotation 90
Hu 7项不变矩
Hu s m om ent
invarian ts
原始叶片
Original leaf
缩小 1倍
Narrow 1 t imes
旋转 90
Rotat ion 90
1 1. 5284e-002 1. 5359e- 002 1. 5285 e-002
2 8. 8147e-005 8. 8422e- 005 8. 8145 e-005
3 3. 6678e-008 3. 5869e- 008 3. 6614 e-008
4 3. 1817e-009 3. 5591e- 009 3. 1731 e-009
5 3. 4097e-017 3. 9988e- 017 3. 3929 e-017
6 2. 9529e-011 3. 3155e- 011 2. 9448 e-011
7 4. 3314e-018 4. 2472e- 018 4. 3151 e-018
从表 1和表 2可以看出, 叶片的 8项几何特征
和 7项 Hu不变矩特征不在同一个数量级上, 且存
在较大的差异, 不能直接送入分类器,需要对它们进
行归一化处理。可以采用如下公式对所得特征进行
归一化处理:
F=
F- Fmin
Fmax- Fmin
( 9)
式中 F 为单个样本的某一项特征值, Fmin是所
有样本中该项特征值中的最小值; Fmax是所有样本
中该项特征值中的最大值。
3. 2 局部形状特征
试验中发现,有些不同种类的叶片形状很相似,
如红豆草和紫花苜蓿, 全局特征无法很好的区分它
们。但它们的叶缘却不同, 紫花苜蓿的叶缘有明显
的叶齿,而红豆草的叶缘则显得平滑一些。我们用
边缘粗糙度作为形状的局部特征[ 13] , 它被定义为叶
子轮廓上特定长度上的叶齿数目。我们沿着叶片的
长轴,将整个叶片的轮廓图分成 4部分,如图 2所示
(图中为紫花苜蓿的叶片)。与 Pahalaw at ta[ 13] 的方
法不同,本文取轮廓上靠叶尖的两个部分计算叶齿
数量,叶齿是叶缘上的两个凹点和其内的一个凸点
构成的三角形。通过计算各点曲率极值的方法找出
轮廓上一些显著的凸点和凹点, 曲率的计算采用 [ 14]
的方法。为了减少噪声干扰,判断一个三角形是否
是叶齿时,限定了 3个条件: ( 1)两个凹点必须在平
滑轮廓内部; ( 2)两凹点间的距离必须大于一定阈
值; ( 3)凸点到两个凹点连线的垂直距离必须大于一
定阈值。计算得到图 2 中叶片粗糙度为 7。同样,
在送入分类器之前,粗糙度也需要进行归一化处理。
图 2 叶片边缘粗糙度计算, l是叶片长度
Fig.2 Coarseness calculation of leaf margin, l- length of the leaf
4 PNN分类器
人工神经网络 ( A neural netw o rks, ANN) )是
由大量的、简单的处理单元(称为神经元)广泛地互
相连接而形成的复杂网络系统, 它反映了人脑功能
的许多基本特征, 是一个高度复杂的非线性动力学
系统[ 15]。神经网络具有大规模并行、分布式存储和
处理、自组织、自适应和自学习能力, 特别适合处理
需要同时考虑许多因素和条件的、不精确和模糊的
信息处理问题。目前, 在人工神经网络的实际应用
中,常见的一种神经网络模型是 BPN 网络, 它是一
种多层前馈型网络, 其神经元的传递函数是 S型函
数,输出量为 0到 1之间的连续量,它可以实现输入
到输出的任意非线性映射。由于权值的调整采用反
向传播( Back Propagat ion)学习算法, 因此称其为
BP 网络。PNN 是径向基函数网络的一个重要分
支。基于概率统计思想,由 Bayes分类规则构成,采
用 Par zen 窗函数密度估计方法估算条件概率, 最后
进行模式分类。如图 3所示,它有 3层网络:第一层
为输入层,第二层为隐层,第三层为输出层。其中,
隐层神经元个数与输入样本矢量的个数相同,输出
层神经元个数等于训练样本数据的种类个数。
5 网络训练及测试结果分析
本文以 Matlab 7. 0 为平台, 实现了上述预处
理、特征提取算法以及神经网络的构建,开发一个具
有交互功能的豆科牧草分类系统。经过处理,得到
红豆草等 14种豆科牧草的 1960 片叶片的特征向
40
第 1期 王敬轩等:基于图像识别技术的豆科牧草分类研究
量,从而构成了网络训练样本和测试样本。从每种
叶片的 140片中随机地选择 40片,共得到 560片作
为网络训练样本, 剩余的 1400片作为分类测试样
本。分别训练 PNN 和 BPN两个网络,然后将 1400
片作为测试样本的特征向量输入到已经训练好的两
个网络中。分类结果见表 3所示。
图 3 PNN网络结构图
F ig . 3 Netw ork st ructur e of PNN
注: R= 输入向量的维数, Q= 输入目标样本数目= 第 1层神经元数目, K= 输入向量类别数目= 第 2层神经元的数目
Note: R= T he dim ens ion of in put vector, Q= T he dest inat ion number of s amples= The number of firs t layer
neu rons, K= Th e number of input vector s type= T he number of s econd layer neurons
表 3 PNN 与 BPN分类结果
T able 3 T he results o f PNN and BPN classifying
样本数
Num ber of
Samples
PNN 正确分类数
Correct n umber of PNN
BPN
正确分类数
Corr ect number of
BPN
PNN 识别率
Recognit ion Rate of
PNN( % )
BPN 识别率
Recognit ion Rate
of BPN( % )
1400 1192 1154 85. 1% 82. 4%
由表 3 可见, PNN 网络的识别率略高于 BPN
网络,究其原因是 PNN 采用 Parzen 概率密度函数
估计方法, 并使用 Bayers分类规则进行判别; 从整
个网络的训练和测试过程发现, PN N 网络较 BPN
网络稳定,其过程简单, 收敛速度快,因此在此分类
试验中取得了较好的分类效果。PN N 分类器的识
别率为 85. 1%、BPN 分类器的识别率为 82. 4%。
由于我们单纯采用形状特征作为分类依据, 而一些
豆科牧草的叶片形状很相似, 不能很好区别, 识别率
不是特别理想。因此在以后的试验中, 我们将考虑
在叶片几何特征的基础上加入叶片的纹理特征, 以
求进一步提高叶片的识别率。另外,在今后的研究
中将不断增加要识别的豆科牧草种类, 为实现豆科
牧草的变量施药技术做准备。
参考文献
[ 1] 史春健,邱白晶,刘保玲,等.动态图像处理技术在农业工程中
的应用[ J ] .中国农机化, 2004, ( 2) : 28-31
[ 2] 任继周,南志标,林慧龙. 以食物系统保证食物( 含粮食) 安全
[ J ] .中国牧业通讯, 2005, 14( 3) : 1-10
[ 3] 潘国艳,欧阳竹,李鹏.华北平原主要优质牧草的种植模式与产
业发展方向[ J] . 2007, 3(2) : 15- 21
[ 4] 黄文慧, 郑卓杰. 建立我国农区三元结构生产体系的可能及
构想[ J] .草地学报, 1997, 5( 3) : 148-153
[ 5] 刘玉杰, 李向林,何峰. 张家口市塞北管理区种草养畜的成本
收益分析[ J] .草地学报, 2008, 16( 3) : 283- 288
[ 6] 葛哲学,孙志强.神经网络理论与 MATL AB R2007实现[ M ] .
北京: 电子工业出版社, 2008. 46
[ 7] Otsu N. Discrimin ant and least s quare thresh old selection [ C] .
Proceedings of 4th Interat ional Joint C on feren ce on Pat tern
Recognit ion, Kyoto, Japan , 1978. 592- 596
[ 8] 贺鹏, 黄林.植物叶片特征提取及识别[ J] .农机化研究, 2008,
6( 6) : 168-171
[ 9] 冀荣华.变量施药系统中植物识别与定位方法研究[ D] : [学位
论文] .北京: 中国农业大学, 2008: 49- 50
[ 10] 王晓峰,黄德双.叶片图像特征提取与识别技术的研究[ J ] . 计
算机工程与应用, 2006( 3) : 191- 192
[ 11] H u M K. Visual Pattern Recognit ion by Moment Invariants
[ J] . IRE Tr ansact ion Informat ion T heory, 1962, 8 ( 2) : 179-
187
[ 12] Chen C C. Im proved M om ent In variants for S hap e Discrim ina-
t ion [ J ] , Pat tern Recognit ion, 1993, 26( 5) : 683-686
[ 13] Pah alaw at ta K K. Plant S pecies Biomtric Usin g Feature H ier-
ar chies[ D] : [ Dis sertat ion] . Ch ristchu rch, U niversi ty of Can-
terbu ry, 2008: 56-57
[ 14] Wolfe R R, Sandler W E . An algor ithm for d etection usin g
digital image analysis[ J ] . T rans of th e ASAE, 1985, 28( 2 ) :
641-642
[ 15] 冯全, 邵新庆, 王赟文. 基于 BP 网络的典型草原群落自然演
替预测模型研究[ J] .草地学报, 2008, 16( 3) : 252-255
(责任编辑 米 佳)
41