免费文献传递   相关文献

基于显著性检测的黄瓜叶部病害图像分割算法



全 文 :2 0 1 6 年 9 月 农 业 机 械 学 报 第 47 卷 第 9 期
doi:10. 6041 / j. issn. 1000-1298. 2016. 09. 002
基于显著性检测的黄瓜叶部病害图像分割算法
任守纲1 陆海飞1 袁培森1 薛 卫1 徐焕良1,2
(1.南京农业大学信息科技学院,南京 210095;2.国家信息农业工程技术中心,南京 210095)
摘要:针对复杂背景下黄瓜叶部病害分割精度不高的问题,提出了一种基于显著性检测的黄瓜叶部病害图像分割
算法。首先利用超像素将黄瓜图像分块,获取黄瓜叶片的边缘,并提出了一种超像素间权重计算方法和显著种子
选取方法;然后通过流形排序计算显著图,对得到的显著图进行阈值分割,得到二值图像;再将二值图像与原图像
进行掩码运算,得到黄瓜病害叶片;最后利用超绿特征和数学形态学对病害叶片进行分割得到病斑。对常见的黄
瓜病害(白粉病、褐斑病、霜霉病、炭疽病)图像进行测试,结果表明该算法与 Otsu算法和 k-means算法相比,有效解
决了冗余分割问题,错分率均在 5%以内,算法平均执行时间均小于 4 000 ms,分割效果更加精确,为后续构建黄瓜
病害自动识别系统奠定了基础。
关键词:黄瓜;病害图像;显著性检测;流形排序;图像分割
中图分类号:TN911. 73;S126 文献标识码:A 文章编号:1000-1298(2016)09-0011-06
收稿日期:2016-01-19 修回日期:2016-03-28
基金项目:国家自然科学基金项目(61502236)、江苏省博士后科研资助计划项目(1302038B)和江苏省农业三新工程项目
(SXGC2014309)
作者简介:任守纲(1977—) ,男,副教授,主要从事人工智能与农业信息化研究,E-mail:rensg@ njau. edu. cn
通信作者:徐焕良(1963—) ,男,教授,博士生导师,主要从事农业信息化研究,E-mail:huanliangxu@ njau. edu. cn
Segmentation Algorithm of Cucumber Leaf Disease Image Based on
Saliency Detection
Ren Shougang1 Lu Haifei1 Yuan Peisen1 Xue Wei1 Xu Huanliang1,2
(1. College of Information Science and Technology,Nanjing Agricultural University,Nanjing 210095,China
2. The State Information of Agricultural Engineering Technology Center,Nanjing 210095,China)
Abstract:In order to solve the problems of low accuracy of cucumber leaf disease image segmentation in
complex background,a new segmentation algorithm of cucumber leaf disease image based on saliency
detection (SCLDSD)was proposed. The proposed algorithm mainly consists of two parts:saliency
detection in cucumber disease image which is used to get the leaf extraction and image segmentation
which is used to get cucumber leaf disease. The algorithm first used the superpixel segmentation method
to divide the cucumber image into blocks,got the edge of cucumber leaf preferably,and proposed a new
method to calculate the weights among different superpixels. Then the algorithm used Harris points and
convex hull to select saliency seeds. After using manifold ranking to compute the saliency map,the
threshold segmentation was adopted on the obtained saliency map to get the binary map. At last,the
cucumber disease leaf and background of the original image were separated by adding the binary map to
the original image. In order to obtain the disease parts,ExG was used to expand the disparity of green
parts and lesion parts and then threshold was used to carry out the segmentation. Finally, the
morphological operation was processed in order to obtain fuller lesion. The proposed algorithm was tested
on common cucumber disease images. The experimental result shows that the algorithm effectively solves
the redundant segmentation and its more accurate with the error rate less than 5% and the average
execution time of the algorithm less than 4 000 ms in segmentation. From the results it can be concluded
that the algorithm verifies the feasibility and practicality of the saliency detection algorithm in processing
of disease images. Meanwhile it lays the foundation for the subsequent establishment of the automatic
identification system of cucumber disease.
Key words:cucumber;disease image;saliency detection;manifold ranking;image segmentation
引言
农作物病害严重威胁着作物的健康生长,大量
使用农药又影响了农产品的健康品质,因此对农作
物病害早发现、早防治,是提高农作物产量、减少农
药使用量的关键。利用机器视觉进行农作物病害自
动识别已成为农业信息化和智能化研究的重要课
题。在识别过程中,如何在复杂背景下实现高精度
的图像分割对提取作物叶部病害图像至关重要,病
斑分割的精度直接影响到后期特征提取与病害识别
的效果。
近年来,在作物病害分割方面,已开展了一系列
的研究工作[1 - 4]。复杂背景下,病害叶片与正常叶
片绿色部分颜色相似,病害部分与黄褐色泥土颜色
相似,这些对病叶的提取、病害部位的高精度分割都
造成了难度。
针对复杂背景下的黄瓜病害分割难的问题,提
出基于显著性检测的黄瓜叶部病害图像分割算法
(Segmentation algorithm of cucumber leaf disease
image based on saliency detection,SCLDSD) ,采用超
像素预处理、流形排序、哈里斯点及凸包对黄瓜病害
叶片进行提取,并进一步对叶部病害进行图像分割
操作。
1 显著性检测原理
显著性检测的本质是一种视觉注意模型
(Visual attention model,VAM)[5]。VAM 是依据视
觉注意机制建立的,通过视觉获得图像中的显著部
分,用灰度图代表显著度的大小。
显著性检测的基本原理是:对于原始图像,用分
块方法将图像分块,通过计算得到每个像素块的灰
度,用来表示该像素块的显著度。显著性检测可以
简单描述成一个图标号问题[6]:以像素块为结点构
建图,设定一些结点作为显著种子,然后通过显著度
计算函数计算其他结点与显著种子的相似度,形成
最终的显著图。
2 SCLDSD算法框架
基于显著性检测的黄瓜叶部病害图像分割算法
主要分为两部分:①背景分割,主要包括超像素预处
理、超像素节点间权重计算、流形排序以及显著种子
选取。②病害图像分割,主要包括超绿特征分割和
形态学膨胀处理。
2. 1 超像素预处理
超像素分割方法的思想主要受 ZHOU 等[7]提
出的半监督学习分类算法的启发。超像素,即具有
相似方向和相似颜色特征的一系列像素集合,可以
在一定程度上保持良好的目标边界。采用超像素分
割方法对图像进行预处理,结果如图 1 所示,可见较
好地保留了病害叶片轮廓,为后续的病害提取与分
割奠定了基础。
图 1 超像素分割结果
Fig. 1 Results of superpixel image segmentation
2. 2 显著性扩散中的权重度量
将得到的超像素表示为:X ={x1,x2,…,xn},并
以此为结点构建无向图。定义:图中某一结点仅与
其相邻的结点及它们的相邻结点存在边连接,以邻
接矩阵作为图的存储结构。边缘权重在很大程度上
会影响最终显著图的预测[8],许多早期的显著性模
型通常直接使用欧氏距离[9]来计算节点之间的权
重,但该方法对复杂背景下不规则物体的检测效果
较差,不适用于黄瓜叶片病害图像的分割。因此在
综合考虑图像颜色、方差和直方图特征的基础上,提
出了一种权重度量来计算节点之间的相似度,即
wij (= exp - cc(ri,rj)σ2c - cv(ri,rj)σ2v - ch(ri,rj)σ2 )h
(1)
式中 ri、rj———超像素
σc、σv、σh———控制权重的特征参数,分别取
5、2、2[10]
cc(ri,rj)、cv(ri,rj)、ch(ri,rj)分别表示 ri和 rj间颜色、
方差和直方图特征的差异。
颜色特征差异的计算式为
cc(ri,rj)=‖μi - μ j‖2 (2)
式中 μi、μ j———ri和 rj在 RGB空间的颜色均值
方差特征的差异表示为
21 农 业 机 械 学 报 2 0 1 6 年
cv(ri,rj)=
cc(ri,rj)
σ2v(ri)
n(ri)
+
σ2v(rj)
n(rj槡 )
(3)
式中 σv(ri)、σv(rj)———ri 和 rj 间的方差
n(ri)、n(rj)———ri和 rj中的像素数
直方图特征差异计算式为
ch(ri,rj)=
1
2 ∑
d
k = 1
(hk(ri)- hk(rj) )
2
(hk(ri)+ hk(rj) )
2 (4)
式中 hk(ri)、hk(rj)———ri和 rj直方图第 k个分量
d———分量个数,取 256
2. 3 流形排序
流形排序已经广泛应用在图像检索中[11],本文
利用其对超像素进行标记,利用显著性扩散来预测
超像素的显著值。对于超像素集合 X ={x1,x2,…,
xn},定义其标记向量集合 Y =[y1,y2,…,yn],排名
函数向量集合 F =[f1,f2,…,fn],若 xi为显著种
子,则 yi = 1,否则 yi = 0。以式(1)中的 wij形成权重
矩阵 W,W 中无边连接的超像素间的权重为∞,超
像素自身与自身的权重为零[12],则有
F(n + 1)= βWF(n)+(1 - β)Y (5)
式中 F(n)———排名函数向量
β属于[0,1) ,综合考虑 W和 Y,令 β = 1 - β,则
β = 0. 5,通过式(5)进行迭代直至其收敛,假设收敛
时的 F值为 F* ,则有
F* =(I - βW)- 1(1 - β)Y (6)
式中 I———单位矩阵
得到其收敛时的 F* ,作为各个超像素的显著值。
2. 4 显著种子的选取
对于显著性扩散策略,显著种子的确定是关
键[13]。传统的算法多选择图像中心部分作为显著
种子,但是仅对目标位于图像中心位置时效果良好,
鲁棒性不足,因此采用哈里斯算子[14]和凸包进行显
著种子选取。
首先使用哈里斯算子对目标进行检测,大部分
哈里斯点都集中在病害叶片区域,如图 2a所示。
图 2 哈里斯点和凸包
Fig. 2 Harris points and convex hull
假定点集 P,P 的凸包即包含 P 的最小凸多边
形[15]。利用哈里斯点生成凸包,可以进一步优化显
著种子的选取。如图 2b所示,凸包占据大部分的黄
瓜病害叶片和小部分背景。将病害图像分为 2 部
分:m个超像素在凸包内,n 个超像素在凸包外,超
像素有部分位于凸包内也算作凸包内超像素,定义
凸包内外超像素间的平均距离 di为
di =
1
n ∑
n
j = 1
d(rIi,rOj) (7)
式中 rIi———凸包内的超像素
rOj———凸包外的超像素
d(rIi,rOj)———rIi和 rOj之间的欧氏距离
通过设置阈值 T 来计算显著种子,阈值 T 计算
式为
T = 1m∑
m
i = 1
di (8)
凸包内的超像素距离凸包外的超像素越远,其
成为显著种子的可能性越大,因此通过式(8)将凸
包内 di大于等于 T的超像素选为显著种子。
2. 5 病害叶片提取
由式(6)中的 F* 可以得到显著图,将显著图进
行阈值分割,可得到二值图像,将二值图像与原图像
进行掩码运算,可将前背景分离,得到的分割结果如
图 3 所示。由图可见,得到的显著图较为理想,提取
了较完整的叶片,同时有效分离了背景,为后续病害
分割奠定了良好基础。
图 3 叶片提取
Fig. 3 Leaf extraction
2. 6 病害图像分割
在提取出叶片后,对叶片病害进行图像分割。
对于黄瓜叶片来说,正常为绿色,病斑为非绿色,因
此采用超绿特征 ExG[16]对叶片病斑进行分割,得到
灰度图,计算公式为
E(x,y)=
255 (2G - R - B > 255)
2G - R - B (其他)
0 (2G - R - B < 0{ ) (9)
对得到的灰度图进行二值化处理,再进行形态
学膨胀操作使病斑更加饱满自然,最后通过与提取
出的叶片原图进行掩码运算得到最终的病斑分割结
果,如图 4 所示。由图可见,得到了较为精确的病
斑。
2. 7 算法的基本步骤
SCLDSD算法主要包括 6 个步骤:①对黄瓜原
31第 9 期 任守纲 等:基于显著性检测的黄瓜叶部病害图像分割算法
图 4 病害分割
Fig. 4 Disease segmentation
图进行超像素预处理,形成超像素级别的区域块,并
以此构建无向图。②计算图结点之间的权重。③选
取显著种子。④流形排序计算显著图。⑤得到最终
的显著图,提取叶片。⑥利用超绿特征和形态学膨
胀分割出病斑。
算法流程图如图 5 所示。
图 5 算法流程图
Fig. 5 Flow chart of the algorithm
3 实验结果与分析
为了验证 SCLDSD 算法的正确性和有效性,选
取了设施环境下黄瓜白粉病、褐斑病、霜霉病、炭疽
病图像各 50 幅,将其分辨率统一设置为 100 像素 ×
130 像素,实验用计算机 CPU 为 2. 2 GHz,T6670 处
理器,内存 2 GB,Windows 7 操作系统,运行平台为
Matlab 2010。
3. 1 提取叶片实验
对不同病害图像进行病害叶片提取操作,将前
景与背景分离得到分割结果,病害叶片提取效果如
图 6 所示。
图 6 为通过 SCLDSD算法得到的不同病害叶片
的提取结果,均是在复杂背景下进行的叶片提取,其
中炭疽病和霜霉病叶片均与背景中的颜色有很大程
度的重叠,褐斑病病害部分与泥土颜色也存在重叠。
结果显示,本文算法有效分离了复杂背景,得到了较
为完整的黄瓜叶片,验证了 SCLDSD 算法中显著图
生成的有效性。
图 6 叶片提取结果
Fig. 6 Results of leaf extraction
3. 2 病害图像分割实验
为了验证 SCLDSD 分割算法的效果,以最大类
间方差(Otsu)分割算法、k-means 聚类分割算法以
及本文算法对不同黄瓜病害图像进行分割,分割效
果如图 7 所示,图中由上至下分别为不同黄瓜病害
原图以及经 Otsu分割算法、k-means 聚类分割算法、
本文算法处理后的图像。
由图 7 可以看出,Otsu 算法不能很好地消除背
景,造成背景中一些颜色与目标相似的区域也被展
现,即冗余分割。k-means 聚类算法与 Otsu 算法相
比效果有所改善,但是仍受背景影响,且未能完全分
割开病斑,SCLDSD 算法在保持病斑数量完整性的
同时,得到了较为精确的病斑,分割效果较好。
3. 3 分割结果误差分析
不同的分割算法结果会存在一定的误差,使用
Matlab 2010 及以上 3 种分割方法对黄瓜白粉病、褐
斑病、霜霉病以及炭疽病各 50 幅病害图像进行分割
误差分析,结果如图 8 所示。由图可见黄瓜褐斑病
的人工分割结果和 k-means 算法的错分区域,错分
区域可以通过算法分割结果与人工分割结果进行异
或操作得到。
通常采用错分率[17]作为分割结果的评价标准。
错分率计算式为
ER =
Ne
Na
× 100% (10)
式中 ER———错分率,%
Ne———错分区域的总像素数
Na———原图的总像素数
对每种病害的 50 幅图像进行计算得到不同分
41 农 业 机 械 学 报 2 0 1 6 年
图 7 病害分割结果
Fig. 7 Segmentation results of disease
图 8 分割误差
Fig. 8 Segmentation error
割算法的平均错分率,结果如表 1 所示。
表 1 不同算法的平均错分率
Tab. 1 Average error rate of each algorithm %
病害类别
算法
Otsu k-means SCLDSD
白粉病 19. 7 16. 4 4. 5
褐斑病 43. 8 15. 1 3. 2
霜霉病 49. 2 19. 8 2. 1
炭疽病 37. 6 11. 5 2. 4
如表 1 所示,Otsu算法仅采用阈值分割,造成大
量背景冗余,平均错分率较大,分割效果较差;
k-means算法采用聚类原理分割,平均错分率低于
Otsu算法,但也超过了 10%,SCLDSD算法平均错分
率均小于 5%,是一种有效的分割算法。
3. 4 算法的运行时间
在图像处理算法中,时间消耗是一个重要考量
因素,利用 Matlab 2010,对白粉病、褐斑病、霜霉病
以及炭疽病病害图像各 50幅(分辨率均为 100像素 ×
130 像素)进行分割,3 种算法的平均运行时间如
表 2 所示。
表 2 各算法平均执行时间
Tab. 2 Average execution time of each algorithm ms
病害类别
算法
Otsu k-means SCLDSD
白粉病 439 4 254 2 535
褐斑病 497 4 929 2 754
霜霉病 535 5 573 2 672
炭疽病 791 6 756 3 499
从表 2 中发现,Otsu算法仅利用阈值分割,处理
速度较快,时间均不到 1 s,k-means算法由于针对像
素级别进行聚类,时间消耗较大,SCLDSD 算法的时
间消耗主要集中在显著图计算上,因为引入了超像
素,可以越过像素级直接对像素块级别进行操作,所
以即使引入了一些约束和迭代思想,最终的运行时
间仍小于 k-means算法,具有较为合理的时间效率。
51第 9 期 任守纲 等:基于显著性检测的黄瓜叶部病害图像分割算法
4 结束语
在研究现有作物病害尤其是黄瓜叶部病害分割
方法的基础上,提出了一种基于显著性检测的黄瓜
叶部病害分割算法(SCLDSD)。实验结果表明,
SCLDSD算法在分离目标和背景的时候效果较好,
提取了较为完整的黄瓜叶片,对叶片进行病害分割
时能够得到目标完整、精确的病斑,与 Otsu 算法和
k-means算法相比,有效解决了冗余分割的问题,分
割结果更加精确,且具有较小的错分率与合理的运
行时间,是一种有效的黄瓜叶部病害分割算法,对其
他绿色作物病害的分割也有一定的应用价值。
参 考 文 献
1 毛罕平,张艳诚,胡波. 基于模糊 C均值聚类的作物病害叶片图像分割方法研究[J]. 农业工程学报,2008,24(9) :136 -
140.
MAO Hanping,ZHANG Yancheng,HU Bo. Segmentation of crop disease leaf images using fuzzy C-means clustering algorithm
[J]. Transactions of the CASE,2008,24(9) :136 - 140. (in Chinese)
2 王海青,姬长英,顾宝兴,等. 基于参数自适应脉冲耦合神经网络的黄瓜目标分割[J]. 农业机械学报,2013,44(3) :204 -
208.
WANG Haiqing,JI Changying,GU Baoxing,et al. Cucumber image segmentation based on weighted connection coefficient pulse
coupled neural network[J]. Transactions of the Chinese Society for Agricultural Machinery,2013,44(3) :204 - 208. (in Chinese)
3 田杰,韩冬,胡秋霞,等. 基于 PCA和高斯混合模型的小麦病害彩色图像分割[J]. 农业机械学报,2014,45(7) :267 -
271.
TIAN Jie,HAN Dong,HU Qiuxia,et al. Segmentation of wheat rust lesion image using PCA and Gaussian mix model[J].
Transactions of the Chinese Society for Agricultural Machinery,2014,45(7) :267 - 271. (in Chinese)
4 赵瑶池,胡祝华. 基于对数相似度约束 Otsu的自然场景病害果实图像分割[J]. 农业机械学报,2015,46(11) :9 - 15.
ZHAO Yaochi,HU Zhuhua. Image segmentation of fruits with diseases in natural scenes based on logarithmic similarity constraint
Otsu[J]. Transactions of the Chinese Society for Agricultural Machinery,2015,46(11) :9 - 15. (in Chinese)
5 PAN C,PARK D S,YANG Y,et al. Leukocyte image segmentation by visual attention and extreme learning machine[J]. Neural
Computing & Applications,2011,21(6) :1217 - 1227.
6 LI J,LEVINE M D,AN X,et al. Visual saliency based on scale-space analysis in the frequency domain[J]. Pattern Analysis and
Machine Intelligence,2013,35(4) :996 - 1010.
7 ZHOU D,BOUSQUET O,LAL T N,et al. Learning with local and global consistency[J]. Advances in Neural Information
Processing Systems,2004,16(4) :321 - 328.
8 FU K,GONG C,GU Y H,et al. Normalized cut-based saliency detection by adaptive multi-level region merging[J]. IEEE
Transactions on Image Processing,2015,24(12) :5671 - 5683.
9 DOKMANIC I,PARHIZKAR R,RANIERI J,et al. Euclidean distance matrices:a short walk through theory,algorithms and
applications[J]. IEEE Signal Processing Magazine,2015,32(6) :12 - 30.
10 LI H,WU W,WU E. Robust salient object detection and segmentation[M]. Germany:Springer International Publishing,2015.
11 ZHOU J,REN Y,YAN Y,et al. Salient object detection:manifold-based similarity adaptation approach [J]. Journal of
Electronic Imaging,2014,23(6) :704 - 714.
12 严蔚敏,吴伟民.数据结构(C语言版) [M].北京:清华大学出版社,2007.
13 WANG J,LU H,LI X,et al. Saliency detection via background and foreground seed selection[J]. Neurocomputing,2015,
152:359 - 368.
14 ZHANG C,TAO Z,WEI X,et al. A flexible framework of adaptive method selection for image saliency detection[J]. Pattern
Recognition Letters,2015,63:66 - 70.
15 YANG C,ZHANG L,LU H. Graph-regularized saliency detection with convex-hull-based center prior[J]. IEEE Signal
Processing Letters,2013,20(7) :637 - 640.
16 张志斌,罗锡文,臧英,等. 基于颜色特征的绿色作物图像分割算法[J]. 农业工程学报,2011,27(7) :183 - 189.
ZHANG Zhibin,LUO Xiwen,ZANG Ying,et al. Segmentation algorithm based on color feature for green crop plants[J].
Transactions of the CASE,2011,27(7) :183 - 189. (in Chinese)
17 邓晓政,焦李成,卢山. 基于非负矩阵分解的谱聚类集成 SAR图像分割[J]. 电子学报,2011,39(12) :2905 - 2909.
DENG Xiaozheng,JIAO Licheng,LU Shan. Spectral clustering ensemble applied to SAR image segmentation using nonegative
matrix factorization[J]. Acta Electronica Sinica,2011,39(12) :2905 - 2909. (in Chinese)
61 农 业 机 械 学 报 2 0 1 6 年