全 文 :2015年9月
第36卷 第9期
计算机工程与设计
COMPUTER ENGINEERING AND DESIGN
Sep.2015
Vol.36
No.9
基于Android平台的苹果叶病害远程识别系统
王梅嘉1,何东健2+,任嘉琛2
(1.西北农林科技大学 信息工程学院,陕西 杨凌712100;
2.西北农林科技大学 机械与电子工程学院,陕西 杨凌712100)
摘 要:为快速准确识别苹果叶部病害,研究基于Android移动平台的苹果叶病害远程识别系统,提出病害图像采集、存
储和发送的Android客户端及用于图像接收、分析处理和返回识别结果的PC服务器端系统架构。客户端调用系统相机获
取图像,以socket流实现客户端与服务器通信,服务器用最大类间方差法抽取图像病斑部位,提取颜色、纹理、形状参
数,选择支持向量机实现病害识别。实验结果表明,相比BP网络,支持向量机的识别性能更佳,该系统对苹果叶部斑点
落叶病、锈病以及花叶病的识别率达98.33%,识别时间小于16s,可为果农提供方便快捷的苹果病害诊断及防治技
术服务。
关键词:苹果;叶部病害;远程识别;Android;图像分析
中图法分类号:TP315 文献标识号:A 文章编号:1000-7024 (2015)09-2585-06
doi:10.16208/j.issn1000-7024.2015.09.051
收稿日期:2014-11-08;修订日期:2015-01-09
基金项目:国家科技支撑计划基金项目 (2012BAH29B00)
作者简介:王梅嘉 (1990-),女,陕西商洛人,硕士研究生,研究方向为智能化检测与控制;+通讯作者:何东健 (1957-),男,陕西汉
中人,教授,博士生导师,CCF会员,研究方向为图像分析与计算机视觉、智能检测与控制、农业信息技术;任嘉琛 (1988-),男,陕西
西安人,硕士研究生,研究方向为智能化检测与控制。E-mail:hdj168@nwsuaf.edu.cn
Remote recognition of apple leaf disease based on Android platform
WANG Mei-jia1,HE Dong-jian2+,REN Jia-chen2
(1.Colege of Information Engineering,Northwest A&F University,Yangling 712100,China;
2.Colege of Mechanical and Electronic Engineering,Northwest A&F University,Yangling 712100,China)
Abstract:To identify the apple leaf disease more rapidly and accurately,remote recognition system of apple leaf disease based on
Android platform was presented.The system architecture including Android mobile client for disease image colecting,storage
and sending,and the PC server for image receiving,analyzing and returning the recognition results were proposed.The client
caled system camera to capture photo.The server segmented the lesion site by using OTSU method.With color,shape,texture
features,the support vector machine was used to identify disease.The system implemented communication between client and
server through socket stream.Experimental results show that,compared to BP,SVM has better performance,and the accuracy
rate of disease recognition for apple rust,altermaria leaf spot and mosaic can reach 98.33%,the recognition time is less than
16s.It provides convenient and fast identification service and prevention guidance of the apple leaf disease for farmers.
Key words:apple;leaf disease;remote recognition;Android;image analysis
0 引 言
基于数字图像分析技术对农作物病虫草害图像进行已
被证明是一种有效、客观手段[1-7]。张建华等使用包含光照
箱、光源、CCD数码相机等图像采集系统,采集棉花虫害
叶片进行识别,识别率达到88.1%[8];柴阿丽等用 Can-
onA640数码相机、固定荧光灯等装置,用近拍模式拍摄番
茄叶部图像,对病害的识别率达94.71%[9];何东健等用多
光谱相机采集玉米田间杂草图像,提出一种支持向量机和
证据理论相结合的多特征融合杂草识别方法,取得了良好
效果[10]。前人研究多用数码相机或多光谱相机等采集图
像,在实验室进行分析,难以满足实时、便捷诊断病虫草
害的应用需求[11]。随着 Android智能手机以及3G网络在
农村的普及,利用手机拍摄图片上传给信息中心进行远程
识别成为可能。本文以苹果叶部病害为研究对象,以危害
较为严重的苹果斑点落叶病、锈病和花叶病远程智能分析
计算机工程与设计 2015年
诊断为目标,研究基于 Android平台的远程作物病害识别
系统框架以及手机和服务器间信息传输的技术与方法,信
息中心服务器接收手机拍摄苹果叶部病害图像并进行分析
诊断,诊断结果推送至手机端,手机端显示相应防治措施
给用户,为指导果农进行科学防治提供一种便捷方法。
1 系统架构分析与设计
为实现远程病害智能识别及识别结果推送服务,系统
需要有图像采集终端和PC服务器端硬件,需要确定图像传
输、诊断结果推送机制,设计病害识别方法。考虑到支持
Android系统的手机市场占有率达78.9%[12],故用 An-
droid手机采集病害图像;考虑到3G网络有高达256KB/s
的传输速率,故采用3G网络将手机拍摄的病害图像上传
到服务器端 (PC机),服务器负责病害图像分析与识别,
并将识别病害类型推送给客户端。采用C/S模式的系统架
构如图1所示。
图1 系统结构
2 系统关键功能设计
系统关键功能设计包含客户端、服务器以及客户端与
服务器通信设计。
2.1 客户端图像拍摄与存储
手机客户端图像采集流程如图2所示。客户端可调用
照相机拍摄图像或从图库中加载图像,用户获得图片后,
可根据当前网络情况选择立即发送至服务器或保存至手机
本地数据库。
2.1.1 病害图像拍摄
为减少自然光照及复杂背景对识别准确性的影响,左
手持黑色纸板置于病叶下方,右手持手机相机拍摄。为加
快后续识别速度,手机端程序在预览画面上定义一个670×
420像素矩形框,拍摄时使叶片尽量充满整个矩形框,程
序自动裁剪掉矩形框外多余的部分。为避免发生形变,保
持手机感光器与叶片平行。叶片图像以JPEG格式存储至
图2 客户端采集图像流程
SD卡,以采集时间命名,并作为唯一标识的ID。
2.1.2 本地数据库存储
当网络条件不佳时,可将采集的图像先保存至本地待识
别数据库,择时再查看图像并发送,已发送的图像将自动在
数据库中删除,服务器已识别图像同样会自动保存至手机本
地已识别数据库。Android使用开源的、与操作系统无关的
SQL数据库SQLite,它是一款轻量级数据库,占用资源非常
低,只需要几百K的内存。故本文采用SQLite构建数据库。
数据库中存储图片ID、拍摄时间及存储路径等信息。
2.2 服务器端图像分析与识别设计
服务器负责对图像分析处理,主要包括图像预处理、
病斑分割、特征提取和病斑识别等4个步骤。
2.2.1 图像预处理
由于在自然环境下用手机拍摄的彩色图像存在对比度不
明显、边缘模糊等现象,因此,服务器收到客户端发送的图
像后,需要进行预处理。首先使用分段线性变换拉伸图像灰
度,扩展图像对比度[13];分离图像RGB通道,自适应中值
滤波去除噪声;再用形态学Top-Hat变换去除光照影响,突
出病斑。融合R、G、B通道则得到预处理后的彩色图像。
2.2.2 病斑分割
为探讨苹果叶片病斑的有效分割因子,在 RGB模型
下,分别用2*G-R-B,G*G-R*B,G-B,G-R,2*R-G-
B,R*R-G*B进行病斑分割实验,结果表明2*R-G-B对
各种病斑均有较好的分割效果,因此选择2*R-G-B作为色
彩分割因子,用最大类间方差法分割病斑。3种病斑的分
割效果如图3所示。对分割后的图像用半径为3的圆盘结
构先后做开、闭运算,以平滑图像消除噪声,然后,用8
连通区域标记提取病斑部位。
2.2.3 特征提取
不同的病斑其颜色、形状和纹理有明显不同。为识别
·6852·
第36卷 第9期 王梅嘉,何东健,任嘉琛:基于Android平台的苹果叶病害远程识别系统
图3 3种病害及分割效果
病斑类型,本文提取病斑的颜色特征、形状特征和纹理特
征,并进行特征的优选。
(1)颜色特征提取:常用的颜色模型有 RGB、HSV
等,由于 HSV模型中3个分量具有相对独立性,且亮度分
量与图像的彩色信息无关,非常适合于借助人类视觉系统
来感知颜色特征的图像处理。因此,将图像从RGB空间转
换至 HSV空间,使用 H分量、S分量、V分量的1阶矩、
2阶矩和3阶矩作为颜色特征。颜色矩定义如下
μi =
1
N∑
N
j=1
pi,j (1)
σi = 1N∑
N
j=1
(pi,j-μi)( )2
1
2 (2)
si = 1N∑
N
j=1
(pi,j-μi)( )3
1
3 (3)
式中:μi———1阶矩;σi———2阶矩;si———3阶矩;pi,j ———
图像中第j个像素的第i个颜色分量。
图像的颜色矩共9个分量 (3个颜色分量上各3个低阶
矩),比其它颜色特征更为简洁。对每种病害各随机选择15
个样本,经过比较发现,3种病害的 H 分量、S分量1阶
矩以及 H分量的2阶矩有显著差别。故选择 H、S分量的
1阶矩以及 H分量的2阶矩共3个特征作为颜色特征参数。
(2)形状特征提取:实验中选取周长、面积比、伸长
度、圆形度、矩形度、形状复杂性的离散指数及 Hu提出
的7个不变矩等[14]13个病斑的形状特征。
对比每种病害的形状参数发现,3种病害在病斑面积比、
圆形度及形状复杂性的离散指数上有显著差异,因此,选择
病斑面积比、圆形度及形状复杂性的离散指数3个形状参数。
(3)纹理特征提取:不同病害在纹理方面表现不同。
本文用灰度梯度共生矩阵描述病害的纹理特征。采用平方
求和计算梯度矩阵,选取灰度级为32,归一化灰度梯度矩
阵[15],计算小梯度优势、大梯度优势、灰度分布的不均匀
性、梯度分布的不均匀性、能量、灰度平均值、梯度平均
值、灰度均方差等15个特征量。通过对比分析,3种病害
的灰度分布的不均匀性和灰度均方差差异较大。因此,选
择灰度分布的不均匀性以及灰度均方差共2个特征作为纹
理参数。
综上所述,本文选择如表1所示的8个特征参数。表
中,x1-x5,y1-y5和z1-z5分别为随机选取的5个斑点
落叶病样本、锈病样本和花叶病样本。训练和识别前对优
选的特征参数进行归一化处理。
2.2.4 病斑识别
BP网络是一种按误差逆传播算法训练的多层前馈网
络,也是目前应用最广泛的神经网络模型之一。支持向量机
(support vector machine,SVM)在解决小样本、非线性及
表1 部分病害样本特征参数值
特征参数
病斑样本
H分量
1阶矩
S分量
1阶矩
H分量
2阶矩
面积
比值
圆形度
形状复杂性
离散指数
灰度分布
不均匀性
灰度均
方差
斑点落叶病
x1 0.0851 0.5876 0.0149 0.0042 0.6776 18.5451 279106.4 9.0869
x2 0.0671 0.5189 0.0124 0.0061 0.5996 20.9597 278900.8 7.3202
x3 0.0632 0.5593 0.0095 0.0051 0.6695 18.7697 279122.3 7.1324
x4 0.0716 0.4615 0.0116 0.0051 0.6663 18.8603 279128.3 8.3394
x5 0.0715 0.5164 0.0194 0.0048 0.6793 18.5001 279194.2 7.6986
锈病
y1 0.1372 0.7269 0.0146 0.0021 0.6006 19.7368 279747.3 5.3721
y2 0.1330 0.8192 0.0165 0.0055 0.5864 21.4297 278745.3 9.6111
y3 0.1399 0.7477 0.0182 0.0018 0.6198 17.9560 279815.2 5.4849
y4 0.1398 0.8399 0.0222 0.0035 0.6079 20.6704 279389.8 5.7849
y5 0.1278 0.8961 0.0216 0.0028 0.5073 24.7672 279549.5 5.3645
花叶病
z1 0.1582 0.7960 0.0155 0.6062 0.0121 1038.2676 145879.6 76.2348
z2 0.1992 0.6734 0.0063 0.1847 0.1084 115.8795 229981.9 55.5607
z3 0.1746 0.7306 0.0076 0.1950 0.0385 325.9638 237937.0 52.3369
z4 0.1772 0.6931 0.0153 0.2307 0.0108 1168.9117 226567.2 52.2909
z5 0.1769 0.6639 0.0109 0.3137 0.0132 951.6934 173770.4 74.7621
·7852·
计算机工程与设计 2015年
高维模式识别中优势明显,其关键在于选择合适的核函数
从而获得高维空间的分类函数。本文构建BP网络与SVM
分别对3种病害进行识别。BP网络采用3层结构,输入层
节点数为8,隐节点数为13,输出层节点数为3。SVM 核
函数选择径向基函数。共采集病叶图像300幅,每种病害
100幅,其中前60幅做训练样本,后40幅做测试样本。训
练后的BP网络对测试样本进行测试,测试结果见表2,花
叶病所有测试样本均被正确识别,由于斑点落叶病病斑与
锈病比较相似,9幅斑点落叶病图像被错误识别为锈病,7
副锈病图像被误识为斑点落叶病,平均识别率为86.67%。
用训练好的SVM对花叶病的测试样本均可正确识别;1幅
斑点落叶病因叶片上有污点被错误识别为锈病;1幅锈病
图像被除草剂污染而被错误识别为斑点落叶病。实验结果
表明,SVM识别性能较好,对3种病害测试样本的平均识
别率达到98.33%,因此,选择SVM模型识别病害。
表2 BP与SVM识别率比较
病害类型
BP SVM
正确/测试 识别率/% 正确/测试 识别率/%
斑点落叶病 31/40 77.5 39/40 97.5
锈病 33/40 82.5 39/40 97.5
花叶病 40/40 100 40/40 100
平均识别率/% 86.67 98.33
2.3 手机客户端与服务器通信设计
客户端与服务器用3G网络进行通信,为避免数据丢
失,选择可靠的 TCP/IP协议和socket流实现数据传输。
当客户端发起连接请求时,一直处于监听状态的服务器同
意连接,此时客户端向服务器发送待识别图像的文件名,
服务器收到文件名以后,返回客户端接收成功的信号,客
服端收到信号后再开始发送文件,服务器用接收的文件名
保存图像并立即识别,将识别结果返回客户端。服务器与
客户端通信模型如图4所示。为避免图像数据大,导致用
户一直等待传输图片,本文采用在service中实现客户端发
送图像数据的策略[16]。应用组件启动一个service运行于后
台,即使用户切换到另一个应用,该service也会继续运
行[17],故在service中创建线程完成图像传输。
图4 通信模型
3 测试结果与分析
用索尼爱立信LT18i手机在VPN和3G环境下分别进
行系统测试。系统主界面如图5所示,用户可选择苹果病
害识别或查看本地数据库。点击 “苹果病害图像识别”按
钮,进入病害识别主界面如图6所示,可立刻拍照 (如图7
所示)或加载图库。获取的图片显示在界面,可直接向服
务器发送图像识别请求,服务器收到图像进行分析识别 (如
图8所示),并将识别的病害类型推送至客户端,客户端显
示相应病害的防治建议 (如图9所示)。客户端也可将拍摄
图5 通信模型
图6 病害识别主界面
图7 拍照界面
·8852·
第36卷 第9期 王梅嘉,何东健,任嘉琛:基于Android平台的苹果叶病害远程识别系统
图8 服务器接收识别图像
图9 客户端推送结果
的图像保存至本地待识别数据库。
测试客户端发送每幅病害图像到接收诊断结果所需时
间如表2所示 (仅列出10幅),由表3可知,用3G网络远
程病害诊断所需平均时间为15.65s,与 VPN网络相比,
仅多了0.79s,这是因为获取图像经手机客户端裁剪后数
据量相对较小,二者传输所需时间相差不大。系统可满足
实时性需求。
表3 病害识别所需时间
样本号
时间/s
VPN环境 3G环境
1 14.4 15.7
2 15.2 15.9
3 15.0 15.5
4 14.8 15.3
5 14.3 15.5
6 15.1 15.9
7 15.2 15.9
8 14.5 15.3
9 15.1 15.7
10 15.0 15.8
平均 14.86 15.65
4 结束语
(1)选择2*R-G-B作为色彩分割因子,可有效分割出
病斑;用本文实验确定的8个特征参数输入径向基函数支
持向量机,3种病害平均识别率达到98.33%。
(2)提出用Android手机客户端采集发送图像,PC服
务器自动接收识别图像并返回手机端识别结果的病害远程
识别系统框架。实验结果表明,对每幅病害图像识别平均
时间小于16s,能满足快速、准确识别病害的需要。
今后尚需进一步研究苹果叶部多种病害的识别方法,
并增加用户标记病斑部位等交互操作,以减少计算量,大
大缩短识别时间。
参考文献:
[1]Al-Bashish D,Braik M,Bani-Ahmad S.Detection and classifi-
cation of leaf disease using K-means-based segmentation and
neural-networks-based classification [J].Information Techno-
logy Journal,2011,10 (2):267-275.
[2]Al-Hiary H,Bani-Ahmad S,Reyalat M,et al.Fast &accu-
rate detection &classification of plant diseases [J].Interna-
tional Journal of Computer Applications,2011,17 (1):
31-38.
[3]Camargo A,Smith JS.An image-processing based algorithm to
automaticaly identify plant disease visual symptoms [J].Bio-
systems Engineering,2009,102 (1):9-21
[4]Paul Biossard,Vincent Martin,Sabine Moisan.A cognitive
vision approach to early pest detection in greenhouse crops[J].
Computers and Electronics in Agriculture,2008,62 (2):
81-93.
[5]Phadikar S,Jaya S.Rice disease identification using pattern
recognition techniques[C]//Proceedings of 11th International
Conference on Computer and Information Technology,2008:
420-423.
[6]WANG Shouzhi,HE Dongjian,LI Wen,et a1.Plant leaf
disease recognition based on kernel K-means clustering algo-
rithm [J].Transactions of the Chinese Society for Agricultural
Machinery,2009,40 (3):152-155 (in Chinese). [王守志,
何东健,李文,等.基于核 K-均值聚类算法的植物叶部病害
识别 [J].农业机械学报,2009,40 (3):152-155.]
[7]DENG Jizhong,LI Min,YUAN Zhibao,et al.Feature
extraction and classification of Tilelia disease based on image
recognition [J].Transactions of the Chinese Society of Agri-
cultural Engineering,2012,28 (3):172-176 (in Chinese).
[邓继忠,李敏,袁之报,等.基于图像识别的小麦腥黑穗病
害特征提取与分类 [J].农业工程学报,2012,28 (3):
172-176.]
[8]ZHANG Jianhua,JI Ronghua,YUAN Xue,et al.Recogni-
tion of pest damage for cotton leaf based on RBF-SVM algorithm
·9852·
计算机工程与设计 2015年
[J].Transactions of the Chinese Society for Agricultural Ma-
chinery,2011,42 (8):178-183 (in Chinese).[张建华,冀
荣华,袁雪,等.基于径向基支持向量机的棉花虫害识别
[J].农业机械学报,2011,42 (8):178-183.]
[9]CHAI Ali,LI Baoju,SHI Yanxia,et al.Recognition of tomato
foliage disease based on computer vision technology[J].Acta Hor-
ticulturae Sinica,2010,37 (9):1423-1430(in Chinese).[柴阿
丽,李宝聚,石延霞,等.基于计算机视觉技术的番茄叶部病
害识别 [J].园艺学报,2010,37 (9):1423-1430.]
[10]HE Dongjian,QIAO Yongliang,LI Pan,et al.Weed recog-
nition based on SVM-DS multi-feature fusion [J].Transac-
tions of the Chinese Society for Agricultural Machinery,2013,
44 (2):182-187 (in Chinese). [何东健,乔永亮,李攀,
等.基于SVM-DS多特征融合的杂草识别 [J].农业机械学
报,2013,44 (2):182-187.]
[11]LI Zongru,HE Dongjian.Research on identify technologies
of apple’s disease based on mobile photograph image analysis
[J].Computer Engineering and Design,2010,31 (13):
3041-3053 (in Chinese).[李宗儒,何东健.基于手机拍摄图
像分析的苹果病害识别技术研究 [J].计算机工程与设计,
2010,31 (13):3051-3053.]
[12]Ed Burnette. Helo,Android [M].Raleigh:Pragmatic
Bookshelf,2010:140-141.
[13]LI Zongru.Research on identify technologies of apples disease
based on image analysis [D].Yangling:Northwest A&F
University,2010:9-10 (in Chinese).[李宗儒.基于图像分
析的苹果病害识别技术研究 [D].杨凌:西北农林科技大
学,2010:9-10.]
[14]PENG Zhanwu.Research on cucumber disease indentifying
base on image processing and pattern recognition technology
[D].Jilin:Jilin Agricultural University,2007:29-30 (in
Chinese).[彭占武.基于图像处理和模式识别技术的黄瓜病
害识别研究 [D].吉林:吉林农业大学,2007:29-30.]
[15]CONG Rui,GAO Guangfu,FAN Ruixiao,et al.Vibration
image recognition method based on gray-gradient co-occurrence
matrix and kernel-based fuzzy clustering [J].Journal of Vi-
bration and Shock,2012,31 (21):74-77 (in Chinese).[丛
蕊,高光甫,樊瑞筱,等.基于灰度-梯度共生矩阵和模糊核
聚类的振动图形识别方法 [J].振动与冲击,2012,31
(21):74-77.]
[16]Reto Meier.Professional Android 2application development
[M].Indianapolis:Wiley Publisher,2010:90-94.
[17]Mark Murphy.Beginning Android 2 [M].New York:
Apress,2010:23-24.
(上接第2554页)
[5]LI Panchi.Quantum genetic algorithm based on Bloch coordi-
nates of qubits and its application [J].Control Theory & Ap-
plications,2008,25 (6):985-989 (in Chinese). [李盼池.
基于量子位Bloch坐标的量子遗传算法及其应用 [J].控制理
论与应用,2008,25 (6):985-989.]
[6]HUANG Jingwen,QIN Chaoyong.Real coded quantum ant
colony optimization algorithm for global numerical optimization
[J].Application Research of Computers,2009,26 (10):
3660-3662 (in Chinese).[黄景文,覃朝勇.用于多维函数优
化的实数编码量子蚁群算法 [J].计算机应用研究,2009,26
(10):3660-3662.]
[7]ZHANG Guangwei,HE Rui,LIU Yu,et al.An evolutionary
algorithm based on cloud model[J].Chinese Journal of Com-
puters,2008,31 (7):1082-1091 (in Chinese).[张光卫,何
锐,刘禹,等.基于云模型的进化算法 [J].计算机学报,
2008,31 (7):1082-1091.]
[8]MA Ying,TIAN Weijian,FAN Yangyu.Quantum adaptive
immune clone algorithm based on cloud model[J].Chinese
Journal of Computational Physics,2013,30 (4):627-632
(in Chinese).[马颖,田维坚,樊养余.基于云模型的自适
应量子 免 疫 克 隆 算 法 [J].计 算 物 理,2013,30 (4):
627-632.]
[9]MA Ying,TIAN Weijian,FAN Yangyu.Adaptive quantum-
behaved particle swarm optimization algorithm based on cloud
model[J].PR &AI,2013,26 (8):787-793 (in Chinese).
[马颖,田维坚,樊养余.基于云模型的自适应量子粒子群算
法 [J].模式识别与人工智能,2013,26 (8):787-793.]
[10]LIU Fang,WANG Shuang,LIU Yingying,et al.A quan-
tum-inspired evolutionary algorithm based on a modified quan-
tum rotate gate for data clustering [J].Acta Electronica Sini-
ca,2011,39 (9):2008-2013 (in Chinese). [刘芳,王爽,
柳莹莹,等.基于改进量子旋转门的量子进化数据聚类 [J].
电子学报,2011,39 (9):2008-2013.]
[11]LI Panchi,LI Shiyong.Quantum ant colony algorithm for
continuous space optimization [J].Control Theory & Appli-
cations,2008,25 (2):237-240 (in Chinese).[李盼池,李
士勇.求解连续空间优化问题的量子蚁群算法 [J].控制理
论与应用,2008,25 (2):237-240.]
·0952·