免费文献传递   相关文献

无核白鲜葡萄机器视觉质量预测研究!



全 文 :无核白鲜葡萄机器视觉质量预测研究!
李俊伟,郭俊先,张学军,胡光辉,程国首
(新疆农业大学 机械交通学院,乌鲁木齐 830052)
摘 要:以新疆无核白鲜葡萄为研究对象,采用机器视觉技术预测葡萄穗的质量。首先,提取 RGB 图像,做 G,B
双通道分量加运算 R + B,采用高斯低通滤波法滤除图像中的噪音,采用 Gamma 变换法调整图像灰度,从而增强
前景与背景的对比度。其次,采用自动阈值分割法分割图像,经数学形态学的腐蚀和开运算获得最佳二值图像,
提取二值图像中目标区域的几何特征。最后,采用一元线性回归、多元线性回归和偏最小二乘回归预测葡萄穗
的质量。结果表明,提取分割后的葡萄穗面积、周长、长轴及短轴长度等特征建立的偏最小二乘回归模型,其预
测葡萄穗质量效果最佳,相关系数 r2为 96 . 91%。
关键词:机器视觉;图像处理;无核白鲜葡萄;偏最小二乘回归
中图分类号:TP391. 41 文献标识码:A 文章编号:1003 -188X(2014)07 -0057 -05
0 引言
新疆是我国最大的优质葡萄生产地区,气候温和
干燥,昼夜温差大且日照充足,非常适宜栽培葡萄,无
核白葡萄是新疆主要品牌产品之一。无核白葡萄又
名无籽露,无籽、味甘甜,是鲜食、制干、制罐的兼用型
品种,因此进行无核白葡萄的品质检测成为提高其产
后价格竞争力的有效方法之一。但是,该地区果品的
采后处理比较落后。由于鲜葡萄果皮薄、多汁、易受
损,采用传统的人工视觉分级,不仅破坏葡萄的外部
品质,同时受主观因素影响,不能很好地将葡萄有效
鉴别出来,从而不利于葡萄采摘后的标准化、市场化
生产。随着自动化技术的不断提高,基于机器视觉的
图像处理技术成为有效实现鲜葡萄的快速无损检测
主要技术手段之一。
目前,对鲜葡萄品质检测主要是基于机器视觉技
术的外部品质检测,国内外学者已取得一定进展。主
要研究有:田锐等[1]采用机器视觉技术对葡萄穗的颜
色进行检测,检测紫色、红色葡萄的准确率接近 90%;
曾庆兵等[2]采用机器视觉技术对重叠葡萄的果实直
收稿日期:2013 - 07 - 23
基金项目:新疆维吾尔自治区科技厅基金项目(2009211B07) ;国家自
然科学基金项目(61005022)
作者简介:李俊伟(1985 -) ,女,石家庄人,硕士研究生,(E - mail)
574710404@ qq. com。
通讯作者:郭俊先(1975 -) ,男,新疆巴里坤人,副教授,博士,中国农
业工程学会会员(E041200010M) ,(E - mail)junxianguo@
163. com。
径进行检测,采用对象标记以及分水岭变换法来分割
图像,测量的重复精度可达 ± 9μm;陈英等[3]采用机器
视觉技术对葡萄穗的颜色和形状进行检测,采用基于
RGB 颜色空间进行颜色分级,采用投影面积法及果轴
方向投影曲线方法提取果穗形状,颜色和大小形状分
级的准确率分别为 90%和 88. 3%。王巧华等[4]发明
了一种基于机器视觉的红提葡萄自动分级装置及其
办法,此发明通过提取 RGB 分量直方图、计算曲率角、
计算突变点等方法提取葡萄的颜色特征和大小。该
分级装置对颜色判断准确率达 96%,大小判断正确率
为 85%。Qingbing Zeng 等[5]提出了一种在葡萄地可
无触摸精确测量葡萄直径的光学方法,采用双滤波器
对灰度图像进行平滑,可有效滤除噪声,很好地保留
原始图像的边界,采用大津法阈值分割法获得分割图
像,对葡萄直径的检测可达到 0. 7mm 的重复精度。
Esteban Vazquez - Fernandez等[6]设计了一种基于机器
视觉技术的葡萄自动检测和分级的系统,采用基于
HSV颜色空间的 V 平面高斯滤波的方法对光照度进
行分配,使光照在较广的范围内保持不变,从而可获
得葡萄的平滑图像;其次采用 Gabor 滤波器进行图像
分割,然后采用人工神经网络方法和随机森林算法进
行葡萄的分级,准确率达 94%。可见,目前对鲜葡萄
的检测主要是基于颜色和形状大小特征,其中基于颜
色特征的分级准确率较高,但是基于葡萄形状、颗粒
大小和质量等特征的分级准确率较低。为此,针对新
疆无核白鲜葡萄,采用机器视觉技术进行鲜葡萄穗质
量预测,从 RGB 图像中找到合适分割的分量或分量运
算图像,分析优选特征组合来预测其质量。
·75·
2014 年 7 月 农 机 化 研 究 第 7 期
DOI:10.13427/j.cnki.njyi.2014.07.014
1 材料与方法
1. 1 材料
试验用样本均为从乌鲁木齐北园春水果批发市场
购买的新鲜葡萄,品种为无核白,选取 35 串葡萄进行
试验,样本随机选取,获得葡萄的外部特征信息。全
部样本按 3 ∶ 1 比例随机分成建模集和预测集,分别
为 26 串和 9 串。
1. 2 仪器设备
试验使用加拿大 DALSA 彩色三线阵 CCD 摄像
机,相机放于以白色遮光板为挡板的密闭光源箱内。
光源分别为科视自动化 BL - 170 - 30 - W 型 LED 灯
和奥普特自动化 OPT - LS562 - W 型 LED 灯,设置高
度分别为 20,24cm,角度分别为 45°,30°,使摄像机能
够充分吸收光源的光照,达到拍摄时所需的最佳光照
度。光源箱架于传送台上,以便实现葡萄图像的在线
采集。图像分析软件为 MatLab R2008a。
1. 3 图像采集
图像采集前进行设备调试,确定最佳参数,避免
图像失真。首先,需要调整摄像机的位置,获得最佳
工作距离为 480mm;调整相机的曝光时间为 620ms;调
整行频为 685,使图像空间分辨率中水平分辨率与垂
直分辨率相等,其分辨率为 2 048 /34 = 6. 0mm /pixel;
矫正相机的明场、暗场,从而获得均匀光线;背景选用
白色卡纸,便于背景图像分割。将葡萄穗水平放于输
送带上,果梗朝统一方向水平放置,图像拍摄过程中
每翻转 120°拍摄 1 幅图片,共 105 幅图片用于图像分
析及特征提取。
1. 4 方法
1. 4. 1 图像预处理
提取 RGB 图像,做 G,B 双通道分量加运算 R +
B,如图 1 所示。对比无核白葡萄的 R,G,B 分量直方
图以及 G + B 组合分量直方图可以看出:直方图均表
现为明显的双峰,其中 G + B 分量直方图波峰波谷较
明显且宽度较大,优于 R,G,B 单分量直方图,因此选
用无核白葡萄 G + B 分量进行图像分析。此外,采用
传统的 RGB 图像转灰度图像、单分量图像和分量运算
图像,然后采用大津阈值分割、自适应阈值分割两种
方法。结果表明,直接转灰度图像和单分量图像和一
些分量运算图像,分割效果不佳;而选用 G + B 运算图
像分割效果较好。因此,选择采用 G + B 运算图像用
于后续分析。
(a) R (b) G (c) B (d) G + B
图 1 无核白葡萄各颜色分量直方图
Fig. 1 The histogram of each color component of Wu Hebai grapes
采集图像过程中,由于受到外部和内部干扰,不
可避免地会产生噪声,增加了图像分割的难度,本文
首先采用 3 × 3 高斯低通滤波的方法滤除图像中的噪
声;其次采用 Gamma 变换调整图像灰度级的方法增强
图像的灰度,从而提高前景与背景的对比度。
1. 4. 2 图像分割
图像二值化就是将图像上的像素点的灰度值设置
为 0 或 255,即使整个图像呈现出明显的黑白效果。
将 256 个亮度等级的灰度图像通过适当的阈值选取从
而获得可以反映图像整体和局部特征的二值化图像。
图像的二值化有利于图像的进一步处理,使图像变得
简单,而且数据量减小,能凸显出感兴趣的目标的轮
·85·
2014 年 7 月 农 机 化 研 究 第 7 期
廓,从而有利于目标特征参数的提取。
大津法又称最大类间方差法[7],由 Ostu 于 1978
年提出,属于自适应阈值选取方法,具有统计意义上
的最佳分割阈值,尤其适合于背景与目标的直方图具
有双峰性质的图像分割。该方法采用类别方差来表
征特征,获得最优阈值 T 将图像分成 A 和 B 两部分。
迭代阈值分割同样适用于直方图具有双峰性质的图
像,该方法基于逼近的思想,根据阈值 T 将图像分为
前景和背景;但对于直方图双峰不明显,或图像目标
和背景比例差异悬殊,迭代法所选取的阈值不如最大
类间方差法。
图像二值化的关键是阈值的确定,本文对比大津
法和迭代法分割图像的效果获得最优阈值,利用所得
阈值分割图像,从而获得目标二值图像。进而采用数
学形态学算法对图像进行优化,消除部分阴影区域的
影响,滤除不必要的噪声,以便获得最优特征参数。
1. 4. 3 特征提取及质量预测模型
葡萄穗的质量指标与其图像的几何特征具有一定
相关性,提取二值图像中目标区域的几何特征,包括
面积、周长、长轴和短轴特征来预测葡萄穗的质量。
预测分析中,分别采用单个特征和多种特征组合的方
法建立一元线性回归模型、多元线性回归模型以及偏
最小二乘回归模型,对比模型的优劣,获得预测葡萄
穗的质量的较优模型。
2 结果与分析
2. 1 图像二值化
采用两种方法分割图像结果,如图 2 所示。对比
图 2 中两种算法分割无核白葡萄的效果,可看出用大
津法明显优于迭代法。用大津法分割的图像目标与
背景间对比度较大,分割效果更明显,保留了较多有
用图像特征信息,有利于后续图像处理及目标区域特
征的提取。从图 2 中可看出,分割后的图像存在部分
噪音影响,可采用数学形态学运算[8]中的腐蚀和开运
算进行滤波去噪,从而获得较清晰的二值图像。
(a) 灰度图像
(b) 自动阈值分割
(c) 迭代阈值分割
图 2 无核白葡萄经大津法和迭代阈值分割后的二值图像
Fig. 2 The binary image of wu hebai grapes after otsu method and
iteration threshold method segmentation
2. 2 葡萄的质量预测
葡萄的质量与其面积、周长、密度、含水率等因素
有关,葡萄图像经预处理及二值化分割后的目标区域
的面积(S)、周长(L)、长轴(A)和短轴(B)长度特征
信息与葡萄的截面积相关,因此可以选取这些特征参
数来预测葡萄穗的质量。其中,在图像采集过程中葡
萄穗每翻转 120°拍摄 1 幅图片,因此每个角度拍摄的
图片面积特征分别用 S1,S2,S3 表示。首先,采用单
个特征参数预测葡萄穗的质量,经研究发现,采用单
个面积特征建立的一元线性回归模型可以预测葡萄
穗的质量,并且采用面积特征的预测结果优于其它 3
个特征;其次,基于一串葡萄的多个面积特征建立多
元线性回归模型[9];再次,采用面积分别与周长、长轴
以及短轴长度相结合的方法建立多元线性回归模型
和偏最小二乘回归模型[10]。对比模型的预测结果,确
定最佳预测模型。使用 MatLab 软件进行建模,所得结
果如表 1、表 2、表 3 所示。
从表 1 ~表 3 中可看出:无核白葡萄的几何特征
与其质量具有相关性,相关系数 r2越接近于 1 时,此方
程回归性越好。表 1 中采用第一个面积特征建立的一
元线性回归模型相关系数为 92. 33%,优于其它两个
·95·
2014 年 7 月 农 机 化 研 究 第 7 期
面的预测结果。从表 2 可以看出,采用多个面积特征
建立的多元线性回归模型可以较好预测葡萄穗的质
量,相关系数最高为 92. 43%,预测结果与采用单个面
积特征 S1 的预测结果相差不大,但是明显优于采用
单个面积特征 S2,S3 的预测结果。从表 3 可以看出,
基于面积分别与周长、长轴和短轴长度相结合的多个
特征建立的多元线性回归模型和偏最小二乘回归模
型相关性最低为 93. 34%,均可以很好地预测出葡萄
穗的质量,预测结果明显优于只采用单个面积特征以
及多个面积特征相结合的预测结果。同时,对比该方
法建立的多元线性回归及偏最小二乘回归模型的预
测结果发现,采用偏最小二乘回归进行质量预测效果
优于多元线性回归模型的预测效果,相关性最高可达
96. 91%。
表 1 基于面积特征的回归模型相关数据
Table 1 The related data of regression model based on area feature
%
模型类型
相关系数
r2
平均相对误差
(建模集)
平均相对误差
(验证集)
一元线性回归(S1) 92. 33 11. 15 18. 83
一元线性回归(S2) 76. 16 29. 13 15. 47
一元线性回归(S3) 85. 22 19. 72 13. 69
表 2 基于多个面积特征的回归模型相关数据
Table 2 The related data of regression model based on
multiple area feature %
模型类型
相关系数
r2
平均相对误差
(建模集)
平均相对误差
(验证集)
多元线性回归(S1,S2) 92. 38 11. 05 18. 64
多元线性回归(S1,S3) 92. 37 11. 10 19. 24
多元线性回归(S2,S3) 87. 13 15. 04 13. 46
多元线性回归(S1,S2,S3) 92. 43 11. 01 19. 06
表 3 基于面积与周长、长轴、短轴相结合的多个特征回归模型相关数据
Table 3 The related data of regression model based on the combination of
multiple features of area and perimeter,long axis,short axis %
特征值
多元线性回归
相关系数
r2
偏最小二乘
回归相关系数
r2
平均相对
误差
(建模集)
平均相对
误差
(验证集)
(S,L) 94. 61 93. 92 9. 95 13. 22
(S,A) 94. 91 95. 76 9. 61 11. 94
(S,B) 93. 34 94. 34 10. 42 13. 58
(S,L,A,B) 95. 20 96. 91 9. 19 10. 57
预测模型的精确性及稳定性也可由平均相对误差
来判定,误差越小,表明预测模型的准确性越高。对比
表 1、表 2、表 3 中预测值与实际值的平均相对误差结果
发现,采用面积与周长、长轴和短轴长度特征建立的偏
最小二乘回归模型预测平均相对误差最小,建模集平
均相对误差为 9. 19%,验证集相对误差为 10. 57%。采
用该方法对验证集中 9 串葡萄进行质量预测,建立预
测值与实际值之间的回归模型如图 3 所示,实际值与
预测值很好地分布于回归线两侧。
(a) 建模集实际值与预测值回归模型
(b) 验证集实际值与预测值回归模型
图 3 实际值与预测值的回归分析
Fig. 3 Regression analysis of the actual values and predicted values
3 讨论
本研究初步探讨了基于机器视觉技术的新疆无核
白葡萄穗的质量预测方法,研究中采用葡萄穗图像的
单个面积特征,多个面积特征,面积与周长、长轴以及
短轴长度特征相结合方法建立的回归模型进行葡萄
穗的质量预测。其中,面积与周长、长轴以及短轴长
度特征相结合方法建立的偏最小二乘回归模型比只
采用单个特征建立的一元线性回归模型和多元线性
回归模型质量预测的结果要好。先前的研究一般只
采用单个特征进行质量预测,如马本学、应义斌[11]基
于机器视觉技术采用库尔勒香梨的侧面投影面积、顶
部投影面积以及两个面积相结合的方法预测其质量,
·06·
2014 年 7 月 农 机 化 研 究 第 7 期
效果显著,决定系数达 97. 5%。郝敏等[12]利用机器
视觉技术,采用面积法、周长法两个指标对马铃薯的
单薯质量进行检测,同时采用逐步线性回归分析法选
择最优几何特征值,最终确定采用俯视投影面积和侧
视投影面积进行预测的结果最好,相关性达 98. 81%。
香梨、马铃薯等水果果形较规则,不易发生形变,葡萄
穗是由单个颗粒堆叠而成,果穗的形状随放置的变化
而变化,只采用单一的面积特征无法准确预测葡萄穗
的质量,因此本文采用多个特征参数相结合进行品质
预测研究。此外,水果的在线品质检测及分级对图像
采集及分割方法的要求较高,因此需要较高的外部环
境以及合理而且简单的分割算法。由图 2 可看出,图
片中存在部分阴影噪声,这是由于光照影响使图片亮
度不均匀造成,给图像分割造成一定困难。因此,在
图像采集阶段硬件设备如光源等需要进一步改进,同
时采用较好的方法滤除噪声。其次由于葡萄穗水平
放置在输送带上容易引起穗形变化,不利于后期图像
分析,因此在后续研究中预期采用葡萄穗悬挂式采集
不同投影面的图片,同时检测葡萄的其它外部品质。
本文为葡萄穗群粒的质量预测的初步研究,后续研究
中将增加葡萄单粒的质量检测,从而进一步提高质量
预测的准确性。
4 结论
本文方法可有效检测葡萄穗的质量。在图像处理
中选择 G + B 双通道分量进行图像分析,采用高斯低
通滤波法滤除图像中的噪声,采用 gamma 变换法增强
前景与背景的对比度,对比自动阈值法和迭代法确定
最优阈值分割图像,最后经数学形态学的腐蚀和开运
算优化去噪后获得最佳二值图像,提取二值图像中目
标区域的特征参数。研究发现,采用面积与周长、长
轴长度、短轴长度相结合的方法建立的偏最小二乘回
归模型可以很好地预测葡萄穗的质量,相关性达到
96. 91%;且采用该方法进行质量预测的误差最小,建
模集平均相对误差为 9. 19%,验证集平均相对误差为
10. 57%。可见,该技术系统对鲜葡萄穗质量进行检
测是可行的。在今后的研究中要增加样本以及样本
的广泛性,进一步完善预测模型,推动该技术在水果
品质检测中的推广和应用。
参考文献:
[1] 田锐,郭艳玲. 基于机器视觉的葡萄自动识别技术[J].
东北林业大学学报,2008,36(11) :95 - 97.
[2] 曾庆兵,刘成良,苗玉彬,等. 基于形态学图像处理的重
叠葡萄果径无损测量[J]. 农业工程学报,2009,25(9) :
356 - 360.
[3] 陈英,廖涛,林初靠,等. 基于计算机视觉的葡萄检测分
级系统[J].农业机械学报,2010,41(3) :169 - 172.
[4] 王巧华,丁幼春,罗俊,等. 基于机器视觉的红提葡萄分
级装置及其方法:中国,CN 102680414 A[P]. 2012 - 09
- 19.
[5] Qingbing Zeng,Chengliang Liu,Yubin Miao,et al. A Ma-
chine Vision System for Continuous FieldMeasurement of
Grape Fruit Diameter[C]/ / Second International Symposium
on Intelligent Information Technology Application,2008:
1064 - 1068.
[6] EstebanVazquez - Fernandez,AngelDacal - NietoFernando,
Martin,et al. A Computer Vision System for Visual Grape
Grading in Wine Cellars[J]. ICVS,2009:335 - 344.
[7] Carsten Steger,Markus Ulrich,Christian Wiedemann.机器视
觉的算法与应用[M]. 杨少荣,译. 北京:清华大学出版
社,2008.
[8] Rafael C Gonzalez,Richard E Woods,Steven L Eddins.数字
图像处理(MATLAB版) [M]. 阮秋琦,译. 北京:电子工
业出版社,2005.
[9] 程国首,郭俊先,石砦,等. 基于高光谱图像技术的新疆
红富士苹果重量预测[J]. 新疆农业大学学报,2011,34
(3) :1 - 2.
[10] 郭俊先,李俊伟,胡光辉,等. 新疆冰糖心红富士苹果
RGB图像多指标分析[J]. 新疆农业科学,2013,50
(3) :509 - 517.
[11] 马本学,应义斌.基于图像处理和光谱分析技术的水果
品质快速无损检测方法研究[D]. 杭州:浙江大学,
2009.
[12] 郝敏,麻硕士.基于机器视觉的马铃薯单薯质量检测技
术研究[J].农机化研究,2009,31(9) :61 - 63.
(下转第 66 页)
·16·
2014 年 7 月 农 机 化 研 究 第 7 期
[16] 郭海新. Unity3D 与 HTML 交互机理的研究[J].煤炭技 术,2011,30(9) :228 - 229.
Virtual Simulation for Fertilizer Applicator Based on Unity3D
Shi Yi,Liu Guiyang,Liu Jinming
(College of Information Technology,Heilongjiang Bayi Agricultural University,Daqing 163319,China)
Abstract:This article selected 2FL -Ⅰ fertilizer applicator as the object of study. Basing on the analysis of mechanical
structure and working principle of fertilizer applicator,this design used Pro /E to build 3D models and used 3DS Max to
complete the operations of adding material and coordinating axis,then,imported 3D models into Unity3D software to build
virtual scene and complete simulation of mechanical transmission process through physics engine. This article implemented
the functions of dynamic assembly of mechanical parts,3D perspective view,simulation of fertilizing effect,camera’s far -
range and close - range view,for the teaching,display and virtual design of agricultural machinery service.
Key words:fertilizer applicator;three - dimensional modeling;motion simulation
(上接第 56 页)
Abstract ID:1003 - 188X(2014)07 - 0054 - EA
Application of the Gray Association Analysis Method Based on
Entropy to Assessment of Rice Cultivation
Lin Yanyu,Zhang Zhongxue,Xu Dan,Zhang Zhuohe,Wang Liwei
(Water Conservancy and Architecture College,Northeast Agicultural University,Harbin 150030,China)
Abstract:In order to make a comprehensive evaluation of different cultivation models to rice in cold regions,This paper
through the field experiment,integrated raising sparse,sub - fertilization and control irrigation technology,selecting the
rice yield,irrigation water use efficiency,effective panicles and grain weight experimental data,it applied entropy method
to determine the weight of evaluation index and built gray association analysis method based on entropy to assess the dif-
ferent cultivation models. The results shows that the best cultivation models is control irrigation A2,base fertilizer:Tille-
ring fertilizer:Jointing fertilizer:panicle fertilizer = 4. 5:2:1. 5:2,the density of planting is 21hole /m2,the result was co-
incided with experiment,so it is suitable for the assessment of the cultivation models in cold regions.
Key words:rice;entropy;gray association analysis;high cultivation technology;water control irrigation
(上接第 61 页)
Abstract ID:1003 - 188X(2014)07 - 0057 - EA
Prediction of the Weight of Xinjiang Grape by Machine Vision Techniques
Li Junwei,Guo Junxian,Zhang Xuejun,Hu Guanghui,Cheng Guoshou
(Mechanical and Traffic College,Xinjiang Agricultural University,U
··
r u··muqi 830052,China)
Abstract:The object of this study is to forecast weight of Xinjiang Wu Hebai grape spike by using machine vision tech-
nology. Extracting the RGB image,add operation R + B of G and B dual channel component,gaussian low pass filtering
method for filtering noise in images and gamma transform method for adjusting the image gray level are used to enhance
the visibility of the foreground and background. Furthermore,the automatic threshold segmentation method is used to split
image;The corrosion and opening function of mathematical morphology is used to get best binary image and extract the ge-
ometrical characteristics of the target area in binary image. For the last,monadic linear regression,multiple linear regres-
sion and partial least - squares regression are used to predict grape spike weight. Results show that partial least - squares
regression model which is established by the area,perimeter,length of long axis and short axis of the grape spike in the
segmentation images after extraction,predicts the best weight effect of this method with correlation coefficient r2 96. 91% .
Key words:machine vision;imaging processing;seedless white grape;partial least - squares regression
·66·
2014 年 7 月 农 机 化 研 究 第 7 期