全 文 :书申爱敏,霍晓静,王文娣,等.基于机器视觉的核桃仁大小自动分级技术[J].江苏农业科学,2016,44(9):383-385.
doi:10.15889/j.issn.1002-1302.2016.09.109
基于机器视觉的核桃仁大小自动分级技术
申爱敏1,霍晓静1,王文娣1,王红霞2
(1.河北农业大学机电工程学院,河北保定071001;2.河北农业大学山区研究所,河北保定071001)
摘要:为了改善我国核桃仁外观品质人工检测速度慢、精度低、费时费力的现状,提出1种基于机器视觉和图像处
理技术的核桃仁大小检测方法。构建图像采集系统以获得与背景颜色对比度明显的待检核桃仁图像;通过灰度变换、
中值滤波,降低了图像处理计算数据量,提高了图像信息的可读性;通过阈值分割和区域填充,得到了清晰完整的核桃
仁区域分割图;使用像素统计法计算核桃仁像素面积;提出1种自适应平均算法对样本学习训练,进而计算出大小分
级阈值;以LabWindows/CVI2012为开发平台,借助其图像采集和图像处理函数,设计配套的核桃仁大小自动分级软
件。结果表明,该方法在实验室条件下可实现核桃仁大小分级,分级正确率达90.0%以上。
关键词:核桃仁;大小分级;自适应平均算法;机器视觉
中图分类号:S126;TP391.41 文献标志码:A 文章编号:1002-1302(2016)09-0383-03
收稿日期:2015-10-29
基金项目:河北省现代农业装备研发中心建设项目(编号:
XDNZ201501);河 北 省 科 技 基 础 性 工 作 专 项 (编 号:
2013FY1117000-5);2015年保定市科学技术研究与发展指导计
划(编号:15ZN004)。
作者简介:申爱敏(1990—),女,河北邯郸人,硕士研究生,主要从事
与农产品相关的智能检测与分级技术研究。E-mail:shenaimin
happy@sina.com。
通信作者:霍晓静,博士,副教授,主要从事与农业相关的智能检测与
控制技术研究。E-mail:xjhuojxteng@126.com。
核桃是世界四大坚果类之首,也是我国主要栽培的果树
种类之一[1]。核桃仁富含蛋白质、氨基酸、油脂以及多种其
他营养物质,核桃加工而成的高级食用植物油营养丰富,常食
核桃仁及其油产品,具有润肺强肾、预防冠心病、降低血脂的
功效 [1-2]。核桃贸易主要有核桃仁和带壳核桃 2种,近年
来,随着生活水平的提高,人们对核桃仁产品的需求量和品质
要求也越来越高。在核桃仁贸易中,不同大小核桃仁的销售
价格和用途也不同,大仁可经包装后直接销售,小仁可用于制
作糕点、玛仁糖等,碎仁可用于榨油[2]。因此,对核桃仁进行
大小分级是核桃仁产品生产过程中十分必要的环节,对提高
核桃仁的经济价值具有十分重要的意义。
目前,国内对核桃大小分级的研究主要以带壳核桃大小
分级为主[3-7],对核桃仁分级技术的研究仍处于起步阶段[8],
因此,我国核桃仁大小分级仍主要靠人工进行分拣,这种方法
不仅过程繁琐、效率低下,同时还容易受人的主观因素影响,
不能保证分级的客观性和标准化。机器视觉技术在农产品品
质检测与分级中的应用已非常广泛,涉及的研究对象包括玉
米[9]、花生[10]、黄花梨[11]、橄榄[12]、槟榔[13]等,不仅实现了无
损检测与分级,还提高了检测与分级的速度和效率,避免人为
因素的影响,使分级结果更加客观、精准。
本研究在实验室条件下研究1种基于机器视觉的核桃仁
大小分级技术,可为进一步研究核桃仁的实时在线外观品质
检测和分级技术提供新的思路和基础条件,对提高我国核桃
仁贸易水平有着重要的意义。
1 材料与方法
1.1 试验材料
本试验所用核桃仁样本为 2014年保定市种植的香玲
核桃。
1.2 图像采集系统构建
图像采集硬件系统如图1所示。为避免暴露状态下周围
自然光源对采集图像的影响,本试验在特制的密闭光照箱中
进行图像采集,箱内设有与相机镜头上下垂直相对的载物台,
载物台正中间设有1个标志点,以保证核桃仁每次的放置位
置一致,调节相机物距和焦距使采集图像清晰后,固定载物台
与相机的距离。箱内壁为黑色,箱底及载物台为蓝色,可使采
集到的核桃仁图像背景为蓝色,便于后期图像处理;光源为环
形低角度LED工业光源,其光线均衡,可使采集到的核桃仁
图像无阴影;相机为 MV-GX3300C,计算机为 ThinkVision
E2323,配置i7处理器、2T内存硬盘。
1.3 核桃仁图像处理
为了消除和抑制图像中的无用信息,增强有用信息的可
检测性,提高检测速度和精度,进行图像检测前须先进行图像
处理。针对核桃仁外观颜色及其轮廓的特殊性,结合核桃仁
大小分级要求进行图像处理算法设计[14-15]。
对于核桃仁的大小检测而言,图像的色彩信息并不影响
—383—江苏农业科学 2016年第44卷第9期
网络出版时间:2016-10-21 08:47:52
网络出版地址:http://www.cnki.net/kcms/detail/32.1214.S.20161021.0847.047.html
所需提取的大小特征,反而会影响图像处理的速度,故在对图
像进行分析处理之前先进行灰度变换,得到的灰度图像如图
2-a所示;采用5×5的中值滤波器对灰度变换后的核桃仁
图像进行滤波,如图2-b所示;采用基于聚类统计技术的自
动阈值法进行图像二值化分割,得到阈值为128,分割结果如
图2-c所示;采用八向连通算法进行小孔填充,填充后得到
完整的核桃仁区域,如图2-d所示。
1.4 核桃仁图像特征提取
图像特征是分析图像信息的基本属性,主要包括几何特
征、形状特征、颜色特征、纹理特征等。鉴于核桃仁边缘轮廓
的不规则性以及大小分级的标准要求,本研究主要对核桃仁
图像的几何特征进行分析,并选择核桃仁图像面积这一几何
特征作为大小分级的特征参数值。面积计算方法有很多种,
常见的有最小外接矩形法、形状拟合法、像素计数法等[16]。
由于不同大小等级核桃仁轮廓的不规则性和随机性,使
用外接矩形法和形状拟合法都会对分级结果造成很大的误
差。以大三角仁为例,使用最小外接矩形法进行面积计算,则
大三角仁与整半仁所得到的最小外接矩形可能是大小相同
的,如图3所示,这会造成严重的误判现象。由于核桃仁的轮
廓严重不规则,且核桃仁个体间轮廓差异较大,故形状拟合法
也不适用。而像素计数法则不受待测对象轮廓的影响,统计
待测对象区域内部(包括边界上)的像素数即可。因此,本研
究采用像素计数法来计算核桃仁面积,计算公式:
S=∑
N
x=1
∑
M
y=1
f(x,y)。 (1)
式中:S为核桃仁面积,像素;f(x,y)为像素坐标;N为检测区
域内横向像素数,个;M为检测区域内纵向像素数,个。
由于阈值分割后核桃仁与背景已经完全分割开来,且已
经转换成二值图像,0表示背景、1表示物体,故统计图像中
f(x,y)=1的像素数即可计算核桃仁的面积。
2 算法与实现
2.1 核桃仁大小分级标准
LY/T1922—2010《核桃仁》[17]中对核桃仁大小等级进行
了定义:核桃仁的整半颗粒(一半子叶)称为半仁,如仁粒缺
损,短缺部分不足整半颗粒1/4的仍为半仁;半仁短缺部分约
达整半颗粒1/4以上,但未超过3/8的仁粒称为大三角仁;纵
分的半仁称为四分仁,如仁粒缺损,余下部分不小于纵分半仁
粒3/4的仍作为四分仁;小于或不符合四分仁的仁粒称为
碎仁。
2.2 分级模型的构建
由核桃仁分级标准定义可知,各大小等级的阈值都可用
整半仁面积乘以相应的系数来表示。设整半仁面积为 S0,则
核桃仁大小分级的具体过程:先对同一品种的多个经图像处
理后的核桃整半仁样本图像进行面积计算,通过样本学习训
练得到此品种核桃整半仁面积S0,设待检测核桃仁面积为S,
核桃仁大小等级(degree)为D,则以整半仁面积 S0作为分级
特征参数,参考核桃仁分级标准构建的大小分级模型如下:
D=
半仁 S≥ 34S0
大三角仁 34S0>S≥
5
8S0
四分仁 58S0>S≥
3
8S0
碎仁 S<38S
0
。 (2)
2.3 阈值选取算法设计
核桃的品种不同,核桃整半仁大小就会不同,即使是同一
品种,由于生长状况的不同,其整半仁大小也不尽相同,因此
S0的取值是影响分级效果的关键因素,为了得到合理的整半
仁面积S0,提出1种对多个同品种核桃整半仁样本进行学习
训练的自适应阈值选取算法。
首先,随机选取 N(N≥20)个样本,各样本间相互独立,
假设样本像素面积Si(i=1,2,…,N)服从正态分布。统计 N
个样本的像素面积后,若直接求其平均值作为整半仁面积 S0
进行分级,虽有计算量小、简单易行的优点,但同时也存在误
判率高的缺点。为了降低误判率,提出1种自适应平均算法
进行阈值选取,具体计算过程如下:
(1)分别计算N个样本的像素面积Si,i=1,2,…,N;
(2)计算N个样本像素面积平均值S1和标准差σ;
(3)将面积值在区间[S1-σ,S1+σ]之外的样本视为小
概率样本,并将其从样本空间中剔除;
(4)计算剩余样本像素面积平均值S2。
S2即为此品种核桃仁大小分级的特征参数整半仁像素面
积S0。
其中面积平均值、标准差的计算公式分别为:
S=1N∑
N
i=1
Si; (3)
σ= 1N∑
N
i=1
(Si-S)槡 2。 (4)
2.4 软件实现
以LabWindows/CVI2012为软件开发平台,借助其图像
—483— 江苏农业科学 2016年第44卷第9期
采集和图像处理函数,设计开发核桃仁大小自动分级软件系
统,软件界面如图4所示。对某品种核桃仁进行大小检测分
级之前,须先对N(N≥10)个此品种核桃整半仁样本进行学
习训练,系统中设有相应的学习训练模块,将整半仁样本图像
导入后,软件会对其进行学习训练,并输出学习结果,即此品
种核桃整半仁面积 S0,可将学习结果存储在训练库中,参数
设置中的“品种”选项会列出已学习训练过的核桃品种,选择
相应品种即可直接进行大小分级。
3 结果与分析
根据核桃仁分级标准,在专家指导下人工选取20粒整半
仁,用于学习训练和构建模型,另外选取半仁、大三角仁、四分
仁、碎仁各30粒共120粒核桃仁样本,并对每个样本进行编
号,用于分级测试,验证机器视觉技术的分级准确率。
为了验证改进后学习训练算法的可行性,进行直接计算
平均值法与改进后算法的对比分级试验。首先,用所构建的
图像采集系统对随机选取的20个香玲核桃整半仁样本进行
图像采集,并将其输入系统中进行图像处理,得到各样本的像
素面积;然后,分别使用直接平均算法和自适应平均算法对处
理后的样本图像进行学习训练,得到 S0分别为 1332151、
126368像素;最后分别将1332151、126368像素作为S0,按
照公式(1)对选取的120粒核桃仁样本进行分级,结果如表1
所示。对比试验结果表明:(1)使用自适应平均法得出阈值
的分级正确率明显提高,与直接平均算法相比,半仁、大三角
仁、四分仁、碎仁的分级正确率分别提高了 3.3、0.0、13.3、
66百分点,表明用自适应平均法进行核桃仁样本分级阈值
是高效可行的;(2)所提出的基于机器视觉的核桃仁大小分
级技术在实验室条件下的分级正确率可达90.0%及以上。
表1 2种算法的分级试验对比结果
大小等级 样本数(粒)
机器视觉识别数(粒) 正确率(%)
普通
平均法
自适应
平均法
普通
平均法
自适应
平均法
半仁 30 29 30 96.7 100.0
大三角仁 30 27 27 90.0 90.0
四分仁 30 24 28 80.0 93.3
碎仁 30 26 28 86.7 93.3
4 结论
本研究提出了1种基于机器视觉的核桃仁大小分级技
术,通过设计图像处理算法步骤,得到了清晰完整的核桃仁区
域图像;使用像素统计法得到了核桃仁的像素面积,并将其作
为特征参数进行大小分级;提出1种自适应平均算法来进行
分级阈值选取,使得分级阈值的选取更加科学,避免了人工阈
值选取的主观性和随机性,提高了分级的准确率;设计开发了
核桃仁大小自动分级软件,提高了分级效率;提出的基于机器
视觉的核桃仁大小分级技术在实验室条件下分级正确率可达
90.0%及以上。综上可知,将机器视觉技术应用到核桃仁大
小分级中是可行的。在今后的研究中,可进一步对此技术进
行优化,以提高其分级精度和效率,将其发展为实时在线分级
系统并投入到实际应用中,以提高我国核桃仁出口贸易量,增
强我国的综合国力。
参考文献:
[1]李 敏,刘 媛,孙 翠,等.核桃营养价值研究进展[J].中国
粮油学报,2009,24(6):166-170.
[2]黄黎慧,黄 群,孙术国,等.核桃的营养保健功能与开发利用
[J].粮食科技与经济,2009,34(4):48-50.
[3]李 莉.基于虚拟仪器技术的核桃品质综合测评系统[D].保
定:河北农业大学,2004.
[4]张庆磊.核桃品质的无损检测技术研究[D].镇江:江苏大
学,2010.
[5]戚淑叶,张振伟,赵 昆,等.太赫兹时域光谱无损检测核桃品质
的研究[J].光谱学与光谱分析,2012,32(12):3390-3393.
[6]何 鑫,史建新.6FG-900型核桃分级机的原理与试验[J].新
疆农业大学学报,2010,33(3):268-271.
[7]买合木江,刘 奎,朱占江,等.6FG-3000型滚杠式青核桃分级
机的设计[J].新疆农机化,2013(4):20-22.
[8]新疆农业科学院农业机械化研究所.核桃仁分级机:中国,
201110406022.4[P].2011-12-08.
[9]郑小东,王 杰.机器视觉在玉米籽粒品质检测中的应用研究
[J].中国粮油学报,2013,28(4):124-128.
[10]熊利荣,任奕林,肖任勤.基于机器视觉的花生大小检验[J].
湖北农业科学,2007,46(3):464-465.
[11]应义斌,景寒松,马俊福,等.机器视觉技术在黄花梨尺寸和果
面缺陷检测中的应用[J].农业工程学报,1999,15(1):197-
200.
[12]GuzmánE,BaetenV,PiernaJAF,etal.Infraredmachinevision
systemfortheautomaticdetectionofolivefruitquality[J].Talanta,
2013,116:894-898.
[13]HuangKY.Detectionandclassificationofarecanutswithmachine
vision[J].ComputersandMathematicswithApplications,2012,64
(5):739-746.
[14]HornB K P.Robotvision[M].Massachusets:TheMIT
Press,1986.
[15]GonzalezRC,WoodsRE,阮秋琦,等.数字图像处理[M].3版.
北京:电子工业出版社,2010.
[16]邓海霞.基于机器视觉的群体禽蛋大小检测方法研究[D].武
汉:华中农业大学,2006.
[17]国家林业局.LY/T1922—2010 核桃仁[S].2010.
—583—江苏农业科学 2016年第44卷第9期