全 文 ：2 0 0 9 年 11 月 农 业 机 械 学 报 第 40 卷 第 11 期
山竹的计算机视觉分级方法＊
张俊雄1 　荀　一2 　李　伟1
(1.中国农业大学工学院 , 北京 100083;2.浙江工业大学机电工程学院 , 杭州 310032)
　　【摘要】　提出了一种基于计算机视觉技术的山竹大小和颜色分级方法。针对以蓝色滚子为背景的山竹图像 ,
在 RGB 色彩空间使用双阈值对图像进行初步分割;然后通过形态学运算 、轮廓跟踪 、区域填充提取出整个山竹目
标;最后由颜色因子 2G-R-B 和 G 识别出果柄 、果蒂和果皮。由果柄 、果蒂区域形心和果皮区域形心位置判断水果
的姿态 ,提取水果的最大横径作为大小分级指标;在 HIS 颜色空间以果皮区域的饱和度 S 和色调 H 的差值作为颜
色分级指标。选取 200 个山竹进行分级试验 ,试验结果表明:果径检测精度为±1.8 mm , 颜色分级串级果最大比例
为 10.2%。
关键词:山竹　分级　计算机视觉
中图分类号:S126;TP391.41 文献标识码:A
Mangosteen Grading Based on Computer Vision
Zhang Junxiong 1　Xun Yi2　Li Wei1
(1.College of Engineering , China Agricultural University , Beijing 100083 , China　
2.Institute of Mechanical and Electrical Engineering , Zhejiang University of Technology , Hangz hou 310032 , China)
Abstract
A grading method of mangosteen at size and colo r w as proposed based on computer vision.Taking
the blue rollers as backg round , the mangosteen images were pre-segmented by double thresholds in
RGB color space.Through morpholog ical operation , contour t race and region fill , the whole
mangosteen target w as obtained.Last ly , the peduncle , pedicel and pericarp were identified by 2G-R-and
G factors.According to the centroid of peduncle and pedicel and the centroid of pericarp , the frui t
posture was evaluated , and the diameter was extracted as the size grading criteria.Meanwhi le ,
the dif ference of saturation and hue of pericarp area in HIS color space was the color grading
cri teria.A grading experiment was carried out for 200 mangosteens.The results indicated that the
accuracy of diameter measurement is ±1.8 mm , and the maximal scaleof neighbor grade mixed by
color is 10.2%.
Key words　Mangosteen , Grading , Computer vision
收稿日期:2009-02-07　修回日期:2009-04-17
＊高等学校博士学科点专项科研基金资助项目(200800191014)
作者简介:张俊雄 ,讲师 ,博士,主要从事计算机视觉检测研究 , E-mail:mech18@cau.edu.cn
通讯作者:李伟 ,教授 ,主要从事计算机视觉检测研究 , E-mail:gxy5@cau.edu.cn
　　引言
山竹收获后及时储藏保鲜 ,并根据其大小和颜
色分级上市才能获得较好的效益。目前 ,山竹的分
级主要依靠人工完成 ,效率低 、耗工大 ,而且分级效
果受主观标准影响较大。随着计算机视觉检测技术
的发展 ,基于计算机视觉的水果外部品质检测技术
在苹果 、梨 、柑橘等水果的分选上得到了广泛的应
用[ 1～ 4] ,进一步研究基于机器视觉的山竹分级方法
具有实际的应用和推广价值。但是 ,由于山竹收获
后常留有一段果柄和较大面积的果蒂 ,而且个体间
果皮颜色差异较小 ,运用计算机视觉进行检测具有
一定的难度。如:果柄和果蒂随水果的姿态对果径
有不同程度的影响;较深的果皮颜色在图像分割时
受光照的影响较为敏感等 。本文提出一种基于计算
机视觉的山竹分级方法 ,研究山竹图像的目标分割 、
姿态判别 、果径测量和颜色分级指标确定的算法 ,实
现山竹按大小和颜色的分级。
1　系统组成
山竹分级在智能型果蔬分选系统[ 5 ～ 7]上进行 ,
水果在双锥形滚子式传送带上被等间距单元化排列
后由一台彩色摄像机采集图像 。水果在图像采集过
程中一边随传送带运动一边自身旋转 ,每个水果被
拍摄到 3个不同表面的图像 ,如图 1是一个山竹被
采集到的 3幅图像。由于山竹果皮颜色较深 ,双锥
形滚子采用蓝色以提高颜色反差。计算机处理系统
根据每个水果的 3幅图像综合得到水果的大小和颜
色等级信息 ,并将等级信息通过串口通信发送给分
离控制器 ,当水果沿传送带到达相应的等级收集口
位置时分离控制器控制执行器件将水果从传送带分
离到收集口处 ,从而实现水果的分级。
图 1　山竹图像
Fig.1　Images of a mangosteen
　
2　分级处理算法
图 2　目标提取流程
Fig.2　Flow chart of object extraction
2.1　山竹目标提取
如图 1所示 ,图像除了山竹目标外还有亮度值
较高的蓝色滚子和亮度值很低的黑色缝隙 ,而且由
于场景在景深方向高度差异较大 ,难以避免地受到
一定的离焦和阴影的影响 。能否对图像进行准确的
目标分割直接影响后续的目标参数计算和分级准确
程度。以图 1a 为例 ,采用的目标提取算法流程如
图 2所示 。
首先 ,根据山竹和背景的颜色特征 ,在 RGB 颜
色空间进行目标的初步分割 。满足目标点的要求为
R >20
B-R <35 (1)
其中阈值 20和 35通过试验得到 。对图 1a分割后
的二值图像如图 3a所示。由图可见 ,在一些缝隙的
边缘存在较严重的分割噪声。再通过与 3×3模板
的逻辑开运算之后可以适当地断开一些噪声与目标
的连接(图 3b)。
图 3　图像预处理
Fig.3　Image preprocessing
(a)初步分割后二值图　(b)开运算后结果
(c)去除噪声后结果　(d)果皮目标提取
　 图 3b的情况通常可采用区域标记算法去除图
像中的小面积噪声 ,将面积最大的山竹区域提取出
来 。本文采用一种轮廓跟踪和区域种子填充的方式
提取山竹目标。首先以前述开运算的结果计算所有
目标点的面积之和 A 及形心 O 点位置 ,然后从 O
点开始向上寻找水果边界 ,以找到的边界点 Ps 作为
山竹轮廓的起始点。从 Ps 开始通过 8 邻域判别的
方式搜索得到整个目标的轮廓边界点 ,并把所有边
界点坐标以链表方式记录。最后对轮廓进行区域种
子填充 ,得到山竹的目标区域 ,去掉了周围的噪声 ,
结果如图 3c所示。该方法与常用的区域标记法相
比避免了在整幅图像上对所有小面积噪声逐个进行
标记和判别 ,并且在获得山竹轮廓的同时也得到了
整个山竹的区域 ,算法时间复杂度降低 ,更适合于实
时的检测要求。
为了避免在确定边界起始点 Ps 时受到目标区
域内孔洞的影响 ,以搜索到的轮廓边界点(x i , yi)
(i=0 ,1 , …, n)计算目标面积 A1 ,计算式为
A1=12 ∑
n
i=0
(xi+1 yi -x iyi+1) (2)
177第 11 期　　　　　　　　　　　　　张俊雄 等:山竹的计算机视觉分级方法
其中(xn+1 , yn+1)=(x 0 , y0)。如果面积 A 1 <
A/2 ,则认为寻找 Ps 时出现异常 ,放弃该点 ,继续沿
OPs 方向寻找下一个边界点作为轮廓的起始点。
山竹在果柄上通常有 4片绿色的果蒂覆盖 ,这
对山竹大小的测量及颜色的分级都会产生严重的影
响。在图 3c得到的整个山竹目标区域内 ,将果柄和
果蒂识别出来的条件为
2G-R -B <0
G<80 (3)
即满足式(3)要求的为果皮部分 ,否则为果柄或果蒂
部分 ,其中阈值 80通过试验得到。如图 3d所示 ,白
色区域为果皮部分 ,记为区域 S 1 ,灰色区域为果柄
和果蒂部分 ,记为区域 S 2 , O 1 和 O 2 分别是这两部
分区域的形心。
2.2　果径检测算法
山竹通常以其最大横径作为大小的衡量标准 。
常用的果径测量方法有半径序列法和最小矩形法
等[ 8 ～ 10] 。由于山竹的大小测量易受果柄和果蒂的
影响 ,在进行图像采集时 ,水果的姿态具有随机性 ,
因此如何判断山竹的姿态是准确测量果径大小的关
键。本文根据山竹的最大果径基本垂直于果轴的特
点 ,如图 4a所示 ,过 O 1 点作 O1O 2 的垂直线 ,求垂
直线与水果轮廓的 2个交点 P1 和 P2 ,线段P1P2的
长度可以近似认为是山竹的最大果径。
图 4　山竹果径测量示意图
Fig.4　Diameter measurement
(a)最大果径方向　(b)最大果径位置
　 由于受光照 、景深等多种因素的影响 ,山竹图像
在分割时容易在边缘轮廓处造成过分割或欠分割 ,
难以得到非常准确的轮廓 ,直接以P1P 2作为最大果
径容易影响测量的准确性和稳定性 。以山竹轮廓中
　　
靠近脐部的半个轮廓上距离最大的两点间距作为最
大横径 。如图 4a所示 ,认为山竹脐部在 O 2 点相对
于 O 1O 2 位置的另一侧 ,在靠近山竹脐部的轮廓曲
线 P 1P2 链码中 ,求得两两任意像素点之间的欧氏
距离 ,并以距离最大的两点 P′1 和 P′2 之间的距离
lP′
1
P′
2
作为山竹的最大果径 D 。并且 ,对于每个山竹
的 3幅图像 ,以 D 的最大值Dmax作为最终的大小分
级指标 。
2.3　颜色分级算法
成熟山竹的果皮颜色具有一定的均匀性 ,颜色
分级时去掉绿色果柄和果蒂部分只考虑果皮的颜
色 。试验发现 ,在 HIS 颜色空间下 ,使用饱和度 S
与色调 H 的差值可有效增强山竹个体间的颜色差
异 。对每幅山竹水果图像中果皮部分所有像素点求
S 与 H 之差的平均值 Q(为了方便表示 , S 和H 的
取值范围都变换为[ 0 , 255]),即
Q =1n(∑
n-1
i=0
S i -∑n-1
i=0
Hi)　(i ∈ S 1) (4)
并且每个山竹以其 3幅图像 Q 值的平均值 Q 作为
最终颜色分级指标 。
3　试验结果与分析
试验样品为泰国进口山竹 , 脱离保鲜环境后
24 h内使用 。随机挑选 200 个样品进行分级试验 ,
分级系统中传送带的运行速度为每个通道每秒传送
6个山竹。
3.1　大小分级
对所有山竹样品 , 根据最大果径 Dmax按范围
(+∞, 62] ,(62 , 56] ,(56 , 50] , (50 , 0)(单位 mm)
分成 4级 ,对分级结果用游标卡尺测量各等级水果
最大和最小个体的最大果径 Dmax max和 Dmax min 。重
复 3次试验 ,结果如表 1所示。
由表 1可见 ,分级后每个等级山竹最大 、最小个
体的最大果径与设定分级范围的最大误差为
±1.8 mm ,可认为果径测量的精度在±1.8mm以内。
3.2　颜色分级
以 Q 值作为颜色分级指标 ,各颜色等级 Q 值
的划分通过试验确定:将山竹按颜色分成深 、中 、浅
　　表 1　大小分级结果
Tab.1　Grading result by size mm
试验序号 (+∞, 62] (62 , 56] (56 , 50] (50 ,0)
Dmax max Dmax min D max max D max min Dmax max Dmax min Dmax max D max min
1 71.20 61.94 63.48 55.90 57.46 50.62 51.40 38.64
2 71.20 61.86 62.54 56.06 57.80 50.62 50.76 38.64
3 71.20 62.04 63.12 56.38 56.86 51.00 50.76 38.64
178 农　业　机　械　学　报　　　　　　　　　　　　　　　　2 0 0 9 年
3个颜色等级 ,人工挑选每个等级 15个山竹测定其
Q 值 ,结果如图 5所示。
图 5　颜色阈值
F ig.5　Color threshold
　 由图 5 可见 ,可以将 Q 值 -20 和 20 作为界
线。对所有样品按颜色分成 3个等级 ,进行 4 次重
复分级试验 ,统计各次分级后每个等级的山竹个数 ,
结果如表 2所示 。
由表 2可见 ,对于某颜色等级山竹 ,以各次试验
的个数与 4次试验的平均个数的偏差计算串级果百
分比 ,得到浅 、中 、深各级串级果最大比例分别为
9.3%、4.5%、10.2%。影响串级果比例的主要原因
有:①受球形表面的影响 ,果皮表面从不同角度成像
时颜色信息会略有畸变。 ②部分果蒂的颜色与果皮
颜色相近 ,图像识别时误判为果皮。 ③山竹颜色分
布在等级界线处 。
表 2　颜色分级结果
Tab.2　Grading result by color
试验序号 颜色等级浅 中 深
1 42 92 66
2 37 85 78
3 38 90 72
4 44 89 67
4　结论
(1)以蓝色滚子为图像背景 ,在 RGB 色彩空间
中可有效分割出山竹目标 ,并进一步识别出果柄 、果
蒂区域和果皮区域 。
(2)基于轮廓跟踪和区域填充的山竹目标提取
方法具有较高的效率 ,满足实时检测的要求。
(3)通过轮廓跟踪和山竹姿态的判定 ,以靠近山
竹脐部的近似半圆轮廓上任意两点间最大距离作为
山竹的最大果径具有一定的可行性 ,可有效减小由
于目标分割不准确造成的果径测量误差 ,测量精度
达±1.8mm 。
(4)在HIS 颜色空间中以果皮区域的饱和度 S
和色调 H 的差值作为指标可有效实现对山竹的颜
色分级 。
参 考 文 献
1　Bro snan T , Sun D W.Improving quality inspection of food products by computer vision——— a review[ J] .Journal of Food
Engineering , 2004 , 61(1):3～ 16.
2　Miller W M , Drouillard G P.Multiple feature analy sis for machine vision grading of Flo rida citrus[ J] .Applied Engineering
in Agriculture , 2001 , 17(5):627～ 633.
3　梁伟杰 , 邓继忠 , 张泰岭.梨果面坏损区域的计算机视觉检测方法[ J] .农业机械学报 , 2005 , 36(7):101～ 103.
Liang Weijie , Deng Jizhong , Zhang Tailing.Study on computer vision inspecting for pear surface defect[ J] .T ransactions of
the Chinese Society for Agricultural Machinery , 2005 , 36(7):101 ～ 103.(in Chinese)
4　应义斌 , 饶秀勤 , 马俊福.柑橘成熟度机器视觉无损检测方法研究[ J] .农业工程学报 , 2004 , 20(2):144～ 147.
Ying Yibin , Rao Xiuqin , Ma Junfu.Methodolog y for nondestructive inspection of citrus maturity w ith machine vision[ J] .
T ransactions of the Chinese Society of Ag ricultural Engineering , 2004 , 20(2):144 ～ 147.(in Chinese)
5　张俊雄 , 荀一 , 李伟 , 等.基于计算机视觉的柑橘自动化分级[ J] .江苏大学学报:自然科学版 , 2007 , 28(2):100 ～
103.
Zhang Junxiong , Xun Yi , Li Wei , et al.Automatic citrus g rading based on computer vision[ J] .Journal of Jiangsu
University:Natural Science Edition , 2007 , 28(2):110 ～ 103.(in Chinese)
6　Zhang Junxiong , Xun Yi , Li Wei , e t al.Double-channel on-line automatic fruit g rading sy stem based on computer vision[ C]
∥27th International Congress on High-speed Pho tog raphy and Photonics , Proc.of SPIE Vol.6279 , Xi an , China , 2006:
17 ～ 22.
7　郑冠楠 , 谭豫之 ,张俊雄 , 等.基于计算机视觉的马铃薯自动检测分级[ J] .农业机械学报 , 2009 , 40(4):166 ～ 168 , 156.
Zheng Guannan , Tan Yuzhi , Zhang Junxiong , et al.Automatic detecting and g rading method of po tatoes with computer
vision[ J] .T ransactions o f the Chinese Society fo r Agricultural Machinery , 2009 , 40(4):166～ 168 , 156.(in Chinese)
(下转第 188 页)
179第 11 期　　　　　　　　　　　　　张俊雄 等:山竹的计算机视觉分级方法
Bionic Engineering , 2008 , 5(3):253～ 257.(in Chinese)
3　石志标 , 左春柽 ,李宇彤.鼻腔结构影响人体嗅觉反应的数值模拟[ J] .生物物理学报 , 2004 , 20(4):329～ 333.
Shi Zhibiao , Zuo Chuncheng , Li Yutong.Simulation on the human olfaction reacts affected by nasal cavity structure[ J] .
Acta Biophysica Sinica , 2004 , 20(4):329～ 333.(in Chinese)
4　岑涌 , 钟萍 ,罗林开.基于 GA-SVM 的企业财务困境预测[ J] .计算机工程 , 2008 , 34(7):223 ～ 225.
Cen Yong , Zhong Ping , Luo Linkai.P rediction financial distress of firms based on GA-SVM[ J] .Computer Engineering ,
2008 , 34(7):223 ～ 225.(in Chinese)
5　周平 , 刘俭英 ,文友先.基于支持向量机的鸭蛋破损检测技术[ J] .农业机械学报 , 2008 , 39(1):195～ 197 , 204.
6　孙永海 , 赵锡维 , 鲜于建川.基于计算机视觉的冷却牛肉新鲜度评价方法[ J] .农业机械学报 , 2004 , 35(1):104～ 107.
Sun Yonghai , Zhao Xiwei , Xianyu Jianchuan.Appraising method for freshness of chilled beef based on computer vision
technique[ J] .T ransactions of the Chinese Society for Ag ricultural Machinery , 2004 , 35(1):104 ～ 107.(in Chinese)
7　张军 , 李小昱 ,王为 , 等.电子鼻检测鲢鱼新鲜度的试验参数优化[ J] .农业机械学报 , 2009 , 40(4):129 ～ 132 , 142.
Zhang Jun , Li Xiaoyu ,Wang Wei , et al.Optimization of experiment parameters fo r using electronic nose to evaluate freshness
of silver carp[ J] .Transactions of the Chinese Society for Ag ricultural Machinery , 2009 , 40(4):129 ～ 132 , 142.
(in Chinese)
8　Natale C Di , Macagnano A , Amico A D , et al.An electronic nose for food analy sis[ J] .Sensor s and Actuators B , 1997 ,
44(1 ～ 3):521 ～ 526.
9　滕炯华 , 袁朝辉 ,王磊.基于气敏传感器阵列的牛肉新鲜度识别方法研究[ J] .测控技术 , 2002 , 21(7):1～ 3.
Teng Jionghua , Yuan Zhaohui , Wang Lei.S tudy deg ree of beef freshness with identification method based on gas sensitive
sensors array[ J] .Measurement & Control Technology , 2002 , 21(7):1 ～ 3.(in Chinese)
10　孙永海 ,孙钟雷 , 李宇.基于遗传组合网络的肉用人工嗅觉系统[ J] .吉林大学学报:工学版 , 2007 , 37(5):1 209 ～
1 213.
Sun Yonghai , Sun Zhonglei , Li Yu.Meat ar tificial o lfactory system based on composite GA-RBF netwo rk[ J] .Journal of
Jilin University:Engineering and Technology Edition , 2007 , 37(5):1 209 ～ 1 213.(in Chinese)
11　柴春祥 ,杜利农 , 范建伟 ,等.电子鼻检测猪肉新鲜度的研究[ J] .食品科学 , 2008 , 29(9):444 ～ 447.
Chai Chunx iang , Du Linong , Fan Jianwei , et al.Identification of pork freshness by electronic nose[ J] .Food Science ,
2008 , 29(9):444～ 447.(in Chinese)
(上接第 179 页)
8　冯斌 , 汪懋华.基于计算机视觉的水果大小检测方法[ J] .农业机械学报 , 2003 , 34(1):73～ 75.
Feng Bin , Wang Maohua.Detecting method of fruit size based on computer vision[ J] .T ransactions of the Chinese Society
for Ag ricultural Machinery , 2003 , 34(1):73～ 75.(in Chinese)
9　应义斌 , 成芳 , 马俊福.基于最小矩形法的柑桔横径实时检测方法[ J] .生物数学学报 , 2004 , 19(3):352～ 356.
Ying Yibin , Cheng Fang , Ma Junfu.Real- time size inspection of citrus with minimum enclosing rectangle method[ J] .
Journal of Biomathematics , 2004 , 19(3):352 ～ 356.(in Chinese)
10　林开颜 , 吴军辉 , 徐立鸿.基于计算机视觉技术的水果形状分级方法[ J] .农业机械学报 , 2005 , 36(6):71～ 74.
Lin Kaiyan , Wu Junhui , Xu Lihong.Separation approach for shape g rading of fruits using computer vision [ J] .
T ransactions of the Chinese Society for Agricultural Machinery , 2005 , 36(6):71 ～ 74.(in Chinese)
188 农　业　机　械　学　报　　　　　　　　　　　　　　　　2 0 0 9 年