全 文 :第 19卷 第 3期
2003年 5月
农 业 工 程 学 报
Transactions of the CSAE
Vol. 19 No. 3
May 2003
基于模糊彩色聚类方法的西红柿缺陷分割研究
朱伟华 , 曹其新
(上海交通大学 ,上海 200030)
摘 要: 缺陷的检测一直是应用计算机视觉技术进行水果自动分级的难点。在 HSL颜色模型的基础上 ,提出了基于模糊颜
色聚类的缺陷分割方法。将 RGB颜色模型转化为 HSL颜色模型 ;用三角隶属度函数定义 H、 S、 L模糊集 ,进而构成模糊颜
色集 ;在模糊颜色的基础上 ,定义模糊颜色相似度测度 ,分析两种模糊颜色的形似性。将该分割方法应用于西红柿的缺陷分
割 ,试验表明:准确率达 96% 。
关键词: 计算机视觉 ; 模糊颜色 ; 西红柿 ; 缺陷 ; 分割 ; 检测
中图分类号: T P242. 62; S641. 2 文献标识码: A 文章编号: 1002-6819( 2003) 03-0133-04
收稿日期: 2002-08-21
基金项目: 上海市科技兴农重点攻关项目 (农科攻字 ( 2001)第 2-1
号 )
作者简介:朱伟华 ,硕士生 ,上海市华山路 1954号 上海交通大学机
械工程与动力学院 B0006093信箱 , 200030
1 引 言
水果分级是水果产后售前的重要处理环节。根据水
果尺寸、形状、颜色和缺陷等多个指标 ,判断等级。长期
以来 ,水果分级工作一直靠人工完成。随着科学技术的
迅速发展 ,根据分级标准 ,应用彩色机器视觉技术 ,可以
实现水果自动分级。国内外研究者对相关技术进行了深
入研究 ,但是 ,水果表面缺陷的识别一直是品质检测中
的难题。
缺陷的识别包括缺陷的有无、大小、位置等信息 ,首
先必须从水果图像中分割出缺陷区域。目前 ,国内外研
究者提出了各种分割方法。 Zhiqing Wen和 Yang
Tao
[4 ]以及 Gerald和 James[5 ]用近红外技术检测缺陷 ,
从黑白摄像头得到含有缺陷信息的灰度图像 ,然后用阈
值法分割缺陷 ; Miller和 Delwiche[ 6]用基于梯度的高斯
滤波器检测缺陷边缘 ; Leemans和 Magein等 [7 ]用
Bayes分类器 ,将彩色图像的每个像素根据颜色分成
“正常”和“缺陷”两类 ,从而实现缺陷的分割。
上述这些方法大多都是基于传统的图像处理技术
的分割方法 ,适应差 ,检测效果随着检测的水果个体不
同而不同 ,只在特定条件有效。
对大多数水果 ,缺陷区域和正常区域的颜色特征有
明显的区别 ,因此可以根据颜色特征进行缺陷分割。 传
统的基于颜色特征的分割方法 ,将图像每个像素颜色绝
对地定义为某一颜色集 ,不符合人对颜色的视觉感官 ,
也和人对水果缺陷的模糊判断有根本的区别 ,所以识别
效果不理想。 本文以温室西红柿为例 ,应用模糊彩色聚
类 ,提出了水果表面缺陷分割的新方法。
2 计算机视觉检测硬件系统
本研究的计算机视觉检测系统如图 1所示 ,由个人
计算机、两个彩色 CCD摄像机、图像采集卡和照明室等
组成。系统主机选用 Intel Pentium Ⅲ个人微机 ,内插
Matrox M eteor Ⅱ /Standa rd PCI图像采集卡 ,采用
View se V C-823D彩色高分辨率数码摄象机 ,配 Avenir
SSE0412 CS接口镜头。如图 2,为得到均匀稳定的光
照 ,避免阴影及其它干扰因素的影响 ,设计了一个封闭
式 80× 50× 50的长方体型照明室 ,内壁涂成白色 ,箱体
中央上部放置一个环形日光灯 ( 18 W , 220 V) ,在光源
下放置散射玻璃 ,提供充足均匀的可见光。在环形日光
灯中间和侧面各放置一个摄像头 ,获取水果图像。 水果
通过专用的排列机构安放在托盘中 ,在传送过程中水果
姿态保持不变。
1.计算机 2.图像采集卡 3.光照箱
图 1 计算机视觉系统的组成
Fig. 1 Computer vision system
1.摄像头 2.散射玻璃 3.摄像
头 4.环形日光灯 5.水果托盘
图 2 光照箱结构
Fig. 2 Ligh ting chamber
3 模糊颜色分析
3. 1 颜色模型的选择
色彩模型是图像处理的基础 ,常用的颜色模型有
RGB、 HSL。 在 RGB颜色模型中 ,任何一种颜色由红
133
( R)、绿 ( G)、蓝 ( B)三基色按一定的比例表示。 RGB颜
色模型是面向设备的模型 ,并不符合人的视觉心理 ,颜
色信息和亮度信息分布在 RGB3个分量中。 理论分析
和试验结果都表明 ,对同一颜色属性物体 ,在光照光源
种类、照度、物体反射特性等不同条件下 ,测得的 RGB
颜色值分布很分散 , 3个分量互相关联变化。而 HSL颜
色模型通过色调 ( H )、饱和度 ( S )、亮度 (L ) 3个分量描
述颜色 ,更能接近人眼对颜色的感知。色调 H和饱和度
S通常由构成物体的原材料的光线吸收和反射特性来
决定 ,比较准确地反映颜色种类 ,对外界光照条件的变
化敏感程度低 , HSL颜色模型比 RGB颜色模型更适合
图像处理。本研究中 ,采用 HSL颜色模型。
彩色图像一般用 RGB颜色模型表示 ,每个像素的
颜色用 R、 G、 B三个字节表示 ,即 ( R, G, B)。 HSL颜色
模型中 ,色调 ( H )、饱和度 ( S)、亮度 (L )和 RGB颜色模
型 R、G、B的转换公式如下:
H =
60× g - b
Imax - Imin
当 r = Imax
60× 2+ b - rImax - Imin 当 g = Imax
60× 4+ r - gImax - Imin 当 b = Imax
未定义 当 Imax = Imin
H = H+ 360 当 H < 0
L =
Imax + Imin
2
L′= 1 - |L - 0. 5|
0. 5
( 2)
S =
0 当 Imax = Imin
Imax - Imin
Imax + Imin
L′ 当 L ≤ 0. 5
Imax - Imin
2 - Imax - IminL′ L其它
其中 , R、 G、 B三个颜色分量在 [0, 255 ]范围内取值。定
义 (r ,g ,b)为 ( R , G, B )的相对强度 ,则:
r =
R
255
, g =
G
255
, b =
B
255
;
Imin = min{r , g ,b } , Imax = max {r , g ,b }
3. 2 模糊颜色
相对于 RGB颜色模型 , HSL颜色模型与人眼感觉
颜色的原理相似 ,更符合人的视觉规律 ,所以基于 HSL
颜色模型的色度、饱和度和亮度定义模糊颜色。
在系统中 ,模糊颜色由色度、饱和度和亮度构成。给
定一个具体的颜色 ,我们根据预定义的色度、亮度和饱
和度的模糊集 ,使用三角形隶属度函数计算它的隶属
度。色度、亮度和饱和度的模糊集构成模糊颜色集。
3. 2. 1 色度、饱和度和亮度模糊集
假设 H = { Hi|i = 1, 2,…… ,h }是用户预定义的
色度集。对一个色度 H ,模糊集 H~ 表示如下
H
~
= ∑h
i= 1
_ Hi~ (x ) /Hi ( 4)
式中 x—— 色度 H的值。模糊色度 H相对于特定的
Hi隶属度用隶属度函数 _ Hi表示。_ Hi 有两个参数 ai和
p i ,表示如下
_ Hi (x ) = 1 -
|x - ai|
p
当 ai - pi ≤ x ≤ ai + p i
0 其它
( 5)
隶属度函数曲线如图 3所示。
图 3 色度隶属度函数曲线
Fig . 3 Curve of hue subo rdinate function
类似地 ,可以定义饱和度模糊集 S~ 和亮度模糊集 L~
如下:
S
~
= ∑s
i= 1
_ Si ( y ) /Si ( 6)
式中 S = {Si|i = 1, 2,… … , s};_ Si ( y )—— 三角隶属
度函数 ,如式 ( 7)
_ Si (y ) = 1 -
|y - biw|
qi
当 bi - qi ≤ y ≤ bi + q
0 其它
( 7)
L
~
= ∑L
i= 1
_ Li (z ) /Li ( 8)
式中 L = {Li|i = 1, 2,… … , l } , _ Li是三角隶属度函
数 ,如式 ( 9)
_ Li = 1 -
|z - ci
ri 当 ci - ri ≤ z≤ ci + ri
0 其它
( 9)
3. 2. 2 模糊颜色集
模糊颜色由色度、饱和度和亮度模糊集构成。设 C
= {Ci jk|1≤ i≤ h , 1≤ j ≤ s , 1≤ k≤ l }是由由 h个
色度 , s个饱和度 , l个亮度组成的模糊颜色集 ,则模糊颜
色集 C可表示为
C
~
= ∑h
i= 1
∑s
j= 1
∑l
k= 1
_Cijk ( x ,y , z ) /Cijk ( 10)
其中模糊颜色集的隶属度函数定义如下:
_Ci jk (x , y , z ) = _ Hi (x ) _ Sj ( y ) _Lk (z )
式中 x , y , z由公式 ( 1)、 ( 2)、 ( 3)取得 ,_ Hi、_ S j、_ Lk由
公式 ( 5)、 ( 7)、 ( 9)定义。
3. 2. 3 模糊颜色的相似度
为了衡量两种颜色的相似性 ,在模糊颜色隶属度的
基础上 ,我们定义相似度。对两种颜色 Color1 = ( R1 ,
G1 , B1 ) ,Color 2 = ( R2 , G2 ,B2 )根据公式可以得到相应
的 HSL值 ,设 C1 = (h1 , s1 , l1 ) ,C2 = (h2 ,s2 , l2 )。由公式 ,
颜色 C~ 1和 C~ 2的模糊颜色隶属度为:
134 农业工程学报 2003年
C
~
1 = ∑h
i
∑s
j
∑l
k
_ Cijk (h1 , s1 , l 1 ) /Cijk
C
~
2 = ∑h
i
∑s
j
∑l
k
_ Cijk (h2 , s2 , l 2 ) /Cijk
则模糊相似度定义为:
Sim (C
~
1 ,C
~
2 ) =
∑
h
i= 1
∑s
j= 1
∑l
k= 1
min [_Ci j (h1 , s1 , l 1 ) , _Ci j (h2 , s2 , l 2 ) ]
∑h
i= 1
∑s
j= 1
∑l
k= 1
max [_Ci j (h1 , s1 , l 1 ) , _Ci j (h2 , s2 , l 2 ) ]
( 11)
4 试验结果及分析
为了验证算法的有效性 ,从上海孙桥现代农业园取
得温室西红柿 73个 ,其中表面有各种缺陷的 29个: 有
链状痕迹 4个 ,损伤 11个 ,落花痕迹 9个 ,腐烂色斑 5
个。以分割落花痕迹为例 ,首先从图像中读取落花痕迹
RGB像素值 ,然后按公式 ( 1)、 ( 2)、 ( 3)转化为 HSL格
式 ,用统计分析法确定落花痕迹聚类中心值 (h , s , l ) =
( 23, 39, 46)。取隶属度函数 ai = 23, p i = 10, bi = 39,
qi = 5, ci = 46, ri = 5,由公式 ( 4)、 ( 6)、 ( 8)可得落花痕
迹模糊颜色集如下表示:
H
~
= ( 0 /13, 0. 75 /18, 1. 00 /23, 0. 75 /28, 0 /33)
S
~
= ( 0 /34, 0. 20 /36, 1. 00 /39, 0. 20 /42)
L
~
= ( 0 /41, 0. 20 /43, 1. 00 /46, 0. 20 /51)
C
~
= ( 0. 03 /( 18, 36, 43) , 0. 15 /( 18, 36, 46) ,
0. 03 /( 18, 36, 51) , 0. 15 / ( 18, 39, 43) ,
0. 75 /( 18, 39, 46) , 0. 15 / ( 18, 39, 51) ,
0. 03 /( 18, 42, 43) , 0. 15 / ( 18, 42, 46) ,
0. 03 /( 18, 42, 51) , 0. 04 / ( 23, 36, 43) ,
0. 20 /( 23, 36, 46) , 0. 04 / ( 23, 36, 51) ,
0. 20 /( 23, 39, 43) , 1. 00 / ( 23, 39, 46) ,
0. 20 /( 23, 39, 51) , 0. 04 / ( 23, 42, 43) ,
0. 20 /( 23, 42, 46) , 0. 04 / ( 23, 42, 51) ,
0. 03 /( 28, 36, 43) , 0. 75 / ( 28, 36, 46) ,
0. 03 /( 28, 36, 51) , 0. 15 / ( 28, 39, 43) ,
0. 75 /( 28, 39, 46) , 0. 15 / ( 28, 39, 51) ,
0. 03 /( 28, 42, 43) , 0. 15 / ( 28, 42, 46) ,
0. 03 /( 28, 42, 51) )
图 4 损伤或缺陷西红柿样本图
Fig. 4 Samples of injured o r defect tomato es
图 5 缺陷抽取结果
Fig . 5 Results o f defec t segmentation
135 第 3期 朱伟华等:基于模糊彩色聚类方法的西红柿缺陷分割研究
类似地 ,可以建立其它缺陷的模糊颜色集 ,然后对
西红柿样本图像进行聚类分割。图 5是图 4西红柿样本
的缺陷识别结果 ,图中黑色部分表示识别出来的缺陷。
试验结果如表 1所示。
表 1 模糊颜色聚类分割西红柿缺陷结果
Table 1 Defect segmenta tion o f toma toes by using
fuzzy colour clustering method
正常 缺陷 链状痕迹 损伤 落花痕迹 腐烂色斑
实际样本 44 29 4 11 9 5
分割结果 46 27 4 9 9 5
以上试验结果表明 ,测试准确度为 96%。样本中 , 2
个有损伤缺陷的西红柿没有正确分割。经分析发现 ,这
两个西红柿属于轻微损伤 ,损伤表面颜色接近正常表
面 ,远离损伤模糊颜色中心 ,所以出现误分割。
5 结 论
本文提出的基于模糊颜色聚类的水果缺陷分割方
法 ,符合人的视觉判别。在 HSL颜色模型的基础上 ,建
立模糊颜色集。用模糊颜色相似度判别两种颜色的相似
性。 将该方法用于温室西红柿缺陷的分割 ,准确度为
96%。 试验结果表明 ,用模糊颜色聚类的方法对西红柿
缺陷分割是有效的 ,对解决水果自动分级系统中的缺陷
识别难题有重要的参考意义。
[参 考 文 献 ]
[ 1] By ron K Miller, M ichael J Delwiche. A color vision sys-
tem for peach g rading [ J ]. T ransactions of the ASAE,
1989, 32( 4): 1484~ 1490.
[ 2] Choi K , Lee G, Han Y J, et al. Tomato ma turity eva lua-
tion using colo r image ana ly sis [ J]. T ransactions o f the
ASAE, 1995, 38( 1): 171~ 176.
[3 ] 应义斌 ,景寒松 ,马俊福 .机器视觉技术在黄花梨尺寸和果
面缺陷检测中的应用 [ J].农业工程学报 , 1999, 15( 1): 197
~ 200.
[4] Wen Zhiqing , Tao Yang . Building a rule-based machine-
v ision system for defect inspection on apple so rting and
packing lines [ J ]. Exper t Systems with Applica tions,
1999, 16: 307~ 313.
[5] Gerald E. Rehkugler , James A. Throop. Image pro cess-
ing alg o rith m fo r apple defect de tec tion [ J]. T ransactions
of the ASAE, 1989, 32( 1): 267~ 272.
[6] Miller B K , Delwiche M J. Peach defect detection w ith
machine vision [ J]. Transactions o f the ASAE, 1991, 34
( 6): 2588~ 2597.
[7] Leemans V , Magein H, Destain M F. Defect segmenta-
tion on Jonago ld apples using colour vision and a
Bayesian cla ssifica tion method [ J]. Computers and Elec-
tronics in Ag riculture , 1999, 23: 43~ 53.
[8] Ronald R. Yager , Dimita r P Filev . Approximate cluster-
ing via the mountain me thod [ J ]. IEEE Transactions on
Systems, Man and Cybernetics, 1994, 24( 8): 1279~ 1284.
[9] Bezdek J C. Pattern recognition w ith fuzzy objectiv e func-
tion algo rithms [ J]. Plenum Press, New York, 1992.
[10 ] Sugano N. A fuzzy set th eor etical appro ach for co lo r
specification using co lo r names [ J]. IEEE SM C 99 Con-
fer ence Proceeding s, IEEE Internationa l Confer ence,
1999, 6: 230~ 235.
[11 ] Kawamura M , Onisaw a T. Expression model of subjec-
tiv e co lo r im pressions [ J ]. IEEE SM C 99 Confe rence
Proceeding s, IEEE International Conference, 1999, 6:
212~ 217.
[12 ] Been-Chian Chien, Ming-Ch eng Cheng . A colo r image
segm enta tion appro ach based on fuzzy simila rity measur e
[ J]. IEEE Inte rna tiona l Confer ence , 2002, 449~ 454.
Defect segmentation of tomatoes using fuzzy color clustering method
ZhuWeihua , Cao Qixin
(Department of Mechanical Engineering , Shanghai J iaotong University , Shanghai 200030, China)
Abstract: Frui t surface defect inspection is alway s a challenging pro ject fo r computer vision automated f ruit g rad-
ing . On the basis o f HSL colo r model , a defect segmenta tion method based on fuzzy colo r clustering is proposed.
By converting pixel v alue from RGB colo r model to HSL colo r model; defining H, S, L fuzzy sets using t riangle
membership function, and const ructing a fuzzy co lor set , a fuzzy colo r similarity measure to calculate simi lari ty
betw een tw o fuzzy colo rs w as crea ted. This algo ri thm was applied to tomato defect segmenta tion, and experimen-
tal resul ts show tha t the accuracy is 96% .
Key words: computer v ision; fuzzy colo r; tomato es; defect; segmentation; inspection
136 农业工程学报 2003年