全 文 :文章编号: 1002-0446( 2001) 07-0652-05
基于彩色图像处理的西红柿品质特征的提取研究⒇
曹其新 1 刘成良 1 殷跃红 1 付 庄 1 永田雅辉 2
( 1.上海交通大学机器人研究所 上海 200030; 2.日本宫崎大学农学部日本宫崎市 889- 2192)
摘 要: 用机器视觉系统判别西红柿品质是否有效 ,关键在于能否真实地提取特征参数 .由于西红柿果实存在
新陈代谢且表面非常光滑 ,使机器视觉系统采集图像时受环境温度和光线的影响很大 .同时 ,很难直接从采集到的
RGB彩色图像中提取有效的品质特征参数 .为此 ,本论文基于彩色图像处理技术把 RGB彩色图像转换为 L* a* b*
模式的彩色图像 ,然后提取西红柿品质特征参数 ,试验结果验证采用这种特征提取法提取的西红柿品质特征参数基
本上不受照明强度的影响 .
关键词: 图像处理 ;特征提取 ;西红柿
中图分类号: TP24 文献标识码: B
COLOR IMAGE PROCESSING BASED QUALITY FEATURE
EXTRACTION OF TOMATO
CAO Qi-xin
1 LIU Cheng-liang1 YIN Yue-hong1 FU Zhuang1 NAGAT A Masa teru2
( 1. Research Inst itu te of Robotics , Shanghai Jiaoton g University, Shangha i 200030;
2. Facul ty of Ag ricul ture , Miyaza ki University, Miyazaki 889- 2192 Japan )
Abstract: This study aims to develop a machine vision system fo r judging the skin qua lity and shape of toma to us-
ing image processing technique. The problems o f ex t racting the quality fea ture of toma to skin using color image
w ere discussed. Generally , the co lo r image is sensitiv e to lighting condition. Evalua tion of the shape, si ze, and
ligh t reflection o f objec ts unde r constant ligh ting condition is difficult. To so lv e the problem, L* a* b* color model
w as used. Mo reover , experiments on the effects of illumination and backg round on th e ex tracted amount of co lo r
featur es we re ca r ried out. Th e r esults showed tha t the lev els o f a* and b* in L* a* b* colo r model w ere no t affected
by illumination. The refo re, a feature ex t raction method of toma to surface qua lity w as propo sed based on L* a* b*
colo r model. Nonunifo rm co lo red and defectiv e tomato was selec ted as experimenta l ma teria ls to evaluate the pr o-
posed m ethod fo r quality fea ture ex traction. The results of the experiment, showed tha t the propo sed method using
colo r image fo r judging the skin quality o r shape o f toma to has a good potentia l in so r ting and ha rv esting r obo t.
Keywords: image pro cessing , featur e ex traction, tomato
1 引言 ( Introduction)
随着瓜果蔬菜商品的规范化 ,产品进入市场流
通必须要经过精选、分级、包装、装箱 .在发达国家收
割后瓜果蔬菜的深加工一般是由自动精选、分级、包
装、装箱流水线来完成的 [1, 2 ] ,流水线能否保证产品
的质量 ,关键在于怎样对瓜果蔬菜的品质进行判别 .
随着电子计算机技术的发展和硬件设备成本的不断
下降 , 用机器视觉对瓜果蔬菜的品质进行判别已成
为一种有效的手段 , 特别是利用彩色图像处理技术
对蔬菜和水果的表面品质进行评价 (色彩 ,病虫害及
损伤 ) [3~ 8 ] .但是在文献 [3~ 8 ]中 ,一般都是在 RGB
模式的彩色图像中提取品质的特征 ,图像中色彩灰
度受照明的影响很大 ,同时因照明的光强度变化而
影响测量的精度 .另外 ,即使在同样的照明条件下 ,
对象的形状、大小和反射都将影响到 RGB的灰度
值 .
为了解决以上的问题 , 作者利用瓜果蔬菜中对
第 23卷第 7期
2001年 10月 机器人 ROBOT Vol. 23, No. 7 Oct. , 2001
⒇ 收稿日期: 2001- 08- 15
DOI : 10. 13973 /j . cnki . robot . 2001. s1. 021
环境光线反应较敏感的西红柿为例提出了在照明亮
度在一定范围变化的情况下能准确提取西红柿品质
特征的方法 ,把采集到的 RGB模式的彩色图像转化
为 L* a* b* 模式的彩色图像 , 然后从彩色图像中提
取西红柿的品质特征 .
2 在 L* a* b* 模式中提取西红柿的品质特征
(Quality extraction of tomato in L
*
a
*
b
*
model)
2. 1 L* a* b*模式
L
*
a
*
b
*模式是根据色度和亮度组成的 3维空间
图 .本研究采用的是 CIE( 1976) L* a* b* 模式 .其中 ,
L为亮度 ,为 a* b*色度 ,具体定义如下:
L = 116(Y /Y 0 ) 1 /3 - 16
a
*
= 500 [X /X 0 )
1 /3
- ( Y /Y 0 )
1 /3
]
b* = 200[Y /Y 0 ) 1 /3 - ( Z /Z0 ) 1 /3 ]
( 1)
通常 ,标准光 c的情况下 , X 0= 0. 983, Y0 = 1.
000, Z0= 1. 183.图 1为 L* a* b*模式彩色图 ,a* 数值
代表红~ 绿色色调 ,b* 数值代表黄~ 蓝色色调 .式
( 1) X、 Y、 Z是 XYZ模式中色度值 ,其值可从式 ( 2)得
到 .式 ( 2)中 R , G, B为 RGB彩色模式中的三基本
色 .
X = 0. 607R+ 0. 174G+ 0. 201B
Y = 0. 299R+ 0. 587G+ 0. 114B
Z = 0. 066G+ 1. 117B
( 2)
2. 2 特征提取法
西红柿的表面品质如成熟度、损伤等在图像中
可以以颜色的形式表现 .各种情况下品质特征的色
度值范围可根据 L* a* b* 模式定义成如图 2所示 ,西
红柿的成熟度特征检出函数 f (x , y )、损伤特征检出
函数 q( x ,y )定义如下 .
图 1 L* a* b*模式的 3维空间图
Fig . 1 Colo r space o f L* a* b* mode
图 2 L* a* b*模式图中的特征提取范围
Fig. 2 Schematic diag ram of the proposed fea ture
ex tr action range using L* a* b*
成熟度特征检出式为
f (x , y ) =
1 { (a
* > 0) and [ (a* ) 2+ (b* ) 2
> (θ) 2 ]and(b* > - θ)
0 else
( 3)
损伤度特征检出式为
q( x ,y ) =
1 [a
* ) 2+ (b* ) 2
≤ (θ) 2 ]and(b* > λ)
0 else
( 4)
式中:
a
*
= 78. 848[1. 006( 0. 607R+ 0. 174G
+ 0. 201B ) 1 /3 - ( 0. 299R+ 0. 587G+ 0.
114B )
1 /3 ]
b
* = 31. 539[ ( 0. 299R+ 0. 587G+ 0. 114B )
1 /3
- 0. 846( 0. 066G+ 1. 117B ) 1 /3 ]
其中 , RGB 的数值范围是 0~ 255.θ和 λ为域
值 .
2. 3 特征提取程序
根据式 3和式 4导出一组西红柿品质提取程序 .
用 Microsof t Visua l C+ + 编程成西红柿品质提取软
件 ,内容包括彩色图像输入、图像处理、品质特征提
取以及品质判别等功能 .软件程序的流程图如图 3
所示 ,程序工作时域值θ和λ分别取 15和- 5.
653第 23卷第 7期 曹其新等: 基于彩色图像处理的西红柿品质特征的提取研究
图 3 品质特征提取流程图
Fig. 3 Flow cha rt fo r qua lity featur e ex traction
3 试验装置与方法 ( Experiment equipment
and method)
3. 1 彩色图像处理试验装置
本文采用的彩色图像处理试验装置如图 4所
示 .照明是接近自然光白光型日光灯 ( HITACHI,太
阳光型 20形式 , 18W× 6根 ) .设置了一个外表面经
过磨沙处理的塑料管 (ф250mm)防止因从灯光直射
到西红柿的表面而产生的光反射 ,同时还使用照相
机镜片用偏振光过滤镜 ( Kenko, PL、 MC- PL、 PL) .
彩色图像的采入途径: CCD摄像机 ( SONY, DX C-
151A, CCD- IRIS /RGBCOLOR V IDEO CAM ER-
A, 38万像素 ) ,图像卡 (输入信号: RGB信号 ,帧存
储: 512× 512× 8位× 12帧 ) ,计算机 ( N EC, PC-
9821Xv20, 200M Hz) .为了正确地提取西红柿的外部
质量特征 ,背景颜色使用蓝色纸 .通过调节变压器的
输出电压可控制日光灯的发光强度 .图像处理的结
果可通过显示器 ( SON Y, PVM- 1456)显示出来 .
图 4 试验装置
Fig . 4 The test bed
3. 2 试验方法
(a )西红柿试验
西红柿的品种为桃子太郎 ,图 5(a )为 2分成熟 ,
图 5( b)是全熟的情况 .
( b)图像采入
西红柿放在 CCD摄像机下 ,提取特征的结果即
可在显示器上显示 .西红柿离摄像机的距离为 68厘
米 ,摄像机镜头的光圈设置为 5. 6.调整偏振光过滤
镜头使西红柿表面的反射消除 .西红柿表面的光强
度可用光强度计 ( L I-CO R, Inc, LI-250, LI-210SA)
测量得到 .
( c)测量方法
试验中调节照明装置中的变压器使得被测试西
红柿的表面光照强度变化 ,在图 5的 ( )部位进行
654 机 器 人 2001年 10月
了灰度测量和质量特征提取 .
( a) 未成熟的 ( b) 有损伤的
图 5 实验西红柿的彩色图像
Fig. 5 Co lo r images o f the toma to
( i )灰度值的测量
测量图像在 L* a* b*彩色模式和 RGB彩色模式
的情况下各受照明强度影响的方法是 ,在同样光强
度的条件下测量它们的灰度值 .本实验中对未成熟
的西红柿采用的照明光强度如图 5( a)所示 (照明光
强度范围为 2, 054lux~ 7, 262lux ) ,成熟西红柿采用
的照明光强度如图 5( b)所示 (照明光强度范围为 2,
107lux~ 7, 479lux ) .
( ii )品质特征提取
成熟度和损伤特征提取分别是在照明强度 7,
491lux , 6, 872lux和 5, 793lux条件下 (见图 5( a) )和
在照明强度为 7, 149lux , 5, 996lux和 5, 438lux的条
件下进行 (见图 5( b) ) .
4 结果 (Results)
照明强度对 L* a* b*模式和 RGB模式影响的试
验 ,结果如图 6(a )到 ( d)所示 .
从图可知 RGB模式图像的 R、 G、 B的灰度值和
L
*
a
*
b
*模式图像 L的灰度值是受照明强度影响 ,而
L
*
a
*
b
* 模式图像的 a* 、 b* 灰度值在一定照明强度
范围内基本上不受照明强度的影响 .因此 ,本试验证
实 ,利用 L* a* b* 模式的 a* 、b* 图像提取品质特征值
具有相对的稳定性 .提取的西红柿未成熟特征图像
和损伤特征图像如图 7和图 8所示 .同时 ,试验还证
实了本特征提取法对西红柿的表面品质评价的实用
性 .
5 结论 (Conclusion)
本文针对从彩色图像中提取西红柿的表面品质
所存在的问题进行了讨论 ,在这基础上提出了从 L*
a
*
b
*模式图像中提取 (成熟度 ,损伤 )特征的方法 .结
果得出以下结论 .
( 1) 在西红柿的 RGB彩色模式图像中 R、 G、 B
的灰度值受照明强度影响很大 ,而 L* a* b*彩色模式
图像中 a* 、b*的灰度值几乎不受照明强度的影响 .
( 2) 为了从 L* a* b* 彩色模式图像中提取西红
柿的表面品质特征图像 ,提出了以下两个计算公式:
( a) 未成熟西红柿的 RGB ( b) 未成熟西红柿的 L* a* b*
655第 23卷第 7期 曹其新等: 基于彩色图像处理的西红柿品质特征的提取研究
( c) 成熟含有损伤西红柿的 RGB ( d) 成熟含有损伤西红柿的 L* a* b*
图 6 测到的灰度值
Fig . 6 The test g ra y va lue
( a) 未成熟的 (b ) 有损伤的 ( a) 未成熟的 ( b) 有损伤的
图 7 西红柿色度的特征图像
Fig . 7 Feature images o f co lo ring par t of tomato
图 8 西红柿损伤部分的特征图像
Fig . 8 Fea ture images of damaged par t of tomato
① 成熟范围的提取公式为
f (x , y ) =
1 { (a
* > 0) and [ (a* ) 2+ (b* ) 2
> θ2 ]and(b* > - θ) }
0 else
② 损伤范围的提取公式为
q(x , y ) =
1 [ (a* ) 2+ (b* ) 2≤θ2 ]a nd(b* > λ)
0 else
③ 用 Microsof t Visual C+ + 开发的软件程序验证
了以上两个公式的有效性 .
参考文献 (References )
1 相良泰行 . 青果物选别机の各种システムと开发动向 . 日本食品
流通技术 . 1994, 23( 11): 4- 11
2 鹰尾宏之进 . 青果物の选别 . 日本农业および圆芸 . 1990, 65
( 2): 267- 270
3 宫崎县经济农业协同组合连合会 ( 1995):青果物自主检查标准规
格 (野菜 果树花き )
4 松田郁生等 . キュウリの图像处理选别に关する研究 , -图像サ
ンプリングの误差についてÅ .日本农业机械学会志 . 1991, 54
( 3): 93- 96
5 B K Miller, M J Delwich e. Peach Defect Detection With Machine
Vision. ASAE, 1991, 34( 6): 2588- 2597
6 Y Tao, P H Heinemann, Z V argh es e, C T Mo rrow , H J Som-
merIII. Machin e Vision fo r Colo r Insp ection of Potatoes and Ap-
ples. ASAE, 1995, 38( 5): 1555- 1561
7 N Zhang , C Chaisat tapag on. Ef fective Cri teria for Weed Identi fi-
cation in Wheat Fields Using Machine Vision. ASAE, 1995, 38
( 3): 965- 974
8 Q Cao. Orien tation and Shape Ex t raction of St raw berry by Color
Image Proces sing. 1999 ASAE Annual International Meeting,
Paper No. 993161
作者简介:
曹其新 ( 1960-) ,男 , 教授 . 研究领域: 机器视觉 .
656 机 器 人 2001年 10月