全 文 ：2 0 0 6年 10月 农 业 机 械 学 报 第 37卷 第 10期
西红柿采摘机器人视觉系统的目标提取*
赵金英　张铁中　杨　丽
　　【摘要】　提出了基于色彩分通道法的果实目标提取方法。该方法是先将彩色图像在色彩空间中分解成多个单
通道图像 ,再对每个通道图像进行分割 ,最后综合各通道结果得到彩色图像的整体分割结果。采用该方法对西红柿
图像在 Lab色彩空间下进行试验 ,结果表明此方法简单快速 ,得到的果实目标较清晰准确 ,可满足图像后续处理的
需要。
关键词: 视觉系统　图像分割　色彩分通道法　 Lab色彩空间
中图分类号: S641. 2; TP391. 41 文献标识码 : A
收稿日期: 2005 06 16
* 国家“ 863”高技术研究发展计划资助项目 (项目编号: 2001AA422300)
赵金英　中国农业大学工学院　博士生 , 100083　北京市
张铁中　中国农业大学工学院　教授　博士生导师
杨　丽　中国农业大学工学院　讲师　博士生
　　引言
西红柿采摘机器人视觉系统中目标提取的实质
是图像分割。 多年来图像分割一直受到研究人员的
高度重视 ,至今已提出了上千种类型的分割算法 [1 ]。
但是关于彩色图像分割的文献还较少 ,目前研究主
要是讨论了一些彩色表示法的性质 ,分割方法和色
彩空间 ;运用基于边缘和基于区域的分割技巧进行
彩色图像的复杂纹理分割。对于彩色图像分割 ,没有
一种算法和色彩空间适应于所有彩色图像 ,所有现
存的彩色图像分割方法都是针对特定图像特定应用
场合的 [2 ]。
针对直接对采集到的 RGB模式的彩色图像进
行分割较难 ,而对单通道图像分割可以缩短图像处
理时间、提高效率这一特点 ,提出了基于色彩分通道
的果实目标提取方法。
1　色彩分通道法原理
色彩分通道法的原理如下:将彩色图像在色彩空
间中按色彩空间分量分解成多个单通道图像。其中色
彩空间可选 RGB、 HSI、 Lab或其他色彩空间。分解得
到的单通道图像信息可用灰度图像来描述 ,此灰度图
像可使用现有成熟的单色图像处理方法得到单通道
图像分割结果。 在得到各个单通道结果以后 ,综合各
通道结果而得到彩色图像的整体分割结果。
2　色彩空间的选择
每一种色彩空间都有其各自的产生背景、应用
领域。要分割一幅彩色图像 ,色彩空间的选取对分割
结果起着决定性作用。彩色图像处理中常用的色彩
空间有: RGB色彩空间、 HSI色彩空间、 Lab色彩空
间等。 RGB色彩空间是根据 3基色原理建立起来
的 ,是最基本的色彩空间 ,其他色彩空间模型都可通
过 RGB转化得到。 HSI色彩空间直接采用彩色特性
意义上的 3个量:亮度或明度 ( I )、色调 ( H )、饱和度
( S)来描述颜色 ,比较符合人眼对颜色的描述习惯 ,
但表示的颜色并不全是视觉所感受的颜色。 Lab色
彩空间是根据色度和亮度组成的 3维空间图 ,它适
用于一切光源色或物体色的表示与计算。其中 L表
示心理明度 ,a、b为心理色度 ,反映到坐标系统中 ,
+ a表示红色 , - a表示绿色 ,+ b表示黄色 , - b表
示蓝色 ,颜色的明度由 L的百分数来表示 ,其取值
从 0～ 100。
观察从自然环境下拍摄的西红柿图像 [3 ]: 成熟
西红柿的颜色为红色 ,未成熟西红柿及其背景颜色
为绿色。从以上对色彩空间的介绍可知 , Lab色彩空
间中 a通道两端所代表的颜色正好是成熟西红柿果
实颜色与背景颜色 ,因此本文选用 Lab色彩空间作
为彩色图像的分割空间。 RGB与 Lab间的转化关系
为
L= 116( 0. 229R+ 0. 587G+ 0. 114B ) 1 /3- 16
a= 500 [1. 006( 0. 607R+ 0. 174G+ 0. 201B ) 1 /3-
　 ( 0. 299R+ 0. 587G+ 0. 114B ) 1 /3 ]
b= 200[ ( 0. 299R+ 0. 587G+ 0. 114B ) 1 /3-
　 0. 846( 0. 066G+ 1. 117B ) 1 /3 ]
( 1)
3　色彩分通道法的实现
彩色图像分割与灰度图像分割的算法相比 ,大
部分算法在分割原理上是一致的 ,只是彩色图像包
括着更丰富的信息 ,并有多种彩色空间的表达方式 ,
因而彩色图像分割关键在于如何利用丰富的彩色信
息来达到分割的目的。
当采集到的图像变换为 Lab色彩空间之后 ,将
它的 3个通道分离出来 ,成为独立的灰度图 ,实现色
彩分通道 ,等待进一步的处理。如图 1所示 ,即为一
幅西红柿图片 L通道、 a通道、 b通道的分离效果。
前面提到 , a通道两端所代表的颜色正好是成熟西
红柿果实颜色与背景颜色 ,由此不难得到一种思路:
可以只通过提取 a通道中的红色信息将西红柿果实
从背景中分离出来 [4 ] ,并将 a通道分割结果近似作
为彩色图像的整体分割结果。
图 1　 Lab通道分离效果
( a) 原始图像　 ( b ) L通道图像　 ( c) a通道图像　 (d ) b通道图像
　　　分离得到的 a通道图像为单色图像。 单通道图
像信息可用灰度图像来描述 ,因此可用灰度图像的
分割算法实现彩色图像的分割。 基于灰度的图像分
割方法很多 ,其中基于阈值的分割是最常用的图像
分割技术。阈值分割的特点是 [ 5]:①原理清晰、易懂。
②算法实现简单、清楚 ,运算量小。③分割效果较好 ,
它对与背景有明显不同的物体分割特别有效 ,其图
像分割效果几乎与其他大运算量的方法相当。 从效
率 (分割效果 /运算量 )上考虑 ,本文选用阈值分割。
基于阈值的图像分割关键在于选择阈值 ,选不
同的阈值其处理结果差异很大。阈值过大 ,会提取冗
余 ;阈值过小 ,又会丢失信息。为了寻求最佳的分割
阈值 ,目前已研究出多种自动阈值选取算法 ,如 P
参数法、双峰法、迭代法、 O TSU法等。 O TSU法一
直被认为是阈值自动选取方法的最优方法 [6～ 7 ] ,该
方法计算简单 ,在实时图像处理系统中应用很广 ,本
文采用此法。 选择的最佳阈值为
T= maxe2 ( t )= max {p1 ( t )p2 ( t ) [_ 1 ( t )- _ 2 ( t ) ]2 }
( 2)
式中　 p1 ( t )、 p2 ( t )——被阈值 t分割后目标和背景
2个区域的概率
_ 1 ( t )、_ 2 ( t )—— 被阈值 t分割后目标和背景
2个区域的平均灰度值
e2 ( t )—— 目标和背景的类间方差值 ,当e2 ( t )
最大时 , t即为分割的最佳阈值
4　果实目标的提取
用基于色彩分通道法对果实图像进行图像分割
之后就得到了包含果实的二值图像。此时可用区域
标记算法找出各个果实的区域 ,进行区域分析 ,并得
到这些区域的外接矩形 ,从而完成果实目标的提取。
图像处理中有很多不同的区域标记算法 ,本文
采用像素标记法。 由于标记的结果与所采用的是
4邻域还是 8邻域有关 ,因此又分为 4连通和 8连
通 2种情况。根据农业图像的实际情况 ,当果实之间
的距离很小时 ,特别是目标之间仅有对角线上的两
像素相连时 ,即 8连通时对于像素点 ( i , j )而言的左
上 (下 )、右上 (下 )位置 ,此时若采用 8连通对图像进
行标记 ,则这几个区域被判断为同一区域 ,达不到标
记不同区域的目的 ,所以在标记算法中 ,采用的是 4
连通对图像进行标记。在对图像进行标记的同时 ,还
可以得到标记算法的副产品 ,程序中可实现如下功
能:①计算区域的面积。②去除噪声的影响。③跟踪
目标的边界 ,计算目标的周长、圆形度。
5　试验结果及分析
5. 1　样本采集及系统环境
试验样本采用从中国农业大学水利与土木工程
学院温室实地拍摄的西红柿图像。 对温室栽种的西
红柿观察发现 ,成熟西红柿之间的位置关系大致有
以下几种情况 (图 2):①成熟果实相互分离。②多个
成熟果实紧贴 (或重叠 )在一起。③果实被叶子或果
梗遮挡 (部分遮挡和完全遮挡 )。果实被叶子或果梗
遮挡时的情况发生在叶茎茂密的地方 ,用 CCD摄像
机作为视觉传感器寻找和识别成熟果实时非常困
难 ,从而降低采摘机器人的辨识能力。如何解决这个
201　第 10期 赵金英 等: 西红柿采摘机器人视觉系统的目标提取
图 2　成熟西红柿之间的位置关系
( a)果实相互分离　 ( b) 果实紧贴　 ( c)被遮挡 (部分遮挡 )
　问题成为国内外农业工程领域的一个研究热点、难
点。由于这种情况比较复杂 ,作者正在研究中。
图像处理过程在 PC机上进行 ,操作系统为
Red Ha t Linux9,编程语言选用了 C+ + ,编译工具
为 g+ + ,调试工具为 gdb。
5. 2　试验结果及分析
基于上述方法 ,对前 2种情况下的西红柿图像
在 Lab色彩空间进行试验 ,结果见图 3、图 4。
图 3　成熟果实相互分离的试验结果
( a) 阈值化 (阈值 133)　 (b )闭运算后的效果　 ( c) 果实的提取　 (d )外接矩形
　
图 4　多个成熟果实紧贴的试验结果
( a) 二值图像 (阈值 150)　 ( b )灰度图像　 ( c) 距离函数等高线图　 (d ) dis t的区域极大值作标记
( e)对标记进行膨胀　 ( f) 标记　 ( g) 果实的提取 (轮廓 )　 ( h) 外接矩形
　　　 ( 1) 对于果实相互分离的情况 ,提取相对比较
简单。从分割结果看 ,成熟西红柿的果实部分被清晰
地提取出来 (图 3)。 但是由于试验图像是在温室中
拍摄的 ,成熟西红柿光滑的果实表面因某些原因 ,如
光、摄像机、空气等反光而致使采集到的某些样本图
像中存在亮点 (强光照射处 )或暗点 (背光处 )。 此处
果实目标颜色并非红色 ,因此在对图像进行分割时
导致分割后的果实目标图像某些像素点丢失。为了
减少光强对分割效果的影响 ,可以对原始图像先进
行白平衡处理 [8 ] ,再进行果实目标的提取。由于本文
图像缺陷较小 ,不进行白平衡处理其分割结果仍可
满足图像后续处理的需要。
202 农　业　机　械　学　报 2 0 0 6年　
由于普遍存在的噪声及其他因素的影响 ,使得
处理后的二值图像的目标果实内部可能出现小孔
洞。为了得到好的效果 ,需要进行去噪声处理。对于
较小的在视觉上表现为散点的噪声 ,可用数学形态
学中的闭运算去除 (图 3b) ;对于较大的噪声区域 ,
可以在上面所述的标记过程中去除。
( 2)对于果实紧贴的情况 ,其提取相对复杂一
些 ,需要借助数学形态学有关知识与分水岭变换 [9 ]。
解决这个问题的思路是首先标记所有粒子—— 可以
采用最终腐蚀 ,或者手动画出标记。然后由标记生长
出目标 ,并且将目标限制在原始集合内 ,当目标靠得
很近时不要有连接部分。解决这个问题的方法有以
下几种: ①条件膨胀——生长过程采用一般的膨胀
运算 ,结果受两个条件限制 (在原始集合内 ,粒子互
不连接 )。②测地重构—— 这种方法要更加复杂 ,但
速度要比条件膨胀快得多。 采用的结构元素要根据
待处理像素的邻域而定。③测地影响区域—— 有时
用来进行粒子分割 ,但结果往往与直觉上期望的有
所差别。④分水岭变换—— 这种方法最好 ,本文采用
此法 ,提取结果见图 4。
分水岭变换的基本思想是采用负距离变换-dist
将原始二值图像转换为灰度级图像。 若一滴水落在
-dist图像的地形表面上 ,则它将沿着最陡峭的路线
流向区域极小值。距离函数 distx ( p )与集合 X 中的
每个点 p相关联 ,定义为 X的第一个不包含 p的腐
蚀的大小 ,即
p∈ X　 distx ( p )= min{n∈ N ,p不在 (XΘnB )中 }
( 3)
从定义可以看出: distx (p )是像素 p到背景 XC的最
短距离。
5. 3　与其他分割算法的比较
( 1)与基于灰度直方图的分割法相比 ,由于本
方法是基于彩色的 ,利用了图像中更多的信息 ,能够
将背景去除得更干净 ,从而有利于图像的进一步分
析。
( 2)基于增长与合并的算法是一种递归算法 ,
而且对背景部分也进行分割运算 ,计算量大、复杂度
高 ;而本方法只对果实目标 (有时包括果梗 )进行处
理 ,对背景不作处理 ,节省计算时间 ,利于机器人高
效作业。
( 3)特征聚类分割算法和基于随机模型的算法
大多基于较复杂的数学公式 ;本方法是对图像的各
个通道进行分割 ,没有复杂的数学运算 ,时间复杂度
为线性 ,由此编制的程序有利于机器人控制中的实
时图像处理。
6　结论
针对从彩色图像中提取西红柿目标的问题进行
了讨论 ,在此基础上提出了基于色彩分通道法从
Lab色彩空间中提取果实的方法 ,试验结果表明:
( 1)此方法简单快速 ,得到的果实目标较清晰
准确 ,可满足图像后续处理的需要。
( 2) 对不同光照条件下采集到的图像进行处
理 ,红色成熟西红柿都可以提取。
( 3)该方法稍加修改便可以推广至红色辣椒、
樱桃等红色农作物果实的提取。
参 考 文 献
1　章毓晋 .图像工程 [ M ].北京:清华大学出版社 , 1999: 179～ 180.
2　 Cheng H D, Jiang X H, Sun Y, et al. Colo r image segmentation: advances and pro spects [ J]. Pattern Recognition,
2001, 34( 12): 2 259～ 2 281.
3　 Chen Shuren, Yin Jianjun, Zhang Jix ian, et al. Identifica tion of tomato based on th e colo r histog ram arithmetic [C ]∥
2004 CIGR Inte rnationa l Confe rence Paper, Beijing: Go lden Info-Bridge LTD, 2004.
4　高锐 .草莓收获机器人的初步研究 [D ].北京: 中国农业大学 , 2004.
5　王厚大 ,梁栋 ,杨恒新 .自动阈值选取的两种算法 [ J].南京邮电学院学报 , 2002, 22( 4): 85～ 94.
6　 Sphoo P K. A sur rey o f thr esho lding technique [ J]. Computer V ision Graphics Image Process, 1998( 41): 233～ 260.
7　 Otsu. A thr esho ld selection method fr om g ray lev el histog ram [ J]. IEEE Trans. on SM C, 1979, 9( 1): 62～ 65.
8　林宝龙 .基于三维视觉的水果采摘机器人技术研究 [D ].北京: 中国农业大学 , 2004.
9　 Milan Sonka , Vaclav Hlavac, Roger Boyle. Image pro cessing , analysis, and machine vision[ M ]. Thomson Learning
and PT Press, 1999: 385～ 410.
203　第 10期 赵金英 等: 西红柿采摘机器人视觉系统的目标提取