以柑橘为例,从图像分析角度研究前景图像的分割提取算法以及其与糖度的关系,把基于确定指数阈值的相关分析法引入到图像分割中,实现对不同性质图像的较为准确分割。结果表明: 柑橘内部的糖度含量与其外在的某些彩色图像参数之间存在某种明显的依附关系,用双指数方程能够较好地模拟柑橘彩色图像G分量亮度平均值随糖度的变化趋势。在不需要额外增加光源的情况下,仅根据可见光波段的彩色图像无损获取柑橘糖度含量数值是可能的。
Taking orange as example, this article does some research on image foreground segmentation algorithm and the relationship between brix and the images. Correlation analysis method based on coefficient of determination is introduced into image segmentation. And more accurate segmentation results of different images were obtained using this method. The research result shows that there is a close relationship between orange brix and its color image‘s external parameters and the variation tendency of the average G intensity according to the change of brix can be well simulated using double exponential equation. It also shows that in the case of no additional light source, it is possible to know orange brix nondestructively based only on its visible waveband color image.
全 文 :第 49 卷 第 10 期
2 0 1 3 年 10 月
林 业 科 学
SCIENTIA SILVAE SINICAE
Vol. 49,No. 10
Oct.,2 0 1 3
doi: 10.11707 / j.1001-7488.20131014
收稿日期: 2012 - 12 - 27; 修回日期: 2013 - 03 - 18。
基金项目: 948 项目(2011 - 4 - 67) ; 日本学术振兴会资助项目(2007 - 2009)。
* 平藤雅之为通讯作者。
基于彩色图像的柑橘糖度无损分析*
王雪峰1 李晓冬1 平藤雅之2
(1. 中国林业科学研究院资源信息研究所 北京 100091; 2. 日本北海道农业研究中心 芽室 082-0071)
摘 要: 以柑橘为例,从图像分析角度研究前景图像的分割提取算法以及其与糖度的关系,把基于确定指数阈值
的相关分析法引入到图像分割中,实现对不同性质图像的较为准确分割。结果表明: 柑橘内部的糖度含量与其外
在的某些彩色图像参数之间存在某种明显的依附关系,用双指数方程能够较好地模拟柑橘彩色图像 G 分量亮度平
均值随糖度的变化趋势。在不需要额外增加光源的情况下,仅根据可见光波段的彩色图像无损获取柑橘糖度含量
数值是可能的。
关键词: 柑橘; 糖度; 图像分析; 无损测量
中图分类号: S759. 8 文献标识码: A 文章编号: 1001 - 7488(2013)10 - 0088 - 05
Orange Brix s Nondestructive Analysis Based on Color Image
Wang Xuefeng1 Li Xiaodong1 Hirafuji Masayuki2
(1. Institute of Forest Resources Information Techniques,CAF Beijing 100091;
2. Hokkaido Agricultural Research Center,Memuro-cho Kasai-gun,Japan 082-0071)
Abstract: Taking orange as example,this article does some research on image foreground segmentation algorithm and
the relationship between brix and the images. Correlation analysis method based on coefficient of determination is
introduced into image segmentation. And more accurate segmentation results of different images were obtained using this
method. The research result shows that there is a close relationship between orange brix and its color images external
parameters and the variation tendency of the average G intensity according to the change of brix can be well simulated using
double exponential equation. It also shows that in the case of no additional light source,it is possible to know orange brix
nondestructively based only on its visible waveband color image.
Key words: orange; brix; image analysis; nondestructive measurement
水果品质的好坏往往会以外在的图像形态表现
出来,随着数字图像采集工作的简单化、廉价化以及
人们对自动化需求的日益增加,基于图像的水果品
质研究逐渐增多。Rajkumara 等(2012)用高光谱成
像技术在 400 ~ 1 000 nm 区域分析 20,25 和 30 ℃
3 个不同温度下香蕉(Musa paradisiaca)品质和成熟
阶段的关系时发现,水分含量在不同成熟阶段遵循
线性关系,并且溶性固形物含量和坚硬度在成熟过
程中也满足一定的关系; Lleó 等 ( 2009 ) 发现桃
(Prunus persica)的 800,675,450 nm 图像与硬度和
采收成熟度有关; Yankun 等(2008)从不同波段图
像角度来评估苹果(Malus pumila)的硬度和可溶性
固形物含量。在水果的此类研究中,柑橘 ( Citrus
reticulata)由于分布范围较广、产量大成为研究
热点。
对柑橘图像的深层研究主要集中在 2 个方面:
一方面是对果形、着色度、果皮褶皱、生理缺陷、病虫
害等外部品质特征的研究; 另一方面是对糖度、酸
度、硬度、果肉品质、果汁量等内部品质特征的研究。
外部品质特征由于是外在的、可视的,从事此方面的
研究人员较多并且机器识别率通常也较高。如
Omid 等(2010)使用图像处理技术估计柑橘类水果
的体积和质量,结果表明各种柑橘类水果的体积和
质量是高度相关的; Fernando 等(2010)使用多变量
图像分析方法对来自 4 个不同品种的橘子进行果皮
缺损自动检测,缺陷检测成功率达 91. 5%,破损分
类率达到 94. 2%。而内部品质特征由于被包裹在
果皮内部,基于外在图像的内部品质判断,是在假设
第 10 期 王雪峰等: 基于彩色图像的柑橘糖度无损分析
柑橘外在形态结构特征与内部品质参数具有某种关
系这一前提下进行判断,存在一定的难度。但是,由
于它的无损判断特性,在不破坏水果的情况下即可
探知内部信息,因此受到人们的普遍重视。
在柑橘的诸多内部品质参数中,糖度是非常重
要的指标参数,也是成熟度的重要标志之一,一个糖
度小于 9 的柑橘,其口感一定不会让大多数人满意。
由于较高的糖度能更加赢得消费者的口碑和购买
欲,因此在柑橘经营培育中产生了确保日照时数、树
下栽培鼠茅生草、不翻耕保护树根等旨在提高柑橘
糖度的措施,由此可见人们对柑橘糖度的关切程度。
本文从无损检测角度来探讨柑橘糖度大小与其图像
参数的内在联系,也是基于人们对该品质参数关注
程度较高的一种考虑。
不同糖度含量的柑橘,对不同波段电磁波的吸
收、反射存在差异,因此,与检测其他水果一样,基于
不同波长光谱图像检测柑橘糖度的方法也是惯常的
做法,如刘木华等(2007)研究了不同波长光谱图像
灰度值与脐橙 (Citrus sinensis)糖度的关系。但是,
这种检测方法往往需要额外的光源,通用性不强。
很显然,如果仅仅通过可见光就可探知柑橘糖度含
量将具有更广泛的应用空间,这也正是本文的主要
目的。
基于图像的柑橘糖度无损分析通常包含 2 方面
内容: 一是从背景中分割出前景柑橘图像,二是寻
找前景图像中与糖度的敏感指标。前者属于图像处
理或模式识别内容,虽然它是基本工作,但是其分割
结果好坏直接关系后续研究内容精度。由于这一过
程不涉及具体参数测定等过程,所以研究者较多,如
周志宇等(2008)利用 Canny 算子检测柑橘边缘,徐
惠荣等(2005)、蔡健荣等(2007)、王建黑等(2009)
从背景中识别柑橘图像等。由于背景的复杂性,这
类问题很难有通用高效的算法,从发表的文献看,分
割算法基本是针对具体问题。得到前景图像后就可
进一步探索图像参数与柑橘糖度的关系,究竟哪个
或哪些图像参数与糖度敏感,需要大量的研究测试,
比如曹乐平等(2009)研究了使用柑橘纹理特征来
估计柑橘糖度与有效酸度的方法。
本文首先探讨柑橘图像的分割算法与精度,然
后从图像参数中筛选出与糖度紧密的图像参数并建
立关系模型,进而实现从图像到糖度的预测。
1 数据来源
试验用柑橘来自日本三重县。三重县位于日本
中部的近畿地方,纪伊半岛东部位置,东邻爱知县,
北与岐阜县、滋贺县接壤,西北、西南分别与京度府
和奈良县相连,东西南北县界的经纬度分别为 E
( 136. 988°,34. 548°)、W ( 135. 853°,33. 859°)、S
(135. 975°,33. 723°)、N(136. 528°,35. 258°),南北
长 180 km、东西宽 108 km,呈细长形状,地形以伊势
平原为主,包括山脉、高原、低地等地形,县内有木曽
河、铃鹿河、云出河、熊野河等多条河流。三重县气
候温暖湿润,年降水量2 000 ~ 2 500 mm,9 月平均
降水量 717. 6 mm,为降水最多月,12 月降水最少,
平均为 34. 4 mm; 最暖月 8 月平均气温 27. 3 ℃,最
冷月 1 月平均气温 3. 0 ℃。县内盛产绿茶、大米,同
时是日本优良的柑橘产地。
日本柑橘企业采用当日采摘、当日分装、当日上
市的原则,柑橘采摘后马上送往柑橘分装厂,按柑橘
品质等级迅速分装并运往日本各地。三重县建有日
本最大的柑橘分装厂,笔者在分装厂内选取不同外
形、大小、颜色的柑橘 31 个,分别放在固定三脚架的
下面连续摄影 5 张图像,然后称重,测量糖度。摄影
使用的相机类型为 Canon EOS Kiss Digital X,图像
分辨率 3 888 × 2 592、ISO 速度为 800、宽门速度
1 /50 s、透镜孔径 F /8。糖度计是 Atago 袖珍数字糖
度计,糖度测量范围(Brix% )在 0 ~ 53、糖度测量精
度(Brix% )0. 2、最小刻度 0. 1。本次样品测得的糖
度分布范围在 9 ~ 18 之间,其中糖度在[9,10 ),
[10,11),[11,12),[12,13),[13,14),[14,15),
[15,16),[16,17),[17,18]之间的柑橘数量分别为
5,5,4,2,4,7,2,1,1 个,[a,b)表示糖度 x 的分布范
围是: a≤x < b。
2 研究方法
每个柑橘都有 5 张连续拍摄的图像,由于所有
拍摄参数都相同,因此,用取 5 张图像平均值的方法
进行图像去噪,并以此平均图像作为后续研究用
图像。
直接根据图像总体进行分析,很难得到有宜的
结果,甚至无法发现隐含在现象背后的规律性内容,
因此,有必要从背景中抽出前景柑橘图像。本研究
中的图像分割,作者基于统计学中相关分析原理,提
出了图像的确定指数分割法; 完成分割提取后,以
前景图像为基础,并从中提取多个图像参数,研究其
与糖度的关系。
2. 1 柑橘图像分割
2. 1. 1 分割算法 理论上,如果前景与背景图像存
在差异,可以通过分析 2 部分的相关性来判断二者
关系,进而实现图像分割。
98
林 业 科 学 49 卷
若 X = ( x1,x2,…,xn) ,Y = ( y1,y2,…,yn) 为
随机变量,它们的方差分别为 Var(X),Var(Y),协
方差为 Cov(X,Y),显然
ρ = Cov
2(X,Y)
Var(X)·Var(Y)
(1)
表示了向量 X,Y 的相关程度,统计上,一般称 R2 为
确定指数。
于是,根据式(1)本文提出基于确定指数的分
割算法,并以此来分割柑橘前景和背景图像。过程
如图 1 所示,算法如下:
图 1 确定指数分割法分析过程
Fig. 1 Analysis process of coefficient of
determination segmentation method
1) 鼠标左键点击柑橘图像区域 A(图 1),给出
目标点。目标点位置要求并不严格,只要不是边缘,
在前景图像区域内任何点均可。
2) 以鼠标点为中心,取 n = (2 i + 1) 2 掩膜内的
所有像素,i = 1,2,3,…。
3) 指针移动到图像的起始位置(0,0),按着给
定的掩膜大小遍历图像。
4) 根据式 (1)计算当前点像素区域与目标点
区域的确定指数,并把此值与某确定指数阈值比较。
如果该值大于阈值,则把当前像素判断为前景; 否
则,把该像素置成背景。
5) 指针移动到下一像素,判断是否是最后像
素,如果不是转移到 4,否则进入下一步。
6) 结束分割,提取前景部分用于进一步研究。
2. 1. 2 前景提取与误差分析 按照前面的算法就
可以分割并提取前景,但是,其中还涉及几个技术层
面的问题是取多大的掩膜 n 和确定指数 R2,以及如
何评价分割误差。
遗憾的是,到目前为止还不存在良好且通用的
分割及评价算法。为便于分析说明起见,本文使用
Photoshop 软件的磁性套索工具通过人为办法获取
前景图像,并以此作为真值来分析确定指数分割算
法的不同掩膜大小和确定指数不同阈值对分割精度
的影响。
1) 误差计算 分割效果的好坏,采用下式进行
评价:
E r = 100
N f
N t
-( )1 。 (2)
式中: E r为误差百分数; N f为分割出的前景像素数;
N t为实际前景像素数。
如果 E r > 0,表明取出的前景像素数比实际前
景像素多,此时是把背景误分割为前景; 相反,如果
E r < 0,则表明前景被分割到背景中。
2) 掩膜大小与精度 首先看掩膜大小对分割
精度的影响,图 2 是在确定指数为 0. 225 情况下采
用不同掩膜分割出的前景图像。
从图 2 可以看出,掩膜对分割结果的影响主要
表现在边缘上的不同,掩膜越小,把背景分割到前景
中的边缘越窄; 随着掩膜增大,背景划分到前景中
的宽度在加大,即误差在增大,当掩膜大于某数值后
甚至对边缘产生切割,使前景图像损失增大 (如图
2d 的右下边缘)。实际上,图 2a,b,c,d 中的分割误
差分别为 1. 75%,4. 19%,7. 51%和 13. 66%。掩膜
增大带来的另一个问题是使图像分割的计算量急剧
增大,比如采用 31 × 31 的掩膜,其计算量至少是
3 × 3掩膜的 961 倍。因此,基于确定指数图像分割
的掩膜大小不宜太大,本文选择的掩膜大小为3 × 3。
图 2 不同掩膜大小与分割出的前景图像(R2 = 0. 225)
Fig. 2 Different mask sizes and segmented foreground images
(R2 = 0. 225)
3) 确定指数阈值与精度 确定指数阈值大小
是关系到分割精度高低的重要指标,不同的确定指
数阈值将会产生不同的分割结果。图 3 是几个不同
确定指数阈值的实际分割结果。
可以看到,R2 = 0. 21 时还有很多背景被判为前
景保留下来(图 3b); 但是当 R2 = 0. 25 时,前景几
乎被保留的同时背景被剔除(图 3c); 继续增大确
定指数到 0. 50,直观上看,分割出的前景图 3d 与图
3c 好像没有太大的变化,但是此时已经有 6%以上
的前景被剔除。实际上,图 3 中确定指数阈值取
0. 21,0. 25,0. 50 时的分割误差分别为 205. 11%,
0. 15%和 - 6. 03%。
那么,究竟多大的确定指数阈值是合适的? 显
然,没有针对所有图像的普适性答案,因为它与图像
09
第 10 期 王雪峰等: 基于彩色图像的柑橘糖度无损分析
图 3 不同确定指数阈值分割出的前景图像
Fig. 3 Segmented foreground images according to
different coefficient of determination
和目标点选择位置均有关系。但是,对于具体图像
却不难从中寻找合适的结果; 并且,这对其他图像
分割问题也有一定的参考意义。
图 4 是其中一个柑橘不同确定指数阈值对应分
割误差的一个折线图。由图可知,在 R2 < 0. 22 区间
范围内,R2 的很小增加都会给分割结果带来非常明
显的改善; R2 = 0. 22 ~ 0. 44,分割效果良好,且不同
取值的 R2,分割结果直观变化不明显,在该区间上
的分割精度大于 95%,我们把这一区间称为阈值迟
钝区间; R2 > 0. 44 后,随着 R2 增加,分割出的前景
图像逐渐变小; 当 R2 > 0. 95 后再增加,损失的前景
急剧增加。更换不同的目标点和图像,都表现出这
种的规律,差异仅仅是 R2 区间会发生一些变化,但
是这种阈值迟钝区间从图像中非常容易找到。
图 4 分割误差随确定指数的变化
Fig. 4 Segmentation error variation curve
with coefficient of determination
2. 2 柑橘前景图像与糖度
前景图像分割提取后,分别统计每张图像中前
景 B,G,R 的均值以及变为灰度图后的亮度平均值,
以 B,G,R 及灰度均值为横轴,对应的糖度为纵轴绘
制散点图(图 5)。
从图 5a,b 可以看到,图像的平均 R 值和平均 B
值的散点杂乱地分布在某一区间,与糖度关系不明
显; 而平均 G 值和平均灰度值与糖度有明显关系。
图 5 B,G,R 分量及灰度图像的亮度值与糖度的散点图
Fig. 5 Scatter diagram of B,G,R intensity and
gray-scale image luminance value with brix
灰度图像各像素的亮度值由下式计算得到:
Gray ij = 0. 114Bij + 0. 587Gij + 0. 299Rij。 (3)
式中: Bij,Gij,Rij分别是图像 i 行 j 列像素的亮度值;
Gray ij是灰度图像对应行列像素的亮度值。由于灰
度值是由 B,G,R 计算而来,而 B,R 值与糖度关系
不明显,同时在计算过程中 G 所占权重较大,因此
笔者认为,平均灰度值与糖度表现出的关系是由 G
带来的,所以,以下仅分析 G 平均值与糖度的关系
而不再考虑灰度值情况。
根据图 5c,G 值增加则糖度减小,呈现一种“倒
J”形状。为了定量表述这种关系,本文选用线性、幂
函数、单指数、双指数 4 个模型:
y = ax + b; (4)
y = axb; (5)
y = ae bx; (6)
y = eae - bx。 (7)
以平均 G 值为自变量( x)、柑橘糖度为因变量
( y),拟合以上 4 个模型,结果见表 1。
表 1 糖度与 G 分量值的拟合结果
Tab. 1 Fitting result of brix and G intensity
模型
Models
模型参数
Parameters
a b
残差平方和
Residual sum
of squares
相关指数
Correlation of
coefficient
(4) - 0. 122 205 24. 948 810 83. 130 0. 686
(5) 1 578. 798 307 - 1. 051 735 78. 160 0. 709
(6) 34. 321 372 - 0. 010 076 78. 084 0. 709
(7) 3. 785 368 - 0. 004 062 76. 311 0. 717
19
林 业 科 学 49 卷
从表 1 可以看到,在这几个模型中,双指数模型
(7)的拟合精度最高。实际上,笔者还试了一些其
他模型,相同参数的模型拟合精度也没有超过模型
(7)。因此,本文用式(7)来描述图像与柑橘糖度的
关系。由于 G 是绿色亮度值分量,随着 G 值增加,
柑橘糖度减低,可以这样粗略理解: 越亮绿的柑橘
越不甜,这种思维方法和人们的生活经验比较相似。
3 结论与讨论
图像分割是图像处理中非常重要的一个研究方
向,由于图像内容的复杂性,因此产生了众多的分割
算法。本文提出的确定指数分割法分割前景和背景
图像效果良好。不仅本研究图像,笔者测试了很多
其他图像,均取得了较好的分割结果,即该算法在分
割图像中不同性质的区域具有优势。实际上,本研
究是只有一个分量的典型相关分析问题,该算法可
以扩充到多分量的图像分割中。
确定指数分割法有掩膜大小和确定指数阈值 2
个参数需要人为给定,掩膜大小对待分割前景的边
缘影响较大,其合适的大小值根据具体图像会有一
定差异,但是一般不宜太大。确定指数阈值的选择
是影响本算法分割成败的关键,一般情况下,确定指
数阈值有一个阈值迟钝区间,在该区间的前缘通常
有一个能使分割结果产生急剧变化的点,选择比该
点稍大的确定指数阈值是合适的。还有一个问题是
比较基准的灰度值选定,原则上选择以平均灰度值
位置的像素点为中心的掩膜范围,可以通过程序计
算或鼠标点击测试的方法给定。
柑橘糖度与其外图像间存在必然的联系,本文
研究了构成彩色图像的 B,G,R 3 个分量值以及灰
度图像分量值与糖度的关系,发现 G 分量值与糖度
关系最为明显,呈现“倒 J”形状,用双指数方程进行
模拟较好地反映了这种变化趋势。
有必要探讨糖度与其他图像参数以及在其他颜
色空间或频域内的变化规律,寻找对糖度变化更敏
感的图像参数,甚至建立糖度和多图像变量间的关
系,实现柑橘的机器人自主采摘或机器自动分级等,
逐渐把人从繁重的手工操作中解脱出来。
参 考 文 献
蔡健荣,李玉良,范 军,等 . 2007. 成熟柑橘的图像识别及空间定
位研究 . 微计算机信息,23(12 - 1) : 224 - 225,314.
曹乐平,温芝元,陈理渊 . 2009. 基于统计纹理的柑橘糖度与有效酸
度检测 . 测试技术学报,23(1) : 63 - 67.
刘木华,程仁发,林怀蔚,等 . 2007. 脐橙糖度光谱图像检测技术研
究 . 江西农业大学学报,29(3) : 443 - 448.
王建黑,欧阳琴,陈全胜,等 . 2009. 自然场景下不同成度熟柑橘的
自适应识别 . 光学与光电技术,7(5) : 56 - 58.
徐惠荣,叶尊忠,应义斌 . 2005. 基于彩色信息的树上柑橘识别研
究 . 农业工程学报,21(5) : 98 - 101.
周志宇,刘迎春,张建新 . 2008. 基于自适应 Canny 算子的柑橘边缘
检测 .农业工程学报,24(3) : 21 - 24.
Fernando L,Gabriela A,José B,et al. 2010. Automatic detection of
skin defects in citrus fruits using a multivariate image analysis
approach. Computers and Electronics in Agriculture,
71(2) : 189 - 197.
Lleó L,Barreiro P,Ruiz-Altisent M,et al. 2009. Multispectral images of
peach related to firmness and maturity at harvest. Journal of Food
Engineering,93(2) : 229 - 235.
Omid M, Khojastehnazhand M, Tabatabaeefar A. 2010. Estimating
volume and mass of citrus fruits by image processing technique.
Journal of Food Engineering,100(2) : 315 - 321.
Rajkumara P,Wangb N,EImasryb G,et al. 2012. Studies on banana
fruit quality and maturity stages using hyperspectral imaging. Journal
of Food Engineering,108(1) : 194 - 200.
Yankun P,Renfu L. 2008. Analysis of spatially resolved hyperspectral
scattering images for assessing apple fruit firmness and soluble solids
content. Postharvest Biology and Technology,48(1) : 52 - 62.
(责任编辑 石红青)
29