全 文 :-11-
研究与设计 2011年第5期
基于灰度共生矩阵参数的柳杉材表面节疤
缺陷识别
胡硕飞1,周建徽2,云虹2,胡传双2
( 1.中山四海家具制造有限公司,中山 528459;2.华南农业大学林学院,广州 510642)
摘要:本研究利用木材表面纹理特征和色彩统计特征开发了柳杉(Cryptomeria japonica L.f.)锯材表面
活节和死节的机器视觉自动识别系统。该系统由3部分组成:CCD工业摄像图像采集硬件系统、缺陷
自动检出的图像处理模块和基于识别规则的缺陷识别模块。通过对空间灰度共生矩阵参数Contrast运
用大津自动阈值分割算法检出潜在缺陷区域,结果表明提案的缺陷检出算法可有效提取柳杉材表面的
缺陷区域。根据活节和死节的表面色彩统计直方图确立了区分活节和死节的阈值并构建了活节和死节
的识别规则,结果表明基于色彩统计特征的识别规则可有效地识别活节和死节。为了验证系统的识别
精度,随机从工厂现场抽取并检测了含有单个和/或多个缺陷的试件156块(共含有94个活节和86个死
节),结果表明,活节和死节的正确检出率分别为94.7%和97.6%,活节和死节的正确识别率分别为
96.6%和98.8%,整个系统的准确识别率为93.9%。系统的识别精度表明, 基于表面纹理特征可实现对
柳杉锯材表面节疤缺陷的有效识别,胜任生产线对于缺陷检测精度的要求。
关键词:缺陷检测;图像处理;木制品
中图分类号:S781.5 TP391.4 文献标识码:A 文章编号:1001-036X(2011)05-0011-05
Detection of sound knots and dead knots on Sugi timber using grey
level co-occurrence matrix parameter
HU Shuo-fei1, ZhOU Jian-hui2, YUN Hong2, HU Chuan-shuang2
(1. Zhongshan Fourseas Furniture Mfg Ltd., Zhongshan 528459, China;2. College of Forestry, South China
Agricultural University, Guangzhou 510642, China)
Abstract: The parameters of contrast calculated from the GLCM were used to locate the potential defects of sound knots
and dry knots on Sugi. The rule-based approach was used to identify sound knots and dry knots. The rules to identify
sound knots and dry knots were built according to the color feature histograms. A series of samples containing single or
multiple sound and/or dry knots were selected at random to verify the effi ciency and accuracy of the proposed system.
There were 94 sound knots and 86 dry knots on the surfaces of these samples. The accuracies of locating sound knots and
dry knots were 94.7% and 97.6% respectively. The identifying accuracies of sound knots and dry knots were 96.6% and
98.8% respectively. The total detecting accuracy of the system was 93.9%. The results indicated that the proposed vision
system is an effi cient means of detecting sound knots and dry knots.
Key words: defect detection;image processing;wood products
收稿日期:2011-08-15
作者简介:胡硕飞(1988-),男,硕士,助理工程师。
基金项目:广东省自然科学基金项目(4400-E07116)和广东省财政
厅项目(2008A020100013)资助。
目前世界范围内,锯材缺陷的检测和分等还主要由 熟练工人完成,但基于肉眼观测基础上的缺陷检测由于
人的主观差异而导致检测结果的差异。为了克服锯材缺
陷人工视觉检测的缺点,机器视觉、超声波、微波、核磁
共振、X射线密度成像和温度梯度等技术已被尝试用于
DOI:10.13594/j.cnki.mcjgjx.2011.05.011
-12-
2011年第5期研究与设计
锯材表面缺陷自动检测领域[1-3]。机器视觉技术因其高
性价比已被确认为锯材表面缺陷识别的有效技术之一,
最近彩色线性扫描摄相机已用来自动优化锯切和分类
红橡木板材[4]。Koivo等[5]利用颜色特征直方图把锯材常
见缺陷自动识别为8类。
前期的研究中,分别基于孔洞和裂缝的轮廓厚度信
息及节疤缺陷的色彩统计特征开发了柳杉锯材表面缺陷
自动识别系统[6-7]。但由于锯材的外观变化很大,不存在
两块色彩或纹理特征都完全相同的板材,锯材表面缺陷
的机器视觉识别目前还存在着许多有待研究解决的问
题。本研究旨在利用表面纹理特征和色彩统计开发高精
度的柳杉表面活节和死节的机器视觉自动识别系统。
1 材料与方法
1.1 实验材料
试验所用柳杉试件尺寸规格1000mm×300mm
×20mm,干燥至含水率12%左右。试件表面经数
控铣床(Funuc,型号M180)刨光加工,进给速度
15m/min,切削线速度30m/s。检测系统的原理图
如图1所示,包括紧凑型视觉系统(CVS 1456,NI)、
CCD彩色摄像头(Balser scA 1390-17fc,Balser
Vision Technologies)、2个光照灯(Toshiba reflector
150WF)、数控工作台(Funuc M180系列)和安装有作
者开发的专用缺陷识别软件系统的计算机。待测试样
放置在二维数控工作台上,两个光照灯从两边照明,通
过调整并固定摄像头的高度和焦距,采集的图像帧分
辨率为60dpi并记录为24bpp(bit/pixel),对应的实际
图像尺寸约为270mm×200mm。缺陷自动识别程序由
MatLab 7.0实现,识别程序的流程图如图2所示。
1.2 缺陷检出和识别算法
采集和输入图像后,把RGB图像转化成R、G、B通
道信号图像和灰度图像,再把灰度图像分割成 r cN N×
子块用于计算灰度共生矩阵。灰度共生矩阵是距离和
方向的离散函数。两相关像素之间的距离d在微小纹理
NI CVS 1456 䆚߿㾘߭
ܝ⑤
Y-Y
Z-Z X-X
᪡ৄ
䆩ӊ
CCD ᨘڣ
ܝ⑤
图1 检测系统原理图
分析时设置值为1,方向角度分别为0°和90°。本研究
灰度级G设置为16级用于构造灰度共生矩阵。当方向
角θ为0°或90°时,位移向量 ( , | , )p i j d θ 可表示为公式
(1)和(2):
1 1
1 2
[( , ),
( , | ,0) ( , | ,0) 1
x y
p i j d p i j d if
y y
⎧⎪= + ⎨ − =⎪⎩
2 2
1 2 1 1 2 2
( , )] ( )
0, , ( , ) , ( , )
r cx y N N
x x d f x y i f x y j
∈ ×
= − = = =
(1)
1 1
1 2
[( , ),
( , | ,90) ( , | ,90) 1
x y
p i j d p i j d if
y y
⎧⎪= + ⎨ −⎪⎩
2 2
1 2 1 1 2 2
( , )] ( )
, 0, ( , ) , ( , )
r cx y N N
d x x f x y i f x y j
∈ ×
= − = = =
(2)
式中:Nc和Nr分别表示目标图像水平和垂直方向的
像素,此处子块Nr×Nc大小为2×2像素,(x1,y1)和(x2,y2)
表示指定方向上间距为d的两个相邻像素点的坐标。
Haralick[8]从灰度共生矩阵提取出14个描述纹理的
数据特征统计值。灰度共生矩阵参数Contrast作为一个
图2 程序流程图
ᓔྟ
㦋পᑊ䕧ܹڣ
ᇚᭈԧڣߚ៤ N×M ᄤ䲚
䕀ᤶ៤ RGB♄ᑺڣ
䅵ㅫ♄ᑺ݅⫳ⶽ䰉 (GLCM)
䅵ㅫ♄ᑺ݅⫳ⶽ䰉খ᭄ Contrast
䅵ㅫ ContrastⳈᮍ
⋹㞾ࡼ䯜ؐߚࡆㅫ⊩
ᔶᗕᄺ᪡˖ᬒ։㱔
㘨䗮ऎඳᷛ䆄
䆚߿⡍ᕕᦤপ
䆚߿㔎䱋 㔎䱋䆚߿ޚ߭
䕧ߎ㒧ᵰ
㒧ᴳ
-13-
研究与设计 2011年第5期
N
255
0r c
M
if Contrast K
f
if Contrast K
×
≥= <
⎧⎨⎩ (12)
图像分割后,潜在缺陷区域依然是离散像素点,为
了形成完整的潜在缺陷区域,采用4-邻连通区域标记
算法。标记完成后,潜在缺陷区域就可表示为矩阵{R1,
R2,…,Rn},R1~Rn表示具有相同标识的潜在缺陷区域。
潜在缺陷区域检出后,为了识别缺陷类型,采用了
作者们前篇报道中提案的基于色彩统计信息的识别技
术[7]。R、G和B通道信号的方差(VR,VG,VB)及B通道信
号的平均值(MB)等四个色彩统计特征值可用于很好地
识别活节和死节。针对每个检出的潜在缺陷区域,分别
统计上述四个色彩统计特征值。基于四个基本的特征
值,每个潜在缺陷区域有一个置信度向量用来判别该区
域属于活节还是死节。用于构建识别规则阈值的训练图
像集共有222帧,其中包括142个活节和80个死节。对于
每帧训练图像人工操作统计分析了其4个色彩特征值,
并形成了特征直方图。识别阈值从各个直方图直接确
定,对应不同特征值分布区间分别用语言描述为“高”和
“低”,然后将活节和死节的语言描述和置信值联系起
来。识别准则如表1所示。对每个不同的潜在缺陷区域,
识别规则赋予不同的置信值,规则的运用过程实际上就
相当于一个投票表决的过程。潜在缺陷区域的归属类型
置信值可用公式(13)表示:
1
( ) ( ( ))
Tr
l
countl
TV soundknot Cv F countl
=
= ∑
1
( ) ( ( ))
Tr
l
countl
TV looseknot Cv F countl
=
= ∑ (13)
式中:F(countl)表示第countl个特征值,Tr′表
示特征值的总数,此处Tr′等于4(MG,VR,VG,VB),
TV1(soundknot)和TV1(looseknot)分别是活节和死节的
总置信值。
2 结果与讨论
如图3所示,材面所包含的一个活节和一个死节缺
陷在试样帧图像中与正常材在色彩和纹理上表现出较
大差异,因此理论上可利用机器视觉技术对活节和死
节等与色彩和纹理相关联的缺陷进行识别。文献[10]报
道,为了提高图像处理效率,利用色彩空间的二维信息
就可有效地表征花旗松锯材表面的视觉缺陷。在本研
主要的特征用于检出潜在的缺陷区域,Contrast可表示
为公式(3):
2
0 0
( ) ( , | , )
N N
CON
i j
f i j p i j dθ θ
= =
= −∑∑ (3)
式中:N等于灰度级G,θ为0°或90°。
为了自动检出潜在缺陷区域,本研究采用大津自动
阈值算法[9]。设灰度共生矩阵参数Contrast强度分布范
围为(min,max),假设k为最小值min和最大值max
之间的任一值。n(i)和N(
max
min
( )
i
N n i
=
= ∑ )表示强度i在整个
分布范围内出现的频值和全体强度频值的总和,则给定
强度的概率[P(i)]可以用公式(4)表示:
n(i)P(i)= ( min,min 1,min 2,....,max)N i = + +
(4)
以中间临界值k将整个强度直方图分成S1=[min,
1,…,k]和S2=[k+1,…,max]两组,则两组的概率之和
(w1(k)、w2(k))和均值(m1(k)和m2(k))可表达为公式(5)
和(6):
1
0
( ) ( )
k
i
k p iw
=
= ∑ , 2552
1
( ) ( )
i k
k p iw
= +
= ∑ (5)
1
0
( ) ( )
k
i
k ip im
=
= ∑ , 2552
1
( ) ( )
i k
k ip im
= +
= ∑ (6)
两组的方差(σ1和σ2)由公式(7)表示:
2
1 1
0
( ) ( ( ) ) ( )
k
i
k k i p imσ
=
= −∑
255
2
2 1
1
( ) ( ( ) ) ( )
i k
k k i p imσ
= +
= −∑ (7)
S1和S2的组间和组内差异值σB和σW可由公式(8)和
(9)表示:
2
Bσ = (8)
2 2 2
1 1 2 2
( ) ( ) ( ) ( )
w
k k k kw wσ σ σ= + (9)
整个强度直方图的方差可由公式(10)表示:
2 2 2
t B wσ σ σ= + (10)
为了自动选取最优分割阈值k*,评价指标可由公式
(11)表示。当η(k)的值最大时,即可得到最优的分割阈
值k*。
2
2( ) B
t
k ση
σ
= , *
min max
( ) ( ( ))
k
k kMaxη η
< <
= (11)
整帧图像在阈值k*处分割成正常材和潜在缺陷区
域两部分,阈值分割可由公式(12)表示:
m2
(k)
σ1(k)
w1
(k)w2
(k)(m1(k)-m2(k))2
η(k) (k )
w1
(k)σ12(k)+w2(k)σ22(k)
σ2(k)
(k)
1
(k)
2
(k)
=
-14-
2011年第5期研究与设计
究中,灰度图像的纹理特征用于潜在缺陷区域的检出,
而R、G和B通道信号图像的色彩统计特征用于缺陷类
型的判别。为了准确检出潜在缺陷区域,对灰度共生矩
阵参数Contrast强度直方图进行大津自动阈值算法操
作,如图4所示,待测图像被正确地分割成正常材和潜
在缺陷区域两部分。缺陷轮廓的边缘部分由于纹理错
乱会对分割造成一些干扰噪声,但经过对分割后的图
像进行形态学上的扩大和侵蚀操作,可完全消除干扰
噪声。如图5所示,对待测帧图像运用所提案的批处理
程序,可以准确地检出试样帧图像中所包含的一个活
节和一个死节缺陷。
为了进一步识别活节和死节,基于四个基本色彩统
计特征值建立了识别准则。通过对一系列包括活节和
/或死节的试样进行预实验,采集并统计了色彩特征值直
方图。从图6和图7中可观察得出,特征值MB、VB、VG和VR
可有效区分出活节和死节。考虑到四个色彩统计特征值
的表现,建立了如表1所示的缺陷类型识别规则,并用一
帧含有一个活节和一个死节的试样图像作为一个示例来
说明系统对缺陷进行识别的步骤以及所构建识别规则的
有效性。特征值及识别结果如表2所示,识别结果表明例
示帧图像的活节和死节缺陷都能被准确地识别。
图3 RGB图像 图4 大津阈值分割
图像
图5 经形态学后期
处理的分割图像
表2 识别特征值和识别结果
潜在缺陷区域编号
(NOPDR)
#1
#2
注:sk,活节;dk,死节。
MG
56
82.4
VB
25.1
10.2
VG
40.6
15.4
VR
39.9
19.1
Sk
1.0
4.0
Dk
3.0
0
缺陷
分类
DK
SK
识别特征值 识别支持度
为了进一步验证系统的检出和识别精度,从工厂现
场随机抽取了含有单个或多个活节和/或死节缺陷的试
样对系统进行测试。随机抽取的样本含有94个活节和86
个死节,如表3所示,活节和死节的正确检出率分别达到
了94.7%和97.6%,正确识别率分别为96.6%和98.8%。
图6 G通道信号平均值特征直方图
频
率
强度
活节
死节
频
率
强度
活节
死节
a)R通道信号特征值方差直方图
频
率
强度
活节
死节
b)G通道信号特征值方差直方图
图7 R、G、B通道信号特征值方差直方图
频
率
强度
活节
死节
c)B通道信号特征值方差直方图
表1 区别活节与死节的识别准则
特征值
MG
VB
阈值
MG∈[57,116]
MG∈[35,75]
VB∈[9,33]
VB∈[33,54]
识别准则 置信值
sk
1.0
0
1.0
dk
0
1.0
0
1.0
特征值
VG
VR
阈值
VG∈[12,34]
VG∈[33,53]
VR∈[15,37]
VR∈[31,54]
识别准则 置信值
sk
1.0
0
1.0
0
dk
0
1.0
0
1.0
注:sk,活节;dk,死节。
-15-
研究与设计 2011年第5期
分类
活节
死节
表3 系统准确率
注: 正确检出率=
正确定位试样数
试样总数 ;正确识别率=
正确识别试样数
正确定位试样数 ;系统精确度=
正确识别试样数
试样总数 ;系统整体精度=
正确定位试样数(活节+死节)
试样总数(活节+死节) 。
试样总数
94
86
正确定位试样数
89
84
正确检出率
94.7%
97.6%
正确识别试样数
86
83
正确识别率
96.6%
98.8%
系统精度
91.5%
96.5%
系统整体精度:93.9%
活节和死节的最终检出和识别正确率分别为91.5%和
96.5%,系统整体的正确识别率为93.9%。系统识别的精
度表明所提案的柳杉锯材表面缺陷机器视觉识别系统
可完全胜任实际自动化生产线对于缺陷识别精度的需
求,如具体应用场合需提高系统识别率或其它类型的缺
陷,可讨论增加识别特征。
3 结论与讨论
本研究的结果表明,色彩统计特征和纹理特征可共
同用于检出和评价柳杉锯材表面的活节和死节。主要结
论如下:
(1)自行开发的图像处理程序可准确地检出潜
在缺陷区域,活节和死节的检出精度分别为94.7%和
97.6%.
(2)基于四个色彩统计特征值构建了缺陷的识别
规则,结果表明活节和死节的识别精度分别为96.6%和
98.8%。
(3)系统的整体检测精度为93.9%,可胜任实际自
动化生产线对于缺陷识别精度的要求。如具体应用场
合需提高系统识别率或其它缺陷类型,可讨论增加识
别特征。
[参考文献]
[1] Szymani R,McDonald KA Defect detection in lumber:state
of the art[J].Forest Production Journal,1981,31(11):34-43.
[2]Portala JF,Ciccoteli J.Nondestructive testing techniques
app l i ed to wood s cann ing[J].I ndus t r i a l Me t ro l ogy
1992,2(3/4):299-307.
[3]Osaki H,Tokunaga S,Sako Y,Komatusbara F.Method to
determine grade of timber using image processing technique[C].
Nihon Kikai Gakkai Ronbunshu (in Japanese) ,1994,
60(573):1862-1868.
[4] LEFEVRE R.Scan wood color:1st color scanner working
in industry [C].Proc.2nd international workshop on
scanning technology and image processing on wood,August
14-16,1995 Skelleftea,Sweden,119-132.
[5] Koivo AJ,Kim CW.Automatic classification of surface
defects on Red Oak boards.Forest Prod.J.,1989,39(9):22-30.
[6] Hu CS,Tanaka C,Ohtani T Locating and identifying holes
and splits on Sugi by the displacement laser sensor[J].J
Wood Sci.,2002,(49):492-498.
[7] Hu CS,Tanaka C,Tadashi O.Locating and identifying
sound knots and dead knots on sugi by the rule-based
color vision system[J].J Wood Sci.,2004,51:115-122
[8] HARALICK RM,SHANMUGAM K,DINSTEIN I.Texture
Features for Image Classification [J].IEEE Transactions on
System Man and Cybernetics,1973,3 (6):610 - 621.
[9] OTSU N.An automatic threshold selection method based
on discriminate and least squares criteria [J].Denshi Tsushin
Gakkai Ronbunshi (in Japanese),1979,63(4):349-356.
[10] MAR I S T ANY A G.,L E B OW P K.,B U T L E R D
A.Exploiting local color information for defect detection
on Douglas fir veneer [C].4th international conference on
scanning technology in the wood industry,1991,Oct:28-
29,Burlingame,California,USA.
式中:N—电机功率,kw;
n—电机转速,r/min。
采用了图6所示的新型电机丝杠型扎钩系统的跑车
带锯机已在多家用户使用。实践证明,这种新型的电机
丝杠型扎钩系统完全克服了图5所示的老式扎钩系统的
缺陷,很受用户欢迎。
3 小结
图4及图6所示的改进后的新型扎钩系统和原有的
同类型扎钩系统相比较,并没有增加复杂程度及制造成
本,而是通过巧妙合理的设计克服了原有扎钩系统的诸
多缺陷,使可靠性大大提高,故障率大大降低,既经济
又实用,非常值得推广应用。
(上接第3页)