全 文 ：第 ws卷 第 v期
u s s w年 x 月
林 业 科 学
≥≤Œ∞‘׌„ ≥Œ∂ „∞ ≥Œ‘Œ≤„∞
∂²¯1ws o‘²1v
¤¼ou s s w
基于机器视觉的树木图像实时采集与识别系统 3
向海涛 郑加强 周宏平
k南京林业大学机械电子工程学院 南京 utssvzl
摘 要 } 研究了树木图像的实时采集与识别技术 o以及树木图像处理及分析软件系统的开发 o并自行设计制作了
室内模拟实验系统 ∀树木图像处理技术包括图像的获取 !图像的增强 !图像边缘检测 !图像分割和图像的特征提取
与识别 ∀本文的研究能够为分离施药目标与非施药目标提供依据 o有助于精确农药喷雾的实现 ∀
关键词 } 机器视觉 o图像处理 o树木图像 o图像识别 o精确农药喷雾
中图分类号 }≥zx{ ~≥zyv 文献标识码 }„ 文章编号 }tsst p zw{{kusswlsv p stww p sx
收稿日期 }ussu p s| p uz ∀
基金项目 }国家自然科学基金资助项目kvsszsyuxl ∀
Ρεαλ2τιµε ΤρεεΙµαγε Αχθυισιτιον ανδ Ρεχογνιτιον Σψστεµ Βασεδ ον Μαχηινε ςισιον
÷¬¤±ª ‹¤¬·¤² «¨ ±ª¬¤´¬¤±ª «²∏‹²±ª³¬±ª
k Χολλεγε οφ Μεχηανιχαλανδ Ελεχτρονιχ Ενγινεερινγ o Νανϕινγ Φορεστρψ Υνιϖερσιτψ Νανϕινγutssvzl
Αβστραχτ} ׫¨ ³¤³¨µ°¤¬±¯¼¶·∏§¬¨§·«¨ ·¨¦«±²¯²ª¼ ²©¤¦´∏¬¶¬·¬²± ¤±§µ¨¦²ª±¬·¬²± ²©µ¨¤¯2·¬°¨ ·µ¨¨¬°¤ª¨ o¤±§§¨√¨ ²¯³¨ §·«¨
·µ¨¨¬°¤ª¨ ³µ²¦¨¶¶¬±ª¤±§¤±¤¯¼½¬±ª¶¼¶·¨°q×µ¨¨¬°¤ª¨ ¤¦´∏¬¶¬·¬²±o·µ¨¨¬°¤ª¨ ±¨«¤±¦¨ °¨ ±·o·µ¨¨¬°¤ª¨ §¨ª¨ §¨·¨¦·¬²±o·µ¨¨
¬°¤ª¨ ¶¨ª°¨ ±·¤·¬²±o·µ¨¨¬°¤ª¨ ©¨¤·∏µ¨ ¬¨·µ¤¦·¬²± ¤±§·µ¨¨¬°¤ª¨ µ¨¦²ª±¬·¬²± º¨ µ¨ ¬±¦¯∏§¨§¬±·«¨ ¶·∏§¼q׫¨ ¶³µ¤¼¬±ª·¤µª¨·
²¥­¨¦·©µ²°·«¨ ±²±2¶³µ¤¼¬±ª·¤µª¨·²¥­¨¦·¦²∏¯§¥¨ §¬¶·¬±ª∏¬¶«¨§¤¦¦²µ§¬±ª·²¶·∏§¼¬±·«¨ ³¤³¨µoº«¬¦«¶«²∏¯§¦²±·µ¬¥∏·¨·²·«¨
µ¨¤¯¬½¤·¬²± ²©·«¨ ³µ¨¦¬¶¬²± ³¨¶·¬¦¬§¨ ¶³µ¤¼¬±ªq
Κεψ ωορδσ} ¤¦«¬±¨ √¬¶¬²±oŒ°¤ª¨ ³µ²¦¨¶¶¬±ªo×µ¨¨¬°¤ª¨ oŒ°¤ª¨ µ¨¦²ª±¬·¬²±o°µ¨¦¬¶¬²± ³¨¶·¬¦¬§¨ ¶³µ¤¼¬±ª
目前 o我国森林病虫害形势相当严峻 o森林病虫害防治的最有效方法是使用药物防治 ~可是在农药使用
的同时却伴随着环境污染 !农药残留 !害物的抗药性 !人畜农药中毒以及低效的使用等弊端 ∀对此 o需要研究
农药安全 !精确的使用技术 o减少农药对环境的污染以及人畜和农药接触的机会 o并提高农药的使用效率 ∀
从目前的资料分析看 o还没有在林业上进行基于机器视觉的精确农药使用技术的探索 ∀利用机器视觉技术
可以实现树木图像的实时采集 !边缘检测 !分割以及树木图像的特征提取与识别 o而且根据所得到的识别结
果 o可以分离施药目标与非施药目标 o并以此为依据产生精确喷雾的控制策略 o从而实现在林业上进行基于
机器视觉的精确农药使用 o最终做到有目的地科学使用农药 o既可提高农药的使用效率又可以减少因农药造
成的环境污染 o同时能降低农药使用成本k郑加强等 ousst ~Š²³¤¯¤³¬¯¯¤¬ετ αλqot||| ~≤«² ετ αλqot|||l ∀本文以
室内模拟树木以及实际树木为研究对象 o研制了一套适应树木检测的彩色机器视觉识别系统 ∀
t 机器视觉识别系统构成
图 t为所研制的室内模拟树木检测的机器视觉识别系统原型 ∀图 u为其总体示意图 o该系统由计算机 !
⁄≤vs °˜≥真彩色图像采集卡 !松下 ≤°wxs型彩色 ≤≤⁄k≤«¤µª¨ ≤²∏³¯ §¨ ⁄¨ √¬¦¨ 电荷耦合器件l摄像头和输送
带式模拟实验台组成 ∀图像采集卡的最大分辨率为 t suw ≅ t suw ≅ uw像素 ∀摄像头安装在输送带式模拟实
验台的一侧 o同时采用西门子矢量型变频器 y≥∞vutw实现实验台无级平稳运动 o以模拟室外摄像头与树木之
间的相对运动 o系统未使用特殊的光源以反映室外自然环境 ∀
u 树木图像处理算法研究
如图 v所示为针对树木图像处理的识别算法 o对采集得到的连续视频图像 o首先提取单帧图像进行预处
理以后 o将图像由采集得到的 • Š…k三原色 o• §¨红 oŠµ¨ ±¨绿 o…¯ ∏¨ 蓝l图像转换为色度图像 ∀再将转换后的
色度图像中绿色kŠl通道分离出来进行图像分割 !边缘提取 !特征提取与识别后 o输出识别结果 ∀
图 t 机器视觉识别系统原型
ƒ¬ªqt ¤¦«¬±¨ √¬¶¬²± ¶¼¶·¨° ³µ²·²·¼³¨
图 u 机器视觉识别系统示意图
ƒ¬ªqu °µ¬±¦¬³¯¨¶®¨·¦«²© °¤¦«¬±¨ √¬¶¬²± ¶¼¶·¨°
图 v 系统识别算法示意
ƒ¬ªqv • ¦¨²ª±¬·¬²± ¤¯ª²µ¬·«° ²©·«¨ ·µ¨¨¬°¤ª¨
211 图像采集
本系统构造了自己的基于 ∂ƒ • 的 ≤¤³·∏µ¨采集类可以完成单幅图像或连续图像的采集 o并能在采集过
程中实时地从连续视频中提取单帧图像数据进行分析 o对图像采集卡 !计算机等硬件设备没有特别限制 ∀
212 图像预处理
由于在自然光条件下 o有时光线照度不理想 o进行预处理的目的是使得图像清晰 ∀预处理包括对图像进
行亮度 !对比度调整和平滑滤波 ∀亮度和对比度的调整可以使得树木图像特征明显 o易于识别 ∀平滑滤波的
目的是去掉尖锐不连续的噪声k方如明等 ot|||l ∀
213 • Š…表示转换为色度表示
真彩色图像采集卡采集得到的原始图像是由 • Š…色彩空间表示的彩色图像 ∀在分割采集到的彩色图
像时 o要利用色彩的聚类性质 ∀通常物体的色度由构成物体的材料所具有的光线吸收和反射特性决定 o而亮
度明显地受光照和视角的影响 o因此根据色度分割图像比较可靠 ∀根据这一点 o通常将 • Š…空间的图像转
换到 ‹≥Œk‹∏¨ 色度 o≥¤·∏µ¤·¬²±饱和度 oŒ¯ ∏¯°¬±¤±¦¨ 光照度l空间中以完成彩色图像分割 o但由于 • Š…到 ‹≥Œ空
间的转换计算量很大 o较为耗时 o在实时性要求很高的识别系统中不适用k陈晓光等 ousst ~…¯¤¦®¶«¤º ετ αλqo
t||{ ~∞Œ2ƒ¤®¬ετ αλqousssl ∀本文采用式ktl来实现 • Š…图像中色度和明度的分离 o只用反映色彩本质特性的
色度来进行聚类分析 o可以获得比较好的识别效果 ∀
ρ € uxx Ρ Πk Ρ n Β n Γl
γ € uxx ΓΠk Ρ n Β n Γl
β € uxx ΒΠk Ρ n Β n Γl
ktl
xwt 第 v期 向海涛等 }基于机器视觉的树木图像实时采集与识别系统
图 w 灰度图像的直方图
ƒ¬ªqw ‹¬¶·²ªµ¤° ²©ªµ¤¼¬°¤ª¨
式中 ρ!γ !β分别表示红 !绿 !蓝三原色的色度坐标值 ∀
214 提取绿色(Š)通道图像
在彩色图像分割中 o可以先将其变换为灰度图像再进行处理 o但考虑到
彩色图像提供了比灰度图像更多的信息 o而且由图 w灰度图像直方图可见 o
图像灰度值分布比较均匀 o不易实现树木与背景的分离 ∀由于树木的色彩大
多为绿色基调 o色度图像中的 Š分量包含了较多的树木色彩信息 ∀图 x显
示了滤去亮度的色度图像中其 Š分量的直方图较为符合分割所需的双峰特
性 o而 • 分量中有 v个峰值 o…分量中两个峰值间的差别不够明显 o因此只需
将 Š分量的图像提取出来 o以实现图像的分割 ∀
图 x 色度图像各分量直方图
ƒ¬ªqx ∞¤¦«¦«¤±±¨ ¯ «¬¶·²ªµ¤° ²©¦«µ²°¤¬°¤ª¨
¤q• 分量直方图 • ¦«¤±±¨ ¯ «¬¶·²ªµ¤° ~¥qŠ分量直方图 Š ¦«¤±±¨ ¯ «¬¶·²ªµ¤° ~¦q…分量直方图 … ¦«¤±±¨ ¯ «¬¶·²ªµ¤° q
215 图像分割
把经过上述处理的图像 o采用图像最佳分割阈值的算法将树木和背景分离开来成为两类区域的二值图
像k章毓晋 ousssl ∀
求出图像中的最小和最大灰度值 Ζt 和 ΖΜ o令 Κ€ s o且阈值初值为
Τs € Ζt n ΖΜu kul
根据阈值 Τκ将图像分割成目标和背景两部分 o求出两部分的平均灰度值 ΖΟ和 ΖΒ }
ΖΟ €
Ε
Ζkι oϕl  Τκ
Ζkι oϕl ≅ Νkι oϕl
Ε
Ζkι oϕl  ΤΚ
Νkι oϕl kvl
ΖΒ €
Ε
Ζkι oϕl  Τκ
Ζkι oϕl ≅ Νkι oϕl
Ε
Ζkι oϕl  ΤΚ
Νkι oϕl kwl
式中 Ζkι oϕl是图像上kι oϕl点的灰度值 oΝkι oϕl是kι oϕl点的权重系数 o通常 Νkι oϕl € t ∀
求出新的阈值 }
Τκnt € ΖΟ n ΖΒu kxl
如果 Τκ € Τκn t o则结束迭代 o以阈值 Τκ分割图像 ~否则令 κ€ κn t o转到步骤kul ∀
216 边缘提取
图 y所示为采用 •²¥¨µ·!≥²¥¨¯!°µ¨º¬·!Ž¬µ¶«和 ¤³¯¤¦¬¤±边缘检测算子对分割好的图像进行边缘检测 o提
取模拟树木图像的边缘检测的结果 ∀由于 °µ¨º¬·算子并不是各向同性的 o由图 y§可以看到其检测到的边缘
并不是完全连通的 o有一定程度的断开 ∀≥²¥¨¯算子也存在同样的问题 ∀¤³¯¤¦¬¤±算子对噪声比较敏感 o检
测到的图像边缘较粗 o还需要进行进一步的细化 ∀而采用 •²¥¨µ·算子和 Ž¬µ¶«算子则可得到较为理想的边缘
k方如明等 ot||| ~章毓晋 ousssl ∀由于 Ž¬µ¶«算子运算时间较长 o•²¥¨µ·边缘检测算子用较小的运算量产生了
ywt 林 业 科 学 ws卷
较好的边缘检测效果 o因此本文采用 •²¥¨µ·边缘检测算子完成图像边缘提取 ∀
图 y 图像边缘检测结果比较
ƒ¬ªqy ≤²°³¤µ¬¶²±·«¨ µ¨¶∏¯·¶²© §¨ª¨ §¨·¨¦·¬²± ¥¼ §¬©©¨µ¨±·²³¨µ¤·²µ¶
¤q原始图像 ≥ ª¨°¨ ±·¤·¬²±¬°¤ª¨ ~¥q•²¥¨µ·算子边缘 • ²¥¨µ·²³¨µ¤·²µ §¨ª¨ ~¦q≥²¥¨¯算子边缘 ≥²¥¨¯²³¨µ¤·²µ §¨ª¨ ~
§q°µ¨º¬·算子边缘 °µ¨º¬·²³¨µ¤·²µ §¨ª¨ ~¨ qŽ¬µ¶«算子边缘 Ž¬µ¶«²³¨µ¤·²µ §¨ª¨ ~©q¤³¯¤¦¬¤±算子边缘 ¤³¯¤¦¬¤± ²³¨µ¤·²µ §¨ª¨ q
217 特征提取
本研究分别提取了树木的面积 Α!周长 λ!圆形度 Ρs !内切圆半径 ρ!形状复杂度 ε !重心 ξ坐标 µξ !重心
ψ坐标 µψ等形状特征参数 ∀这里提取的图像特征参数都是在 vys ≅ uzs分辨率的图像中进行的k方如明等 o
t||| ~章毓晋 ousss ~景寒松等 ousssl ∀树木的面积 Α等于分割好的图像中黑色像素的累积数 o周长 λ等于边缘
图像中相邻边缘点之间距离的和 ∀其余各形状特征参数可分别可由式kyl ∗ ktsl计算得到 ∀
Ρs € wΠΑΠλu kyl
ρ € uΑΠλ kzl
ε € λuΠΑ k{l
µξ € Μkt oslΠΜks osl k|l
µψ € Μks otlΠΜks osl ktsl
式k|l !ktsl中 Μks osl为图像的零阶矩 ~Μkt osl为图像对 ψ轴的矩 ~Μks otl为图像对 ξ轴的矩 ∀
218 识别
根据树木外形特征以及试验结果 o选择树木的重心高度 µψ!圆形度 Ρs !形状复杂度 ε作为树木形状的描
述参数 ∀用于树木识别的特征向量 Ξ如式kttl所示 o采用二叉分类的方法来完成树木图像的识别 ∀
Ξ €
ξt
ξu
ξv
€
重心高度
圆形度
形状复杂度
€
µψ
Ρs
ε
kttl
v 算法测试
为了对上述算法进行测试 o使用 v种不同类型的模拟目标进行模拟研究 o整个软件系统采用 ∂ ≤ n n y1s
开发 o结果如图 z所示 ∀本文还对比了同一目标在不同背景下处理的情况 o如图 {所示 ∀图 |中所示的是在
公路上任意采集的自然光条件下的行道树图像 o采用本系统中的算法进行处理的情况 ∀
模拟树木和行道树试验结果表明 o本系统研究的图像处理算法对树木图像的处理识别具有普遍适用性 ∀
w 结论
本文研究了室内树木图像采集识别系统 o完成了实时采集树木图像的分割与识别以及树木图像特征提
zwt 第 v期 向海涛等 }基于机器视觉的树木图像实时采集与识别系统
取 o可为确定农药喷雾控制策略提供依据 o在此控制策略基础上完成精确农药喷雾 ∀目前 o系统的试验对象
为单行多株树木 o树木图像的深度信息提取有待进一步研究 o以实现成林树木的识别 ∀系统采用 ∂ ≤ n n平
台 o利用基于 •¬±§²º¶的主流操作系统的可视化编程和面向对象的软件设计方法 o开发了树木图像处理及分
析软件系统 o具有良好的代码重用性 ∀
图 z 不同模拟目标处理结果
ƒ¬ªqz ׫¨ ³µ²¦¨¶¶¬±ªµ¨¶∏¯·¶²©§¬©©¨µ¨±·¶¬°∏¯¤·¨§²¥­¨¦·¬√¨ ¶
图 { 同一目标在不同背景下处理结果
ƒ¬ªq{ ׫¨ ³µ²¦¨¶¶¬±ªµ¨¶∏¯·¶²©·«¨ ¶¤°¨¶¬°∏¯¤·¨§²¥­¨¦·¬√¨
∏±§¨µ·«¨ §¬©©¨µ¨±·¥¤¦®ªµ²∏±§¶
图 | 行道树图像处理示例
ƒ¬ªq| × ¶¨·µ¨¶∏¯·²©·«¨ ·µ¨¨²±·«¨ µ²¤§
参 考 文 献
陈晓光 o吕朝晖 o吴文福等 q机器视觉田间植物检测与识别技术 q吉林工业大学自然科学学报 ousst ovtkvl }|s p |w
方如明 o蔡健荣 o许 俐编著 q计算机图像处理技术及其在农业工程中的应用 q北京 }清华大学出版社 ot|||
景寒松 o马俊福 o应义斌等 q黄花梨品质检测机器视觉系统 q农业机械学报 ousss ovtkul }ttv p ttx
应义斌 q水果尺寸和面积的机器视觉检测方法研究 q浙江大学学报k农业与生命科学版l ousss ouykvl }uu| p uvu
章毓晋编著 q图像理解与计算机视觉 q北京 }清华大学出版社 ousss
…¯¤¦®¶«¤º • ∞o≤«¨ √¤¯¬¨µ⁄ƒ o¬±§º¤¯¯ ≤ • ετ αλqƒ¤¦·²µ¶¤©©¨¦·¬±ª·«¨ ²³¨µ¤·¬²±²©·«¨ º¨¨§2¶¨±¶¬±ª§¨·¨¦·¶³µ¤¼¶¼¶·¨° q • ¨¨§≥¦¬¨±¦¨ ot||{ owy }tuz p tvt
≤«² ≥ ŒoŽ¬‘‹ q„∏·²±²°²∏¶¶³¨ §¨¶³µ¤¼¨ µª∏¬§¤±¦¨ ∏¶¬±ª °¤¦«¬±¨ √¬¶¬²± ¤±§©∏½½¼ ²¯ª¬¦q×µ¤±¶¤¦·¬²±¶²©·«¨ „≥„∞ot||| owukwl }ttvz p ttwv
∞Œ2ƒ¤®¬ ≥ o°¨ ·¨µ¶²± ⁄ ∞o«¤±ª‘qƒ¤¦·²µ¶¤©©¨¦·¬±ª¦²¯²µ2¥¤¶¨§º¨¨§§¨·¨¦·¬²±q×µ¤±¶¤¦·¬²± ²©·«¨ „≥„∞ousss owvkwl }tsst p tss|
Š²³¤¯¤³¬¯¯¤¬≥ o׬¤± o«¨ ±ª ± q∞√¤¯∏¤·¬²± ²©¤©¯²º ¦²±·µ²¯ ¶¼¶·¨° ©²µ¶¬·¨2¶³¨¦¬©¬¦«¨µ¥¬¦¬§¨ ¤³³¯¬¦¤·¬²±¶ q×µ¤±¶¤¦·¬²± ²© „≥„∞ot||| owukwl }{yv p {zs
{wt 林 业 科 学 ws卷