全 文 :植物学通报 2004, 21 (4): 429~436
Chinese Bulletin of Botany
① 通讯作者。Author for correspondence. E-mail: enzheru@polyu.edu.hk
收稿日期:2003-05-12 接受日期:2003-07-28 责任编辑:崔郁英
基于人工神经网络的叶脉信息提取
——植物活体机器识别研究Ⅰ
1傅 弘 1池哲儒① 2常 杰 2傅承新
1(香港理工大学电子与资讯工程学系多媒体信号处理中心 香港九龙)
2(浙江大学生命科学学院 杭州 310029)
摘要 叶片的识别是识别植物的重要组成部分,特别在野外识别植物活体尤其重要。叶脉的脉序是植
物的内在特征,包含有重要的遗传信息。但由于叶脉本身的多样性,利用单一特征的图像处理方法难以
有效地提取叶脉。为了充分利用图像的信息,本文提出了一种基于人工神经网络的叶脉提取方法。该方
法利用边缘梯度、局部对比度和邻域统计特征等10个参数来描述像素的邻域特征,并将其作为神经网络
的输入层。实验结果表明,与传统方法相比,经过训练的神经网络能够更准确地提取叶脉图像,为进一
步的叶片识别打下了良好的基础。
关键词 叶脉提取,人工神经网络,植物识别系统,局部对比度
Extraction of Leaf Vein Features Based on Artificial Neural
Network— Studies on the Living Plant Identification Ⅰ
1FU Hong 1CHI Zhe-Ru① 2CHANG Jie 2FU Cheng-Xin
1(Center for Multimedia Signal Processing, Department of Electronic and Information Engineering,
the Hong Kong Polytechnic University, Hung Hom, Kowloon, Hong Kong, PR China)
2(College of Life Science, Zhejiang University, Hangzhou 310029)
Abstract Leaf recognition is an important step for plant computerized identification, especially for field
living plants. Previous researches were mainly focused on leaf recognition by utilizing the peripheral
contour of the leaf while ignoring the leaf venation that actually contains important genetic information.
Conventional thresholding-based methods cannot extract the information accurately due to high diversity
of leaf veins. In this paper, an approach based on artificial neural network learning is proposed to extract
leaf venation. Ten features including edge gradients, local contrast and statistical features are extracted
from a window centered at the image pixel and used to train a neural network classifier. Compared with
conventional thresholding-based methods, the trained neural network is capable of extracting more accu-
rate modality of leaf venation for subsequent leaf recognition.
Key words Vein extraction, Artificial neural networks, Plant identification, Local contrast
研 究 论 文
430 21(4)
植物的识别与分类对于区分植物种类,探索植物间的亲缘关系,阐明植物系统的进化规
律具有重要意义。因此植物分类学是植物科学乃至整个生命科学的基础学科。然而,由于学
科发展和社会等原因,全世界范围内目前从事经典分类(即传统的形态分类)的人数急剧下
降,且呈现出明显的老龄化趋势,后继乏人,分类学已经成为一个“濒危学科”(Buyck,
1999)。这不仅对于植物分类学本身,而且对整个植物科学和国民经济的发展带来重大的不利
影响。目前植物识别和分类主要由人工完成。然而地球上仅为人所知的有花植物就有大约 25
万种,面对如此庞大的植物世界,任何一个植物学家都不可能知道所有的物种和名称,这就
给进一步的研究带来了困难。在信息化的今天,我们提出的一种解决方案是:建立计算机化
的植物识别系统,即利用计算机及相关技术对植物进行识别和管理(图 1)。
该系统使用两种方式对植物进行描述,一种是传统的语言描述,它具有简洁且查询方便
的优点,但是最初的语言描述对人的依赖性很强;另一种是图像描述,即采集图像后,由
计算机对其进行处理和识别,这种方式直观,适应性强,虽然目前研究仍处于起步阶段,但
是它必定成为将来植物识别和检索的主流方式。
叶子的外轮廓和脉络分布是它的两个主要形态特征。Wang等 (2000)利用外轮廓信息对叶
子进行识别和检索,取得了很好的效果。与外轮廓相比,叶子的脉络分布虽然形态更为复
杂,但却含有更多的信息,主脉与二级脉的分布通常与整株植物的结构相似① (常杰等,
图 1 植物识别系统
Fig.1 Block diagram of a computer-aided living plant identification system
① Ash A, Ellis B, Hickey L J, Johnson K, Wilf P, Wing S, 1999. Manual of leaf architecture-morphological
description and categorization of dicotyledonous and net-veined monocotyledonous angiosperms by Leaf Architec-
ture Working Group. 65p. Washington D C. Smithsonian Institution (http: //www.peabody.yale.edu/collections/pb/
MLA/).
4312004 傅 弘等:基于人工神经网络的叶脉信息提取——植物活体机器识别研究Ⅰ
1995),通过对叶脉的分析可以对叶子本身乃至整株植物进行更为详细的描述(Hickey, 1971; Ash
et al., 1999)。因此,叶脉的提取和识别是很有意义的课题。目前,关于叶脉图像提取的研
究较少,而且主要针对某一种特定的植物(Hickey and Taylor, 1991; Gouveia et al., 1997; Soille,
2000)。由于叶脉的复杂性和采集图像时光照的影响,利用单一特征的图像处理方法不能有效
地提取叶脉。为充分利用图像的信息,本文提出 10个特征参数来描述像素的邻域性质,把
这些特征作为神经网络的输入,选取具有代表性的样本训练神经网络,训练后的网络即可用
于叶脉提取。
1 基本原理
1.1 像素的特征选取
由于植物叶片本身的复杂性和图像采集条件的不确定性,叶脉像素和背景像素之间的差别
无法用单一的特征描述,因此,传统的基于单一特征的图像处理方法,如阈值化方法和边缘
检测方法,不能很好地提取叶脉。阈值化方法仅依据像素的灰度级差别区分像素集,但是叶
脉像素和背景像素有时在灰度级上没有太大的差别。边缘检测只能提取出灰度变化剧烈的区
域,如果叶脉比较宽,它的内部区域灰度没有明显变化,这些像素会被漏掉,同时非叶脉
区域可能会因为噪声的干扰出现虚假边缘。
为充分利用图像的信息,我们提出以下 10个特征参数用于区分叶脉像素和背景像素。
1.1.1 在 4个方向的边缘梯度 虽然单纯的边缘检测不足以提取叶脉,但是由于部分叶脉像
素位于灰度变化剧烈的地方,边缘信息对于叶脉提取仍很有帮助。用图 2所示的 Sobel 算子
(章毓晋, 2001) 分别计算平行、垂直、斜上和斜下 4个方向的梯度,可以识别大部分处于边
缘位置的叶脉像素。
图 2 4个方向的梯度算子
a. 平行; b. 垂直; c. 斜上; d. 斜下
Fig.2 Gradients in four directions by the Sobel operator
a. Horizontal; b. Vertical; c. Right oblique; d. Left oblique
1.1.2 局部对比度 局部对比度(Chi et al., 1996)用来表征一个像素与局部背景像素的灰度差
异,已成功地应用于地图图像的分割。基于地图图像和叶脉图像的相似性,可把它作为一个
特征参数。由于地图图像的分割对象一般比背景暗,Chi等(1996)的局部对比度只考虑了比背
景暗的像素,而叶脉像素的情况较为复杂,考虑亮暗像素后的局部对比度定义如下:
432 21(4)
J(i,j)= (1)
其中:I(i,j)为图像在(i,j)处的灰度值;
C(i, j)= [I(i-3, j)+I(i-2, j)+I(i+2, j)+I(i+3, j)+I(i, j-3)+I(i, j+2)+I(i, j+3)]-I(i, j) (2)
Bl(i,j)= Σ I(p,q), (3)
其中,Nb1为 I(i,j)的 9×9领域中满足 C(p,q)≤ 0的像素个数。
B2(i,j)= Σ I(p,q), (4)
其中,Nb2为 I(i,j)的 9×9领域中满足 C(p,q)> 0的像素个数。
C(i,j)用来判断该像素比周围像素亮还是暗,如果大于零则暗,反之则亮。B1(i,j)为 I(i,j)的
9×9邻域中所有比周围像素亮的均值,B2(i,j)则为I(i,j)的9×9邻域中所有比周围像素暗的均值。
当叶脉像素比背景像素暗时,局部对比度通常为比较大的正数;反之为绝对值比较大的
负数,背景像素的局部对比度则往往接近于零。
i-4≤p≤ i+4
j-4≤q≤ j+4
C(p,q)≤0
1
Nb1
图 3 前馈神经网络的结构
Fig.3 An artificial neural network with 10 inputs,
one hidden layer of 20 nodes and one output
1.1.3 四个邻域统计特征 计算像素 7×7邻
域的均值、方差、最大值和最小值,作为辅
助特征参数。
1.1.4 该像素的灰度值 部分叶子图像的叶脉
和背景之间有明显的灰度差别,可以用阈值化
的方法提取,因此像素的灰度值也是一个重要
的特征参数。
1.2 人工神经网络作为分类器
如前所述,由于叶子图像的复杂性,我们
很难直接判断叶脉像素在上述10个特征参数空
间的位置。对于这种非线性的复杂分类问题,
可以借助人工神经网络解决。我们选用目前广
泛应用的前馈神经网络(feed forward neural
network)(陈明, 1995)作为分类器。该网络具有一
个10节点的输入层,20节点的隐层和一个节点
的输出层,层与层之间充分连接。训练时通过
max[0,B1(i,j)-I(i,j)]
B1(i,j)
min[0,B2(i,j)-I(i,j)]
I(i,j)
, C(i,j)≥0
, C(i,j)<0{
1
8
1
Nb1 i-4≤ p≤ i+4
j-4≤ q≤ j+4
C(p,q)≤0
4332004 傅 弘等:基于人工神经网络的叶脉信息提取——植物活体机器识别研究Ⅰ
调节连接的权重使实际输出与期望输出的误差尽量小,
从而达到学习的目的。网络结构如图 3所示。
网络的训练步骤如下:
(1) 初始样本选择 人工在不同的叶子图像中选择一
定数量有代表性的像素,判断它是否为叶脉像素并作标
记。把选定像素的特征参数集作为训练神经网络的初始
样本,它们的标记集作为导师信号。
(2) 神经网络训练和试验 由于样本数量较大,可
采用速度较快的尺度共轭梯度算法进行训练(Moller,
1993)。训练好的神经网络就可以用来提取叶脉。
(3) 网络参数修正 初始样本集合可能不足以覆盖整
个样本空间,这样在提取实验中会产生误分,即把背
景像素认作叶脉像素或者反之。为了降低误分率和扩展
适用范围,需要对网络的参数进行修正,方法是:用
前面得到的神经网络提取叶脉图像,在结果图像中选取
误分的像素,做出正确的标记,把这些像素的特征参
数集合和标记集合,加上初始样本集合,一起作为样
本重新训练网络。
1.3 叶脉提取方法
整个叶脉提取方法的流程如图 4所示。图像预处理
是将叶片所在的区域分割出来,这一过程可用阈值化的
方法(章毓晋,2001)实现。选取初始样本训练神经网
络,进行叶脉提取,如果结果不符合要求,就选择误分
的像素作为追加的样本重新训练网络,当分割结果符合要
图 4 叶脉提取流程图
Fig.4 Block diagram of leaf vein
extraction
求后,该网络就可以集成到植物识别系统中了。
2 结果与讨论
为了验证本方法的有效性,我们进行了如下实验: 首先从26幅不同的叶子局部图像中选
取初始样本,每幅图中选叶脉像素和背景像素各30个,总共得到30×2×26=1 560个初始样
本。然后计算这些样本的特征参数,用来训练前面所述的前馈式人工神经网络,网络的初始
权重随机给定。经过 1 500次的循环后,网络的输出误差降到了 4.0%以下。
图 5a为其中 6幅叶子的局部图像,图 5d为用初始样本网络得到的结果。由图可见,初
始的网络能够分辨出大多数叶脉像素,但是不能提取较宽叶脉的中间部分,例如第一幅图和
第二幅图。在追加样本时,主要选择误分的像素,把追加的样本和初始样本一起,进行第
二次训练,对原来的网络参数进行修正,只需经过 100次循环,输出误差就可以达到稳定的
状态,为 5.5%以下。第二次网络的分割结果为图 5e。可见经过修正后的网络检测出宽叶脉
的中心像素,使结果更准确。图 5b为用 Laplacian算子(章毓晋,2001)作边缘检测的结果,
只有位于边缘位置的像素被检测出来,而且易受图像局部细节的影响。图5c为用Otsu的最大
434 21(4)
类间方差(章毓晋,2001)作阈值分割的结果,虽然前三幅的分割效果较好,但是该方法受图
像光照条件的影响很大,其余 3幅图像的效果较差,尤其最后两幅图像提取的叶脉与实际的
叶脉形态相去甚远。与用单一特征的方法相比,本文方法融合多种特征,较为成功的提取了
真实的叶脉图像。
图 5 局部叶子图像实验结果
a. 原图; b. 边缘检测结果(Laplacian 算子); c. 阈值化结果(Otsu法); d. 本文方法初始样本分割结果;
e. 本文方法网络参数修正后的结果
Fig.5 Examples of leaf sub-images
a. The leaf sub-images; b. Results of edge detection ( Laplacian operator); c. Results of thresholding ( Otsu’s
method); d. Results of our method based on original samples; e. Results of our methods based on adding samples
4352004 傅 弘等:基于人工神经网络的叶脉信息提取——植物活体机器识别研究Ⅰ
图 6 基于新方法的叶图像提取结果
a. 原图; b. 本文方法提取的叶脉图像
Fig.6 Leaf vein extraction results by using our proposed method
a. Original leaf images; b. Vein extraction results
436 21(4)
为了说明本文方法的普遍适用性,我们再将训练好的网络用于分割新对象,即在训练中
没有遇到过的叶子图像,结果如图 6所示。图 6 中 a组为原图,b组为提取的叶脉图像。
与植物学中传统的获取叶脉形态信息的方法——利用氢氧化钠等腐蚀叶肉来制成叶脉标本
(高维衡,1994)相比,本文提取叶脉图像的方法具有以下特点:(1)利用计算机对叶片的
图像进行自动提取,用时少,过程简单,不需要过多的人工参与;(2)特别适用于叶脉
韧性较差,用传统化学方法不易制作叶脉标本的植物叶片,如一些草本植物;(3)处理过
的叶脉信息直接进入图像库,存储或识别使用。
植物的营养体,特别是叶片的变异往往很大,但叶脉的脉型在种内的变化较小(Hickey,
1971)。在识别时采集于不同生境的同种植物(特别注意极端生境)的变异情况,进行种内变异
的统计分析,并利用人工智能的自学习功能,可判别同种的各个标本。本文方法将叶片各级
脉络准确的检测出来,为下一步的识别提供了良好的基础。
参 考 文 献
陈明,1995. 神经网络模型. 大连: 大连理工大学出版社
高维衡,1994 . 制作叶脉标本. 生物学通报,29 (5):2 9
常杰, 陈刚, 葛滢,1995. 植物结构的分形特征及模拟. 杭州: 杭州大学出版社
章毓晋,2001. 图像分割. 北京: 科学出版社
Ash A W, Ellis B, Hickey L J, Johnson K R, Wilf P, Wing S L, 1999. Manual of Leaf Architecture: Morphological
Description and Categorization of Dicotyledonous and Net-Veined Monocotyledonous Angiosperms. Washing-
ton D C: Smithsonian Institution, 26~27
Buyck B, 1999. Taxonomists are an endangered species in Europe. Nature, 401: 321
Chi Z, Yan H, Pham T, 1996. Fuzzy Algorithms: with Applications to Image Processing and Pattern Recognition.
Singapore: World Scientific Publishing, 189~212
Gouveia F, Filipe V, Reis M, Couto C, Bulas-Cruz J, 1997. Biometry: the characterization of chestnut-tree leaves using
computer vision. In: Couto C A, Begun R eds. Proceedings of the IEEE International Symposium on Industrial
Electronics. Guimaraes-Portugal: University of Minho Publishing, 3: 757~760
Hickey L J, 1971. Leaf architectural classification of the angiosperms (abstraction). Amer J Bot, 58: 469
Hickey L J, Taylor D W, 1991. The leaf architecture of Ticodendron and the application of foliar characters in
discerning its relationships. Ann Missouri Bot Gard, 78: 105~130
Moller M F, 1993. A scaled conjugate gradient algorithm for fast supervised learning. Neural Networks, 6: 525~533
Soille P, 2000. Morphological image analysis applied to crop field mapping. Image Vision Comput, 18: 1025~1032
Wang Z, Chi Z, Feng D, Wang Q, 2000. Leaf image retrieval with shape features. Lecture Notes in Computer Science
1929. In: Laurini R ed. Advances in Visual Information Systems. Berlin: Springer-Verlag, 477~487