全 文 ：收稿日期: 20030714
基金项目: 国家自然基金资助项目( 30271079)的部分研究内容
作者简介: 张超( 1972 ) ,男,河北定兴人,博士生.
林业科学研究 2004, 17( 5) : 564~ 569
Forest Research
文章编号: 10011498( 2004) 05056406
立体视觉技术应用于林木个体分布
格局测定研究
张 超1, 王雪峰2, 唐守正2
( 1 国家农业信息化工程技术研究中心,北京 100089; 2 中国林业科学研究院资源信息研究所,北京 100091)
摘要: 详细介绍了应用立体视觉技术由立体像对测定林木个体分布空间格局的方法、步骤, 探索了适
合林业环境下的立体视觉实现的技术路线。摄像机标定采用基于非线性度量误差模型的摄像机标定
方案; 图像匹配采用外极线和 Canny算子检测出的树干边缘约束下的人机交互式的相关匹配。最后
通过实验对文中算法、策略进行了验证。结果表明, 在实验条件下, 应用立体视觉测定林木个体分布
格局可以达到精度要求。
关键词: 空间结构;林木个体分布空间格局;立体视觉; 图像匹配
中图分类号: S7585+ 3 文献标识码: A
空间结构对于描述林分及其状态的改变有特别重要的意义。空间结构决定了林分中光和
温度的分布以及气体运动,对林木的生长和稳定性以及经营的可能性等都产生十分重要的影
响。按森林资源清查和森林经理的观点,混交度、大小分化度和林木分布格局完全可以恰当地
表征一个林分的空间结构。林木位置的分布空间格局,可以分为随机、均匀和集群 3种。确定
分布格局的方法大致可分为样方法、距离法和二阶法[ 1, 2]。这些方法具有花费昂贵, 劳动强度
大等缺点。针对这一问题,提出了用立体视觉技术测定林木个体分布格局。
1 立体视觉及其应用与研究现状
从两个或多个视点去观察同一场景,获得在不同视角下的一组图像,然后通过三角测量原
理获得不同图像中对应像素间的视差, 并进而推断场景中目标物体的空间位置,这种方法称为
立体视觉( Stereo Vision)。把立体视觉应用于遥感图像分析,医学图像处理,工业检测, 智能机
器人,身份验证(包括指纹、手形、眼底验证和人脸识别)与军事等方面,已取得令人满意的研究
成果[ 3]。在农林业领域立体视觉也有了一些初步的研究和应用, 主要体现在: ( 1)农产品的品
质检测; ( 2)收获机器人; ( 3)精细农业; ( 4)生物生长状态的监控技术[ 4] ; ( 5)木材的木质构造和
形状研究; ( 6)基于计算机视觉的树木造型和真实感绘制[ 5] ; ( 7)基于计算机视觉的根系分析与
年轮分析; ( 8)基于摄影测量技术的森林调查[ 6]等。但立体视觉在农林业领域的应用和研究远
不如在军事、机器人、汽车工业和医学等行业那么深入和广泛。
2 立体视觉技术应用于林木个体分布格局测定步骤
图 1 立体视觉技术应用于林木个体
分布格局测定技术路线图
用普通光学摄像机或数码摄像机从两个(或多
个)视点拍摄同一背景下的若干林木, 以获取在不同
视角下的林木图像, 只是用普通光学摄像机获取的
图像还要通过扫描仪扫描输入计算机,通过图像分
析计算立体像对图像象素间的位置偏差(即视差) ,
进而通过三维重建获取立木上特征点的实际三维信
息,进一步计算林木个体分布格局。立体视觉技术
应用于林木个体分布格局测定具体过程可分为图像
获取、摄像机标定、特征提取、立体匹配、深度确定及
林木个体分布格局测定等 6步, 如图 1所示。
21 图像获取
本实验图像获取是在中国林业科学研究院内的
树林中,用两个相同型号的FUJIFILM FinePix6900Zoom数码相机同时拍照,图像大小为 2 048
1 536。这样保证了在相同外界条件下获取图像对,减小了由于时间、光照条件、天气状况对两
幅图像影响的差别。
22 摄像机标定
图像上的一点 p,为摄像机光心O与空间一点 P 的连线 OP 与图像平面的交点, 这种关系
就是针孔模型。在这种对应关系下,地理坐标系表示的 P 点坐标( X, Y, Z)与其在图像平面投
影点 p的图像坐标( u , v )的关系如公式(1)所示[ 3] , 其中 f 是焦距, dx、dy 是图像像素在横、纵
向的物理长度; ( u0, v0)是像主点坐标, R 是 3 3的旋转矩阵, R= R ( ) = R ( , , ) , , ,
为确定 R的 3个独立的欧拉角, s 为平移向量, Z c为空间点 P 在摄像机坐标系下坐标的第三
分量。
Zc
u
v
1
=
f
dx
0 u0 0
0
f
dy
v 0 0
0 0 1 0
R s
0T 1
X
Y
Z
1
(1)
摄像机标定的目的是确定摄像机的图像坐标系与地理坐标系之间的对应关系。摄像机标
定需要确定内参数(摄像机的固有参数) f , dx , dy , u0, v0 和外参数(摄像机坐标系相对地理坐
标系的旋转 R 和平移 s )。在本次实验的标定过程中,采用基于非线性度量误差模型的摄像机
标定方案, 即:首先由最小二乘法计算投影矩阵, 然后从投影矩阵中分解出参数作为进一步计
算的初始值,最后考虑投影矩阵中约束条件及图像坐标的误差结构由非线性度量误差模型优
化摄像机参数。标定结果如表 1所示。表 1中的外参数为两台摄像机分别标定确定的 R1、平
移 s1和 R2、s2,计算出两台摄像机的相对旋转矩阵 R 21和平移向量 s 21, 根据 R 21分解出三个欧
拉角 21, 21, 21。
565第 5 期 张超等:立体视觉技术应用于林木个体分布格局测定研究
表 1 摄像机内参数及外参数
内参数
参数 一号摄像机 二号摄像机
外参数
旋转 平移
dx 0003 868 0003 832 21 0010 789 sx21 0784 487
dy 0003 871 0003 833 21 0219 652 sy21 - 0031 449
u0 962429 1 068069 21 - 0042 651 sz21 - 0619 347
v 0 775019 752218
f 127 97
23 特征提取
特征提取是得到赖以进行匹配的图像中林木上的特征。在应用立体视觉测定林木个体分
布格局中,特征提取过程就是从立体像对提取匹配基元的过程。由于实际拍摄的图像中不可
避免地存在光度学和几何学的畸变,所以选择匹配基元时要考虑基元的稳定性和敏感性。针
对林木个体分布格局测定的具体问题, 主要特征为点特征和边缘特征。点特征主要指明显点,
如角点、树皮纹理线的交点、树枝的稍部等。提取点特征的算子常用的有 Moravec 算子、
Forstner算子、形态学确定拐点方法。本文采用 Forstner 算子。边缘特征主要指的是树干的边
缘。对于边缘提取的算法有Roberts算子、Prewitt算子、Sobel算子、Krisch算子、LoG算子, Canny
算子, SUSAN算子、细化和鲁棒的零交叉边界抽取技术和基于形态学的边缘检测。其中在立
体视觉中用的最为广泛的是LoG算子和 Canny 算子,本文采用最优边缘检测算子 Canny算
子, Canny算子不但能检测出边缘的位置, 同时还能检测出边缘的方向,这非常有利于图像匹
配[ 7]。
24 图像匹配
图像匹配是寻求同一空间景物在不同视点下投景图像的对应点间的一一对应关系。与普
通的图像模板匹配不同, 立体匹配是在两幅存在视点差异 、几何、灰度畸变和噪声干扰的图像
间进行的,这无疑是十分困难的。根据林业环境下图像的特点, 本文提出的外极线约束和边缘
约束下的人机交互式的相关匹配策略。
241 基于区域的相关匹配 在计算机视觉和数字摄影测量领域, 广泛应用的图像匹配是基
于区域的相关匹配。在基于区域的立体匹配算法中, 给定左图像中的一个点后在右图像中是
根据邻域的相似性来寻找其对应点的。邻域又称为窗口, 窗口通常以检测点为中心。在已提
出的许多种相似性量测函数中,左、右窗口中灰度矩阵的相关函数最常用[ 8]。如窗口是 m n
的矩形。设,左、右窗口中第 i行、第 j 列象素的灰度分别为IL ( i , j )和 IR ( i , j ) , 则相关函数测
度 C 可定义为:
C =
!2LR
!2L + !2R (2)
其中 !2L 和!2R 分别左、右窗口中灰度的方差。
!2K = !n
j= 1
!m
i= 1
[ IK ( i , j ) - ∀K] 2/ ( m ∀ n) (3)
K = L 或R ,其中 ∀K 是有关窗口中灰度的均值, !2LR是 IL ( i , j )和 IR ( i , j )的协方差, !2LR表示为:
!2LR = !n
j= 1
!m
i= 1
IL ( i , j ) - ∀L IR( i , j ) - ∀R / ( m ∀ n) (4)
566 林 业 科 学 研 究 第17卷
242 外极线约束 在已知摄像机内外参数的情况下,已知坐图像一特征点的图像坐标 u ( 1)
( u 为图像点的齐次坐标, uT= ( u v 1) ) ,通过外极线方程在右图像上可以确定通过 u ( 1)的
匹配点 u ( 2)的外极线,外极线方程如公式( 5)所示[ 9]。
u (2)T#- T2 [ s21] R 21#- 11 u ( 1) = 0 ( 5)
其中 #1、#2 是摄像机一、二的内参数矩阵, R 21、s21是第二个摄像机相对于第一个摄像机的
旋转及平移,且 #s21 #= Lb (基线长)。[ s21] 是向量 s21的反对称矩阵。外极线约束是图像匹
配中最重要的约束, 外极线方程使匹配点的搜索从二维变成了一维, 不但减小了匹配点的搜索
范围,而且提高了匹配精度。但是对于外业采集的实际图像对, 由于噪声的存在使匹配点位于
离外极线很近的条带,不一定准确在外极线上。
243 双重约束下的人机交互式的相关匹配
对于人机交互式的特征相关匹配策略,首先
用Canny 算子对左右两幅图像做边缘检测,保
存边缘的位置和方向信息。然后人为给定特
征点初始值,左右图像上初始点都选在树干的
边缘上, 这样匹配点搜索时增加树干边缘约
束。左侧图像在给定点周围的一定范围内搜
索特征点,根据此特征点确定相应右图像上的
外极线,同时右侧图像以人为给定点为初值在
一定范围内搜索,搜索点满足距外极线< 3(单
位:象素)条件下,当左侧特征点为中心的图像
矩阵和右侧搜索点为中心的图像矩阵相关系
数达到最大时的点为相应的匹配点。相关匹
表 2 匹配点图像坐标
树号 左图像
u1 v1
右图像
u 2 v 2
1 1 139 1 062 1 714 859
2 550 1 048 893 864
3 425 1 030 654 850
4 53 1 015 141 845
5 827 1 047 963 857
6 774 1 046 832 858
7 1 316 1 048 1 323 845
8 1 270 1 044 1 202 843
9 1 844 1 048 1 829 831
10 1 665 1 050 1 532 840
11 922 991 700 809
配的具体过程如图 2所示, 特征点匹配结果如表2所示,其中( u i , v i )为图像坐标, i= 1, 2。
25 林木上特征点三维重建及树木个体分布空间格局确定
当通过立体匹配得到匹配点对后, 利用针孔摄像机模型以及摄像机标定得到的内、外参
数,计算出每木树干上特征点的三维坐标。根据已计算的树木三维信息,进一步计算林木个体
分布空间格局。
3 实验结果与分析
为了验证应用立体视觉技术测定林木个体分布格局的可行性, 首先用高精度的 GTS-
602AF 型TOPCON全站仪量测了待测林木的点位坐标,以此为依据验证立体视觉技术测定结
果的准确性。本次实验, 两台摄像机间的基线长度为 4299 m,用全站仪测定的树木点位坐标
和用立体视觉测定的树木点位坐标如表 3所示。
分析表 3数据可知,用立体视觉技术测得的林木点位和全站仪测得的相应林木点位水平
相距最大为11号树 106 m,其次为 4号树 0743 m,平均为 0273 m。除了4号树和 11号树之
外, 最大相距为 0207 m, 平均为0133m。考虑到用全站仪测定林木点位时测的是每木的中心
位置,而用立体视觉技术量测的是每木的左侧边缘位置。所以说,其余9棵树用立体视觉技术
确定个体分布格局都能满足精度要求。由于 4号树树干图像前面由黄杨( Buxus sp. )遮挡造成
567第 5 期 张超等:立体视觉技术应用于林木个体分布格局测定研究
匹配不准,而11号树由于距摄像机很远,大约 25m,造成树木点位确定不准确。对于摄像机有
效景深问题还有待于进一步研究。根据以上实验得到的树木点位坐标数据, 可以绘出林木个
体分布格局图, 同时和全站仪测定的林木个体分布格局图对照, 如图 3所示。
图 2 双重约束下的人机交互式的相关匹配流程图
表 3 两种方法结果对照
树号 全站仪测定的树木坐标
X /m Y /m Z /m
立体视觉技术测定的树木坐标
X / m Y /m Z/ m
1 0058 17 0048 22 1245 96 0121 306 0171 095 1148 321
2 0689 57 2776 67 1301 66 0718 815 2891 705 1202 217
3 1668 7 4200 05 1381 59 1669 15 4317 73 1276 66
4 3335 8 8167 9 1492 89 2777 463 7676 731 1380 857
5 4040 3 3865 96 1290 67 4033 413 3991 586 1190 199
6 5487 8 5228 4 1295 37 5585 77 5398 665 1194 536
7 708 2918 06 1258 08 7071 741 3012 377 1160 543
8 9213 8 4294 61 1280 8 9256 484 4391 077 1179 483
9 6974 1 0055 09 1239 64 7067 785 0239 745 1143 934
10 10573 4 2342 12 1214 32 10487 99 2389 78 1119 817
11 19549 4 13339 5 1608 59 20330 82 14055 29 1730 145
568 林 业 科 学 研 究 第17卷
图 3 树木点位对照图
通过以上对比结果分析, 在实验条
件下, 应用立体视觉技术测定林木个体
分布格局不但可以满足应用的精度要
求,并且可以减轻劳动强度,使林木个体
分布格局工作更趋于自动化以及减少林
木个体分布格局测定过程中人对环境的
破坏。此外, 对于图像匹配和遮挡等技
术环节还有待于做进一步的改善,真正
进入林区测定林木个体分布格局还有很
长的路要走。
参考文献:
[ 1] 惠刚盈,克劳斯.冯佳多.德国现代森林经营技术[M ] .北京:中国科学出版社, 2001
[ 2] 雷相东,唐守正.林分结构多样性指标研究综述[ J] .林业科学, 2002, 38( 3) : 140~ 146
[ 3] 王天珍.计算机视觉研究进展[ J] .武汉汽车工业大学学报, 1999, 20( 1) : 23~ 27
[ 4] 应义斌,傅宾忠,蒋亦元,等.机器视觉技术在农业生产自动化中的应用[ J] .农业工程学报, 1999, 15( 3) : 199~ 203
[ 5] 严涛,吴恩华.基于多幅图像的树木造型方法[ J] .系统仿真学报, 2000, 12 (5) : 565~ 571
[ 6] 冯仲科,殷嘉俭,贾建华,等.数字近景摄影测量用于森林固定样地测树的研究[ J] .北京林业大学学报, 2001, 23(5) : 15~ 18
[ 7] Humberto Loaiza, Jean Triboulet , Sylvie Lelandais, et al. .Matching segments in stereoscopic vision[ J] . IEEE Instrumentation& Measure
ment Magazine, 2001, 3: 37~ 42
[ 8] Jun M A,Shaohan M A. An eff icient parallel graph edge matching algorithm and it s applications[ J] . J Comput Sci & Technol, 1999, 14
(2) : 153~ 158
[ 9] 马颂德,张正友.计算机视觉[M ] .北京:科学出版社, 1998
Research on the Application of Stereo Vision Technology on
Measuring Tree Distribution Pattern
ZHANG Chao1, WANG Xuef eng 2, TANG Shouzheng2
( 1National Engineering Research Center for Information Technology in Agriculture, Beijing 100089, China;
2Research Inst itute of Forest Resource InformationTechniques, CAF, Beijing 100091, China)
Abstract: The approach of applying stereo vision technology on measuring distribution of tree with stereo image
couple was introduced in detail and the procedure of stereo vision which fit for forestry environment was ex
plored. The camera calibration based on nonlinear error in measuremodel was adopted and the interactive corre
lation matching constrained by epipolar line and edge of tree detected by Canny operator was used. The algorithm
and maneuver in this paper were illustrated. Results proved that application of stereo vision technology on mea
suring distribution of tree could meet precision need in experimental conditions.
Key words:spatial structure; distribution of tree positions; stereo vision; image matching
569第 5 期 张超等:立体视觉技术应用于林木个体分布格局测定研究