全 文 ：第 wt卷 第 u期
u s s x年 v 月
林 业 科 学
≥≤Œ∞‘׌„ ≥Œ∂ „∞ ≥Œ‘Œ≤„∞
∂²¯1wt o‘²1u
¤µqou s s x
基于图像理解的树木直径抽取技术
王雪峰 张 超 唐守正
k中国林业科学研究院资源信息研究所 北京 tsss|tl
摘 要 } 介绍由摄像机图像抽取林木直径的方法 !步骤 o将度量误差模型算法应用到参数的求解当中 o提出适合
于林业野外作业的内 !外参数分离策略 o最后对文中算法 !策略进行实际验证 ∀结果表明 }tl从图像中重构林木直
径是可行的 ~ul由度量误差模型算法求解参数是一种很好的算法 ~vl将摄像机 !内外参数分离 o不仅减轻了繁重的
林业野外作业 o同时保证了三维重建精度 ~wl单独考虑摄像机焦距 o增加了实际操作上的灵活性 ∀
关键词 } 林木调查 ~直径量测 ~立体视觉 ~图像理解 ~三维重建
中图分类号 }≥zx{1x 文献标识码 }„ 文章编号 }tsst p zw{{kussxlsu p ssty p sx
收稿日期 }ussv p su p s| ∀
基金项目 }中国林业科学研究院基金kusst p vsl及自然科学基金kvsuztsz|l资助项目 ∀
Α Τεχηνολογψ οφ Γατηερινγ Φορεστ ∆ιαµετερ Βασεδ ον Ιµαγε Υνδερστανδινγ
• ¤±ª ÷∏¨©¨ ±ª «¤±ª≤«¤² פ±ª≥«²∏½«¨ ±ª
k Ρεσεαρχη Ινστιτυτε οφ Φορεστρψ Ρεσουρχε Ινφορµατιον Τεχηνιθυε o ΧΑΦ Βειϕινγtsss|tl
Αβστραχτ } ׫¨ ¤³³µ²¤¦«·«¤·ª¤·«¨µ¶©²µ¨¶·µ¼ §¬¤°¨ ·¨µ¥¼¦¤°¨ µ¤¬°¤ª¨ ¬¶¬±·µ²§∏¦¨§¬± §¨·¤¬¯¤±§·«¨ µ¨µ²µ2¬±2°¨ ¤¶∏µ¨ °²§¨ ¶¯
¤¯ª²µ¬·«°¬¶¶∏¦¦¨¶¶©∏¯¯ ¼ ¤³³¯¬¨§·²·«¨ ³¤µ¤°¨ ·¨µ¶µ¨¶²¯√¬±ªq • «¬¯¨ ·«¨ ¬±±¨ µ³¤µ¤°¨ ·¨µ¶¤±§²∏·¨µ³¤µ¤°¨ ·¨µ¶§¨¦²°³²¶¬±ª°¤2
±¨ ∏√¨ µ·«¤·¬¶©¬··²©²µ¨¶·µ¼©¬¨ §¯º²µ®¬¶³µ²√¬§¨§q׫¨ ¤¯ª²µ¬·«°¤±§°¤±¨ ∏√¨ µ¬±·«¬¶³¤³¨µ¤µ¨ ¬¯¯∏¶·µ¤·¨§©¬±¤¯ ¼¯ q• ¶¨∏¯·¶³µ²√¨ }
tl ׫¨ º¤¼·«¤·µ¨¦²±¶·µ∏¦·¬±ª©²µ¨¶·µ¼§¬¤°¨ ·¨µ©µ²°¦¤°¨ µ¤¬°¤ª¨¶¬¶¤√¤¬¯¤¥¯¨~ul Œ·. ¶¤ª²²§¤¯ª²µ¬·«°·«¤·³¤µ¤°¨ ·¨µ¶¤µ¨ µ¨2
¶²¯√¨ §¥¼ µ¨µ²µ2¬±2°¨ ¤¶∏µ¨ °²§¨ ¶¯¤¯ª²µ¬·«°~vl ⁄¨ ¦²°³²¶¬±ª¦¤°¨ µ¤¬±±¨ µ³¤µ¤°¨ ·¨µ¶¤±§²∏·¨µ³¤µ¤°¨ ·¨µ¶±²·²±¯¼ §¨¦µ¨¤¶¨¶
·«¨ «¨¤√¼©²µ¨¶·µ¼©¬¨ §¯º²µ®¥∏·¤¯¶² ±¨¶∏µ¨¶·«¨ v⁄µ¨¦²±¶·µ∏¦·¬±ª³µ¨¦¬¶¬²±~wl ≤²±¶¬§¨µ¬±ª·«¨ ¦¤°¨ µ¤©²¦∏¶¯¨ ±ª·«¬±§¨ ³¨ ±2
§¨±·¯¼o·«¨ ©¯ ¬¨¬¥¬¯¬·¼ ²©³µ¤¦·¬¦¤¯ ²³¨µ¤·¬²±¬¶¬°³µ²√¨ §q
Κεψ ωορδσ} ©²µ¨¶·¬±√¨ ±·²µ¼~©²µ¨¶·§¬¤°¨ ·¨µ°¨ ¤¶∏µ¬±ª~¶·¨µ¨²√¬¶¬²±~¬°¤ª¨ ∏±§¨µ¶·¤±§¬±ª~v⁄2µ¨¦²±¶·µ∏¦·¬²±
林木直径是林业生产 !科研重要的测树因子之一 o准确 !高效地对林木直径进行测算 o也是林业工作者的
重要研究内容 ∀从目前获取林木直径的途径看 o可分为直接测量和间接测算两大类 o前者简单 !适用性强 o但
需要大量的财力支持 o同时劳动强度大 o效率低 o且获得的信息也比较单一 ∀除直接测量以外的所有其他方
法叫间接测量 o可以说 o到目前为止还没有一种间接办法能取代直接测量 o因此 o寻找一种简单高效的树木测
算方法一直是林业工作者的梦想 ∀
计算机视觉k图像理解l是人工智能的一个分支 o它是在图像处理技术上发展起来的 o却与图像处理有本
质的不同 o直接目的是从图像中获取人们感兴趣的信息 ∀这一高新技术在诸多领域k王雪峰等 ousssl已经得
到很好的应用 o如果将这一技术成功的应用于林业 o不仅能获得更为丰富的信息 o而且还能大大减轻劳动强
度 o节省大量资金 o这必将给森林经理调查带来质的飞跃 ∀本文按着在林业中可能应用的步骤 o给出从图像
抽取 v⁄点信息的具体算法 o并用实例对其验证 ∀
t 算法概述
111 计算摄像机内参数
已知空间点 Ξ
v ≅ t
€ kξ ψζlΤ及对应图像点 υ的齐次坐标 lυΤ € k υ ϖtl o则针孔模型k章毓晋 ousssl可为 }
Ζ¦lυ € Πv≅w
qΞ ktl
其中 }qΞ是空间点 Ξ的齐次表示 oΠ是 v ≅ w的投影矩阵 ∀令 η
v ≅ w
€ t s p υs t p ϖ o将上式两边同乘 η后消除
Ζ¦ o此时ktl变为下面的简单形式 }
ηΠqΞ € s kul
实际上 oΠ是由如下几个矩阵合成的 }
Π € Θv≅v≈ Ρv≅v Σv≅t  kvl
Θ是上三角阵 o代表摄像机内参数 o主要包括一个像素在横 !纵向的物理长度k δξ oδψl o像主点坐标k υs o
ϖsl o扭曲系数等 ~Ρ 是 v ≅ v的旋转矩阵 o在 Ρ 的 |个参数中只有 v个独立参数 o即空间旋转的 v个欧拉角
kΑξ oΑψ oΑζl ~ΣΤ € ≈σξ σψ σζ 是平移向量 ∀ Ρ !Σ的物理意义是将世界坐标系原点带回到摄像机坐标系原点所
需要的外参数 ∀把kvl代入kul式并去掉齐次坐标表示有 }
ηΘ≈ ΡΞ n Σ  € 0 kwl
这是针孔模型的基本方程式 ∀下面对kul或kwl式中参数的求解过程 o叫摄像机定标 ∀
对kul进行矩阵拉直运算 o有 }
kqΞΤ Ä ηlu≅tu Πtu≅t € 0 kxl
Ä 是 Žµ²±¨ ¦®¨µ积 ∀如果已知 ν个样本点k Ξτ oητl o按kxl构造系数矩阵 Α}
ΑΤ
tu≅uν
€ kqΞΤt Ä ηt ,qΞΤν Ä ηνl kyl
此时有 }
ΑΠ_ € s kzl
将kyl式中的 Α分解成 Α
uν ≅ tu
€ qΑ
uν ≅ tt
α
uν ≅ t
oΠ_分解成 Π_ € ≈ lΠ
tt ≅ t
π Τ o则kzl可改写为 }
qΑlΠ € p πα k{l
由kzl式知 o等式两边同乘一不为 s常数 o方程仍然成立 o所以我们可以设 π € t o即 qΑlΠ€ p αo这样kzl的
最小二乘解为 }
lΠ¡ € p kqΑΤqΑlpt qΑΤα k|l
lΠ¡是 lΠ的估计值 ∀
在三维重建过程中 o需要两台或多台摄像机k或一台在两个或多个位置摄像l o如果各摄像机相对位置保
持不变 o则可由投影矩阵直接重建出空间信息 o而不需要了解投影矩阵中各参数的具体含义 ∀很明显 o这对
于林业野外操作是不适用的 o就是说 o需要分解投影矩阵 o只有不限制摄像机外参数才更有实际意义 ∀理论
上 o得到投影矩阵后 o就可以根据正交矩阵性质从中分解出摄像机的内 !外参数 ∀需要注意的是 o尽管在求解
Π时令 π € t o但分解时必须考虑这一常数 ∀这种从投影矩阵分解参数计算方法的最大优点是速度快 o但由
于实际数据误差的存在 o但难保证分解出的旋转矩阵 Ρ 正交 o从而影响最终的重建结果 ∀因此 o仅把这种线
性结果作为初始参数 o然后由度量误差模型k唐守正等 ot||yl直接计算kwl式中参数 ∀这样做由于考虑了所
有约束条件且在求解时直接计算各独立参数 o从而消除了矩阵分解所代来的误差 o提高了参数估计精度 ∀
112 重建前的摄像机外参数求解
把外参数与内参数求解分离且放在重建前来做 o完全是出于对林业实际问题的考虑 ∀我们知道 o如果
lυktl与 lυkul是一对匹配点 o则存在外极线方程k马颂德等 ot||{l }
lυkul ΤΘp Τu ≈σut ξ Ρut Θptt lυktl € s ktsl
Θt !Θu 是摄像机一 !二的内参数矩阵 oΡut !Σut是第二个摄像机相对于第一个摄像机的旋转及平移 o且 + Σut +
€ Λβk基线长l ∀≈ Σut ξ 是向量 Σut的反对称矩阵 ∀外极线方程的最原始作用是用于对匹配点的搜索 o如果已
知匹配点对 o我们将其发展成为对参数的求解 ∀
当已知 ν个匹配点对klυktlι olυkulι l okι € t o, oνl由ktsl式就可解出外参数 ∀容易看出 oktsl式有 x个独
立外参数 o它们是 v个旋转参数k Αutl ou个平移参数k Σut中的 u个l o就是说 o至少要有 x对匹配点才能求出
外参数 ∀实际应用 o所选匹配点数要远大于 x ∀
推广到 κkκ∴ul个匹配点对应同一空间的情况 o此时形成 Χuκ个外极线方程组 o可求出全部外参数 ∀
zt 第 u期 王雪峰等 }基于图像理解的树木直径抽取技术
113 三维重建
获得全部摄像机参数后 o由匹配点重建其对应空间点仅仅是一个简单计算问题 o本文不再给出计算公
式 ∀需要指出的是 o这种计算得到的空间点 o通常是使世界坐标系与某一个摄像机坐标系重合即某一摄像机
坐标系中的点 ∀这对于解决我们的问题已经足够了 o因为我们关心的是树木间的相对位置 ∀文中给出的三
维点是把世界坐标系重合到第一个摄像机坐标系的结果 ∀
u 树木直径抽取实例
为验证上述算法在林业应用中的可行性 o我们对办公楼前的小树林进行摄影 o得到以下 u张图像 o同时
量测基线长度为 w u|| °°∀现在的任务是从这 u张图像中重建树木胸径 ∀需要说明的是 o图 t¤中编号是为
本文的便于说明加进去的 o摄影时并不存在 ∀
图 t 用于三维重建的两张源图
ƒ¬ªqt ׺²¬°¤ª¨¶∏¶¨§·²v⁄µ¨¦²±¶·µ∏¦·¬²±
¤q来自一号摄像机 Œ°¤ª¨ ·¤®¨ §©µ²°·«¨ ‘²qt ¦¤° µ¨¤~¥q来自二号摄像机 Œ°¤ª¨ ·¤®¨ §©µ²°·«¨ ‘²qu ¦¤°¨ µ¤q
211 参数计算
内参数获取是在室内完成的 ∀首先由kul计算 Π并分解出各参数作为初始值 o然后由度量误差模型精
确计算 ∀在由度量误差模型计算过程中 o需要注意 v点 }tl由于图像点对整个系统的影响要大于空间点 o因
此 o假设图像点是有误差的 ~ul在计算中要不断求解 Φk Ξ oυ oχl € s中的 υ o此图像点坐标可由kwl直接计
算 ~vl误差矩阵赋值为 u ≅ u单位阵 o把计算结果中的内参数列于表 t ∀表 t中的外参数是从图 t¤!¥中由人
机交互方式抽取 uu个明显的匹配特征点 o利用度量误差模型解ktxl式得到的 o此时假设匹配点是有误差的 o
误差阵赋 w ≅ w单位阵 o方程 Φk Ξ oυ oχl € s中 Ξ为空 oυ是匹配点 ∀另一值得注意的是焦距因子 o最为简单
的处理办法是保持定标与重建时二者的统一 o这种作法势必对实际摄像造成了一定限制 o所以本文没有采用
这种办法 o而是把焦距单独考虑 o仅在定标时给出 δξ !δψ o在应用中取实际使用焦距 o增加了灵活性 ∀实际
上 o目前的大多数 ≤≤⁄像机在摄影同时 o也记录了所使用的焦距及其他因子 o可以直接从文件中读出 ∀
表 1 摄像机及重构参数表
Ταβ . 1 Τηε χαµερα ανδ ιτσ ρεχονστρυχτινγ παραµετερσ
参数
°¤µ¤° ·¨¨µ
内参数 Œ±±¨ µ³¤µ¤° ·¨¨µ¶ 外参数及焦距 ’∏·¨µ³¤µ¤°¨ ·¨µ¶¤±§©²¦∏¶¯¨ ±ª·«
t号摄像机
‘²qt ¦¤° µ¨¤
u号摄像机
‘²qu ¦¤° µ¨¤
旋转角度 ׫¨ µ²·¤·¬±ª
¤±ª¯ ¶¨ ΑΤut € kΑξut Αψut Αζutl
平移向量 ׫¨ ¶«¬©·
√ ¦¨·²µ ΣΤut € kσξut σψut σζutl
δξ s1ssv {y{ s1ssv {vu Αξut s1sts z{| σξut s1z{w w{z
δψ s1ssv {zt s1ssv {vv Αψut s1ut| yxu σψut p s1svt ww|
υs |yu1wu| wzv t sy{1sy| sty Αζut p s1swu yxt σζut p s1yt| vwz
ϖs zzx1st{ yxw zxu1utz xwt φ p¯ tu1z φ pµ |1z
≠此内参数针对 u sw{ ≅ t xvy图像 ~外参数是从图 t¤!¥中抽取明显特征点后由 t1u中ktxl计算得到 ~焦距是从图像信息中直接读取到的 ~
单位 }δξ !δψ !φ p¯ !φpµ为 °° oυs !ϖs 为像素 o旋转角度是弧度 ∀ ׫¨ ¬±±¨ µ³¤µ¤° ·¨¨µ¶¬¶·²u sw{ ≅ t xvy¬°¤ª¨ ~׫¨ ²∏·¨µ³¤µ¤°¨ ·¨µ¶¤µ¨ ¦¤¯¦∏¯¤·¨§¥¼
©²µ°∏¯¤tx ¬± t1u º¬·«·«¨ ©¤¦·²µ³²¬±·¶º«¬¦«¤µ¨ §¬¶·µ¤¦·¨§©µ²°·«¨ ¬°¤ª¨ ¤¤±§¬°¤ª¨ ¥~׫¨ ©²¦∏¶¯¨ ±ª·«¤µ¨ ©µ²°·«¨ ¬°¤ª¨ ¬±©²µ°¤·¬²± §¬µ¨¦·¯¼~˜±¬·} δξ !
δψ !φ p¯!φ pµº¬·« °° o υs !ϖs º¬·«³¬¬¨¯ ±∏°¥¨µo·«¨ µ²·¤·¬±ª¤±ª¯¨ º¬·«µ¤§¬¤±q
{t 林 业 科 学 wt卷
212 三维重建
图像特征点匹配是重建中最为关键的问题之一 ∀直接用野外获取的树木图像匹配是困难的 o这一方面
是由于问题本身存在难度 o另一方面是由于处于自然背景中的树木图像复杂且含有大量的噪声 o因此 o对原
始图像预处理是必要的 ∀本试验中 o分别用一阶梯度算子 !二阶微分算子以及 ≥∏¶¤±算子进行树干边缘检测
实验 ∀结果表明 o对于树干阶跃型的边缘 o≤¤±±¼算子不但能很好地检测出树干的边缘强度 o而且能够检测
出树干边缘的方向 ∀对于不同背景下的树干 o可以通过改变 ≤¤±±¼算子的标准差 Ρo来获得最佳的树干的边
缘 ∀图 u是取 Ρ € t时的 ≤¤±±¼检测后图像 ∀
图 u 经过 ≤¤±±¼检测后的树木图像
ƒ¬ªqu ׫¨ ·µ¨¨¬°¤ª¨ ¤©·¨µ§¨·¨¦·¥¼ ≤¤±±¼
利用经过去噪 !≤¤±±¼检测的树木图像 o在左图像中用鼠标给出胸径位置 o由程序自动找出 u个边缘点 o
然后计算两个边缘点的外极线 o最后在外极线上下各 tx个象素点的窄条带内 o搜索灰度最相关的点 o这个点
即为左图像点的匹配点 o整理成表 u ∀这种在右图像中外极线经过的窄条带内寻找匹配点的作法 o不仅大大
减少了搜索范围 o更重要的是降低了误匹配的可能性 ∀
表 2 匹配的图像点坐标
Ταβ . 2 Τηε µατχηεδ ιµ αγε ποιντσ χοορδινατεσ
树号
×µ¨¨
±∏°¥¨µ
胸径部位左侧图像点坐标k°¬¬¨ l¯
׫¨ ¯¨ ©·¬°¤ª¨ ³²¬±·¦²²µ§¬±¤·¨¶²© ⁄…‹
胸径部位右侧图像点坐标k°¬¬¨ l¯
׫¨ µ¬ª«·¬°¤ª¨ ³²¬±·¦²²µ§¬±¤·¨¶²© ⁄…‹
左图像
׫¨ ¯¨©·¬°¤ª¨
右图像
׫¨ µ¬ª«·¬°¤ª¨
左图像
׫¨ ¯¨©·¬°¤ª¨
右图像
׫¨ µ¬ª«·¬°¤ª¨
υt¯ ϖt¯ υu¯ ϖu¯ υtµ ϖtµ υuµ ϖuµ
t t tv| t syu t ztw {x| t uty t syv t z|w {ys
u xxs t sw{ {|v {yw ysy t sxs |w| {yw
v wux t svs yxw {xs wzw t svu zsw {xs
w xv t stx twt {wx {{ t stx tzz {wx
x {uz t swz |yv {xz {yy t swz ||| {xz
y zzw tswy {vu {x{ {sx t swy {yu {x{
z t vty t sw{ t vuv {wx t vwz t sw| t vw| {wx
{ t uzs t sww t usu {wv t u|{ t sww t uuz {wv
| t {ww t sw{ t {u| {vt t {|z t sw{ t {z{ {vt
ts t yyx t sxs t xvu {ws t y{x t sxt t xw| {ws
tt |uu ||t zss {s| |y{ ||s zws {s|
至此我们具备了重构空间点的全部信息 o由kt|l容易计算胸径部位左 !右点在摄像机坐标系中的三维坐
标 o进一步计算两点间欧式距离得到胸径见表 v ∀
|t 第 u期 王雪峰等 }基于图像理解的树木直径抽取技术
表 3 重建胸径与实测胸径比较表
Ταβ . 3 Χοµ παρινγ ταβλε οφ τηε ρεχονστρυχτεδ ∆ΒΗ ωιτη τηε πραχτιχαλ µεασυρεδ ∆ΒΗ
树号
×µ¨¨‘²q
实测胸径
׫¨ ³µ¤¦·¬¦¤¯ ° ¤¨¶∏µ¨§⁄…‹k ∆Π¦°l
重建胸径k ∆µl
׫¨ µ¨¦²±¶·µ∏¦·¨§⁄…‹k ∆µΠ¦°l
¿∆µp ∆¿Π¦° k¿∆µp ∆¿Π∆l ≅ tss h Πh
t uu1wss uu1yxt s1uxt t1tut
u t|1wss t|1zy{ s1vy{ t1{|w
v t|1wss t|1xsy s1tsy s1xwy
w tx1{ss ty1wvw s1yvw w1stu
x tz1vss tz1{|| s1x|| v1wyt
y ty1vss ty1vzv s1szu s1wwx
z tx1|ss ty1wzw s1xzw v1ys|
{ ty1zss ty1zxv s1sxv s1vty
| uw1zss uw1|tx s1utx s1{zs
ts ts1yss tt1yxu t1sxu |1|uv
tt wy1vss w{1s{t t1z{t v1{wz
由表 v可知 ots号树相对误差最大为 |1| h o这主要是由于匹配误差造成的 o从图 t¤也容易看出 ots号
树胸径部位边缘不很清晰 ∀除此之外 o其他相对误差均在 x h以下 ∀最小相对误差为 s1v h o平均相对误差
是 u1z h o结果还是令人满意的 ∀
v 结论及讨论
本文给出了如何从图像出发抽取树木直径的算法 !步骤 o同时也给出了一个实例 ∀结果表明 }tl从图像
出发抽取树木胸径是可行的 ∀本文是以胸径为例 o实际上 o如果我们能得到树木上任意直径部位的匹配图
像 o则得到该处直径与胸径没有任何区别 ~ul本文在参数求解时均采用了统计学中较新的研究成果 ) ) ) 度量
误差模型算法 o并得到了很好的结果 ~vl本文采用了内 !外参数分离 !不固定焦距的做法 o使实际操作更加容
易 o实例结果也表明了这种策略的可行性 ∀
本文在确定匹配点时采用了人机交互方式 o如何完全由机器来做或尽可能减少人的参与 o寻找更好的算
法是一个值得研究的问题 ~另外 o如何处理遮挡也是需要解决的问题 ∀
参 考 文 献
马颂德 o张正友著 qt||{ q计算机视觉 q北京 }科学出版社 ot||{ oxu p zt
唐守正 o李 勇 qt||y q一种多元非线性度量误差模型的参数估计及算法 q生物数学学报 ottktl }uv p uz
王雪峰 o唐守正 qusss q图像检测技术的发展趋势及在林业中的应用前景 q见 }刘世洪 o周义桃主编 q农业信息技术的世纪回顾与展望 q北京 }中国
农业科技出版社 owuz p wvt
章毓晋编著 qusss q图像理解与计算机视觉 q北京 }清华大学出版社 oux p wy
su 林 业 科 学 wt卷