利用Ladybug3全景系统相机测量物方空间点的三维坐标

高宇

广州南方测绘仪器有限公司

广东广州510665

【摘要】论文从Ladybug3结构出发，研究全景相机的检校方法和物方点三维坐标的测量。Ladybug3全景视觉系统是全景技术应用的一个实例。由于它由六个鱼眼镜头组成，分别分布在侧面和顶部，能够用最少的相机得到更大的视场，可覆盖到整个全景360球面图像的75%以上。

鱼眼镜头相机属于非量测相机，视场角较大（能够达到180度以上），每张照片包含的信息量大，且厂商一般不提供内方位元素和镜头畸变系数。鱼眼镜头的投影模型不是人们习惯的透视投影，而是球面投影。对于透视投影模型及此类相机的标定，国内外已经进行了大量的研究。但对鱼眼镜头标定的研究相对较少，因此找出一种高精度标定鱼眼镜头的方法是十分必要的。

正确标定Ladybug3全景视觉系统后，利用全景三维控制场，可以获取每个相机的外方位元素，探讨了仅有少量控制点情况下的全景物方点坐标解算方法。【关键词】：相机标定；全景视觉系统；鱼眼镜头；坐标

中图分类号：TB852文献标识码：A文章编号：

Abstract:ThispaperbasedLadybug3structure,thestudyofthepanoramiccameracalibrationmethodandmeasurement.Ladybug3panoramicvisionsystemispanoramictechnologycontentpartypoint3dcoordinatecoordinatemeasurement.top,canwithapplicationaexample.Becauseitbysixfisheyelenscomposition,distributedinsideandonthethetop,theleastamountofcameragetmoreview,cancovertheentirespherepanorama360morethan75%ofthe(canreach180image.Fisheyelenscamerabelongstothemeasurementcamera,theviewAngleisbiggerbigger(candegreesabove),eachpicturecontainslargeamountofinformation,andgenerallydonotprovidemanufacturersazimuthelementandlensdistortioncoefficient.Fisheyelensofprojectionmodelisnotthepeopletheinsideinsideazimuthprojectionmodelandsuchcamerausedtoperspectiveprojection,butsphericalprojection.Forperspectiveperspectiveprojectioncalibration,domesticandforeignhasdoneagreatdealofresearch.Butforfisheyelenscalibrationresearchoppositeless,sofindahighprecisioncalibrationfisheyelensmethodisverynecessary.RightLadybug3panoramicvisioncalibrationsystem,withitspanoramic3dcontrolfield,canobtaineachcameraaforeigncontrolpointsunderthecircumstanceofonlyawholescenerypartypointcoordinateselement,discussesthethecontrolthesolutionmethod.

cameracalibration;Panoramicvisionsystem;Fisheyelens;coordinatesKeywords:Thewords:Thecamera

一、引言

全景技术是以近景摄影测量原理为基本原理发展起来的一种视觉新技术，是目前全球范围内迅速发展并逐步流行的一门技术。Ladybug3是PointGrey公司最近推出的360度高性能全景视觉系统，系统采用6台鱼眼镜头相机组合，5台分布在侧面，1台在顶部，可以得到整个全景360球面图像的75%以上。该系统可以得到单台相机的图像，也能够将多台相机采集的图像组合成一幅数字全景图像，实时完成图像采集、处理、拼接和校正等工作。

相机参数的标定是计算机视觉工业测量系统的关键组成技术之一，参数的标定精度将直接影响到测量结果。将像机的内方位元素和镜头光学畸变系数统称为像机的内部参数，外方位元素称为外部参数。全景相机属于非量测用摄影机，一般不会提供内方位元素，光学畸变大，并且不具备记载外部定向参数的功能。鱼眼镜头成像不同于一般的透视投影成像，其投影面是一个近似球状的曲面，光学畸变较大，进行精确的标定是必不可少的。本文将采用王保丰（2007）提出的“两步法”标定鱼眼镜头的内部参数，并且进一步研究，在只知道少量控制点的情况下，利用Ladybug3全景视觉系统量测未知物方点坐标的方法。

二、全景相机标定

2.1鱼眼镜头

鱼眼镜头作为全景视觉系统的重要组成部分，它是一个半球形或鱼眼形的镜头，可能是覆盖一个广泛的视野的最佳图像采集工具。使用鱼眼镜头能获得超过180°视场角图像。由于宽广的视场角，它已被用于许多领域，如林业、植被覆盖的研究、测绘中制作GPS任务的地点障碍图表。然而，只有少数刊物发表了关于这种镜头类型的摄影测量，鱼眼镜头图像的主要限制在于不能使用传统的数字摄影测量理论。

鱼眼镜头和普通直线镜头的根本区别在于，鱼眼相机的成像平面是近似于球状的曲面。根据不同的光线偏移量，式2.1给出了四种不同类型的投影公式：1）极投影（等距离投影）：r=2）正投影：r=Rsinθ）3）体视投影：r=2R⋅sin(θ)（2.12.1）

22

2Rθπ4）等立体角投影：r=R⋅tan(θ)2

其中：θ是视场角，R是球面半径，r是光学系统的理想像高。2.2鱼眼镜头的标定过程

所谓“两步法”标定鱼眼镜头，即先把鱼眼图像转化为透视投影图像，然后再采用试验场标定法，对相

机内参数uo，vo，R,k1，k2，k3，p1，p2进行标定。具体步骤如下：

（1）空间直线经球面投影后，变为U'V'平面上半长轴为R的椭圆弧。我们先标定镜头图像的光学中心坐标（uo，vo)和R，把鱼眼镜头转化为透视投影图像。在鱼眼图像中确定一条代表实际直线的椭圆弧，在其上找若干点（至少6个），测出坐标(xi，yi)，ui为点在图像矩阵中所在的行数(相当于横坐标)，vi为列数(相当于纵坐标)。用最小二乘法确定这些点所在椭圆方程：

Ax2+2Bxy+Cy2+Dx+Ey+F=0

）（2.22.2）

用下式计算像主点坐标（uo，vo）和投影球面的R：

uo=

CD−BE,AE−BDvo=2

2(B−AC)2(B2−AC)

A+C+(A-C)2+4B2（2.3CD2-2BDE+AE2）2.3）R=(+F)⋅22

4(B-AC)2(B-AC)

通过上述过程可以计算得到uo，vo和R的初始值，并结合灰度双线性插值的方法，可以把图像纠正为透视投影图像。

(2)利用得到的uo，vo和R将鱼眼镜头的球面投影图像转变为透视投影图像，然后采用验场标定方法可以对相机的内参数uo，vo，R,k1，k2，k3，p1，p2进行精确的标定,此时就不需要考虑鱼眼镜头的成像模型，而是利用附有畸变的透视投影模型。利用新求得的uo，vo和R重新将鱼眼镜头的球面投影图像转变为透视投影图像，用实验场标定方法再次对相机的内参数uo，vo，R,k1，k2，k3，p1，p2进行精确的标定。重复上述过程，直到相邻两次计算得到的内参数互差小于设定阈值e停止计算。此时计算得到的uo，

vo，R,k1，k2，k3，p1，p2即是精确的相机内参数。三、未知点坐标求解

3.1相机像空间坐标转换

3.1.1三维全景控制场标定相机外参数

内方位元素表示摄影中心与像片之间相关位置：外方位元素表示摄影中心和像片在地面坐标系中的位置和姿态。相机拍摄照片过程中位置的改变，其外方位元素也随之改变。但Ladybug3全景视觉系

统的六个相机之间的相对位置是固定的，即六个相机之间的转换参数是固定不变的。这些相机之间的位置的转换参数，包括三个平移参数和三个旋转参数可以在全景三维控制场进行测定。

图3.1Ladybug3全景视觉系统相机坐标

如图3.1所示，六台相机固定在长度一定的基线上，其中坐标系O0-X0Y0Z0，O1-X1Y1Z1，O2-X2Y2Z2，

O3-X3Y3Z3，O4-X4Y4Z4和O5-X5Y5Z5分别为基线上相机0、1、2、3、4、5的像空间坐标系。在视觉系统

的测量过程中，可以将头顶的相机5的像空间坐标系O5-X5Y5Z5作为测量坐标系。我们可以精确计算相机0、

1、2、3、4的像空间坐标系相对于相机5的像空间坐标系O5-X5Y5Z5的转换参数（Xi5,Yi5,Zi5,ϕi5,ωi5,κi5)

=0,1,2,3,4,5。

在实验室内建立全景三维控制场，六台相机同时对标定场进行拍摄，如图3.2所示。在进行相关外参数标定之前，每个相机的内参数已精确标定，这样可避免相机内外参数同时标定产生解的相关。

图3.2全景三维控制场

以相机1为例，得到的误差方程式为：

⎡XS1

⎢Y⎢S1⎤⎢ZS1⎥⎢ϕ⎦⎢1⎢ω1⎢⎢⎣κ1

⎤

⎥⎥⎥⎡x−(x)⎤⎥−⎢⎥⎥⎣y−(y)⎦⎥⎥⎥⎦

）（3.13.1）

⎡v⎢v⎣

x

y⎤⎡a11a12a13a14a15a16⎥=⎢

⎣a21a22a23a24a25a26⎦

用矩阵方程表示上式为：法程为：

）ˆ−lATPAX=ATPL（3.23.2）V=Bx式中P为像点观测值的权矩阵，表示观测值量测的相对精度。对所有像点的量测，一般认为是等精度量测，则P为单位矩阵，因此，未知数的解向量为：）3.3）X=(ATA)-1ATL（3.3

（Xi,Yi,Zi,ϕi,ωi,κi)=0,1,2,3,4,5。由上述平差过程，可以求得各个相机在三维控制场中的外方位元素i

从而可以求得各个相机相对于相机5的旋转参数和平移参数（Xi5,Yi5,Zi5,ϕi5,ωi5,κi5)i=0,1,2,3,4,5。

3.1.2各相机相对于相机5的转换参数

以相机5和相机1为例，通过式3.2组建的误差方程，可以迭代求解出相机5和相机1相对于控制场所在坐标系之间的转换参数

（X5,Y5,Z5,ϕ5,ω5,κ5)和（X1,Y1,Z1,ϕ1,ω1,κ1)，可以计算得到摄站1相对于摄

（X05,Y05,Z05,ϕ05,ω05,κ05)。表达式如下：站5的外参数

⎡X05⎤⎡X5-X0⎤⎡r11r12

⎢Y⎥=N⎢Y-Y⎥N=⎢r⎢05⎥⎢50⎥⎢21r22⎢⎢⎢⎣Z05⎥⎦⎣Z5-Z0⎥⎦⎣r31r32

r13⎤

）3.4）−1（3.4r23⎥=NN05⎥

r33⎥⎦

其中：

⎡coskcosϕ−sinωsinϕsinκNi=⎢cosωsinκ⎢

⎢⎣sinϕcosκ+sinϕsinκcosϕ−sinκcosϕ−sinϕsinωcosκcosωsinκ−sinϕsinκ+sinϕcosκcosϕ−sinϕcosω⎤

i=0,1,2,3,4,5

−sinω⎥⎥cosωcosϕ⎥⎦

N是（ϕ，ω，κ）的函数表达式，形式与Ni相同有N可计算求得旋转参数ϕωκ。类似可以求得相机0,1,2,3,4相对于相机5的外部参数。3.2多片空间前方交会3.2.1基本过程

如图3.3，空间中某一侧有少量的控制点，需要求解另一侧的待定点的物方坐标。Ladybug3全景视觉系统分别在一条基线的两端拍摄像片。解求图中待定点坐标的具体过程如下：

‘

（1）图中控制点在相机0和相机1的视野范围内。利用空间后方交会可以分别求出这两个相机的外方位

元素。具体解求过程见3.1.1节。

（2）全景视觉系统中，各个相机的相对位置固定，通过坐标转换可分别解求出视觉系统在两个摄站的各

个相机的外方位元素。具体过程参见3.1.2节

‘

（3）如图，待定点P在相机2和相机0的视野范围内。根据立体像对的前方交会可以解求出P点的地面

坐标。这里的所用的解求方法是双像解析的光束法。

图3.3前方交会图3.4体像对

3.2.2双像解析的光束法严密解

‘假设地面点P在相机2和相机0所拍摄的照片中的同名点位为p1和p2，可以量测到p1和p2分别在两相机

像空间坐标系中的坐标。

已知共线方程为：

x−uo+∆u=−fy−vo+∆v=−fa1(X−XS)+b1(Y−YS)+c1(Z−ZS)

）3.5）a3(X−X)+b3(Y−YS)+c3(Z−ZS)（3.5a2(X−XS)+b2(Y−YS)+c2(Z−ZS)

a3(X−XS)+b3(Y−YS)+c3(Z−ZS)

上式展开后，除有六个外方位元素为未知数外，对待定点的地面摄影测量坐标系X.Y.Z也是未知数，当同时解求所有未知数的改正数，这是误差方程的一般式为：

vx=a11dXS+a12dYS+a13dZS+a14dϕ+a15dω+a16dκ−a11dX−a12dY−a13dZ−lxvy=a21dXS+a22dYS+a23dZS+a24dϕ+a25dω+a26dκ−a21dX−a22dY−a23dZ−ly经推导dX,dY.dZ的系数与dXs,dYs,dZs的系数符号相反。

（3.6）3.6）

误差方程式中有两类不同性质的待定值，有像片的外方位元素改正数和待定点坐标的改正数，前者可用向量t表示，后者用向量X表示。对任意一对同名像点，无论是控制点还是待定点，在左右像片上都能根据像点坐标列出一组如式3.6误差方程式。若v1,v2分别表示左右像点列出的误差方程式，t1，t2表示左右像片外方位元素组成的列矩阵，X表示待定点坐标改正数组成的列矩阵，A1,A2表示t1，t2的系数矩阵，

B1,B2表示X的系数阵，l1,l2为v1,v2相应的误差方程式常数项，误差方程式可表示为

⎡V1⎤⎡A10⎢V⎥=⎢0A2⎣2⎦⎣

⎡t1⎤

B1⎤⎢⎥⎡l1⎤（3.7）3.7）t-2⎥⎢⎥B2⎦⎢⎥⎣l2⎦⎢⎣X⎥⎦

先消去待定点的一组坐标改正数X，保留外方位元素改正数t，得改化法方程式：

[AA-AB(BB)

T

T

T

−1

）(ATB)Tt=u1−ATB(BTB)−1u2（3.83.8）

]

对上式求解，可得到外方位元素改正数解向量。相应的另一组改化法方程式为：

[BB-BA(A

T

T

T

）3.9）B)-1ATBX=u2−BTA(ATA)-1u1（3.9

]

该方程式用于求解待求点坐标改正数解向量。将求得的所有未知数改正数加到近似值上作为新的近似值。重复上述计算过程逐步趋近，直到满足精度要求为止。

用光束法解算未知数时，需要给出未知数的初始值。通常可用单像空间后方交会-前方交会法求出的外方位元素和待定点坐标作为光束法解算时未知数的初始值。

四、结论

全景相机因为具有很大的视场角，在近景摄影测量中有着越来越广泛的应用，而标定是从二维图像获取精确三维信息所必不可少的步骤。在正确标定Ladybug3全景系统相机内参数的基础上，进一步探讨了怎样直接利用Ladybug3视觉系统的多相机系统测量物方空间点三维坐标的方法。在此过程中涉及到单张像片的后方交会，用于确定相机在三维全景控制场中的外方位元素，利用相机坐标转换进一步确定各个相机像空间坐标间的转换参数。Ladybug3全景视觉系统有六个镜头，通过镜头间的坐标转换，空间后方交会、前方交会等，可以测量物方空间点的三维坐标。最后研究根据双像解析的光束法严密解的基本原理测量物方空间点的三维坐标。

参考文献

【1】王保丰.航天器交会对接和月球车导航中视觉测量关键技术研究与应用[D].北京：解放军信息工程大学，2007

【2】黄有度.苏化明，一种鱼眼图像到透视投影图像的变换模型[J]，系统仿真学报，2005，17(1):29一32

【3】王保丰.顾航程.黄桂平等，视觉测量中相机外方位元素近似值快速求解的一种新方法[J]，测绘科学技术学报，2006.23(3)

利用Ladybug3全景系统相机测量物方空间点的三维坐标

作者：

作者单位：刊名：英文刊名：年，卷(期)：

高宇

广州南方测绘仪器有限公司城市建设理论研究（电子版）ChengShi Jianshe LiLun Yan Jiu2012(17)

本文链接：http://d.g.wanfangdata.com.cn/Periodical_csjsllyj201217975.aspx