基于双目视觉的智能驾驶三维场景的重建技术研究

基于双目视觉的智能驾驶三维场景的重建技术研究

摘 要

三维重建作为计算机视觉技术中的一个重要分支，其研究一直处于火热状态，如今

已在工业测量、影视娱乐、医疗科技以及文物重建等各方面得到广泛应用。本文则主要

对智能驾驶领域的双目视觉三维场景重建技术进行研究。

首先对针孔相机以及双目相机的成像原理进行讲解，介绍相机畸变产生及图像校正

原理。然后搭建双目相机三维重建系统，选取张正友标定法对相机进行标定，获取所需

相机内外参数并对相机采集到的图片进行校正。校正完成后通过立体匹配算法对图像进

一步处理，获取视差图，再通过重投影矩阵由视差图计算出三维点坐标并重建三维点云

模型。最后对实验结果进行分析，总结实验结果及存在的不足。

关键词：双目视觉；相机标定；立体匹配；三维重建

Rearch on 3D Reconstruction of Intelligent Driving

Bad on Binocular Vision

Abstract

As an important branch of computer vision technology, three-dimensional reconstruction

has been in a hot state. Now it has been widely ud in industrial measurement, studio

entertainment, medical technology and cultural relic reconstruction. This paper mainly studies

the 3D reconstruction technology bad on binocular vision in the field of intelligent driving.

Firstly, the paper explains the image-forming principle of pinhole camera and binocular

camera, and introduces the generation of camera distortion and the principle of image correction.

Secondly, a binocular camera 3D reconstruction system is built. Zhang Zhengyou calibration

method is lected to calibrate the camera, required camera internal and external parameters are

obtained and images collected by the camera are corrected. After the correction, stereo matching

algorithm is ud to further process the image to obtain the parallax map. 3D point coordinates

is calculated via parallax map through the reprojection matrix and 3D point cloud model is

reconstructed. Finally, the experimental results are analyzed, and the results and shortcomings

are summarized.

Keywords：Binocular Vision；Camera Calibration；Stereo Matching；3D Reconstruction

目 录

第1章 绪论 ............................................................................................. 错误!未定义书签。

1.1 课题研究背景及意义 .................................................................................................. 1

1.2 国内外研究现状 .......................................................................................................... 1

1.2.1 智能驾驶技术国内外研究现状 ........................................................................ 1

1.2.2 双目视觉技术国内外研究现状 ........................................................................ 4

1.3 本文主要研究内容 ...................................................................................................... 5

1.4 论文结构安排 .............................................................................................................. 5

第2章 双目视觉基础理论及系统搭建 ................................................................................ 6

2.1 相机成像原理模型 ...................................................................................................... 6

2.1.1 针孔相机模型 .................................................................................................... 6

2.1.2 双目相机模型 .................................................................................................... 8

2.1.3 双目相机畸变 .................................................................................................... 9

2.2 相机的选型 ................................................................................................................ 11

2.3 软件系统设计 ............................................................................ 1错误!未定义书签。

第3章 具体方案实施 .......................................................................................................... 15

3.1 相机的标定 .............................................................................................................. 113

3.1.1 标定流程设计 .................................................................................................. 13

3.1.2 标定算法简介 .................................................................................................. 14

3.1.3 标定算法实现 .................................................................................................. 15

3.2 图像校正 .................................................................................................................... 16

3.2.1 立体校正流程 .................................................................................................. 17

3.2.2 立体校正算法实现 .......................................................................................... 19

3.3 立体匹配 .................................................................................................................... 19

3.3.1 SGBM算法简介............................................................................................... 19

3.3.2 SGBM算法实现............................................................................................... 22

3.4 三维重建 .................................................................................... 2错误!未定义书签。

第4章 实验结果与分析 ...................................................................................................... 24

4.1 相机的标定 ................................................................................. 错误!未定义书签。4

4.2 图像校正 .................................................................................................................... 26

4.3 立体匹配 .................................................................................................................... 26

4.4 三维重建 .................................................................................................................... 27

第5章 工作总结与展望 ...................................................................................................... 28

5.1 工作总结 ..................................................................................... 错误!未定义书签。8

5.2 工作展望 ..................................................................................... 错误!未定义书签。8

致 谢 ...................................................................................................................................... 29

参考文献 .................................................................................................................................. 30

第1章 绪论

第1章 绪论

1.1 课题研究背景及意义

汽车被认为是人类近代最伟大的发明之一，它的出现不但改变了人们的交通方式，

同时还影响着人类生活中其他各方各面。从汽车进入人类生活中算起，已经过了100多

年的时间，在此期间，人们不断运用新技术对汽车进行改进，使其满足人类的更高需求，

而其中互联网技术的引进更有着巨大意义，它使汽车不断向自动化、智能化的方向发展。

谈到汽车的智能化，首先就会想到汽车的智能驾驶技术。日常生活中，有时由于驾驶员

本身身体状态不好或者恶劣天气情况的影响等因素，会使发生交通事故的可能性大大提

升，而智能驾驶技术则结合了计算机视觉、图像处理、信息融合、自动控制等多种技术，

使其能够实现对驾驶员进行辅助驾驶，以及在特殊在特定情况下完全代替人驾驶的功能。

利用这种技术，可以有效减轻驾驶员的疲劳，适应多变复杂的天气及不同路况，为交通

安全提供更高的保障。

而智能驾驶功能得以实现的基础首先便是对车身周围的环境感知。所谓环境感知也

就是通过理解环境获得环境中被检测物体的信息，进行三维重构。从测量方式上看，常

用的三维重建方法有被动式和主动式两种。主动式三维重建是通过激光、声波等主动

[1]

向待测物体发射光波或声波，然后根据反射回来的波来获取物体的相关信息，主动测距

又可分为结构光法、激光扫描法、飞行时间法、莫尔条纹法以及三角测距法等。总体来

看主动式重建技术得到的信息精度较高，重建结果更为准确，但所用设备价格昂贵因此

经济成本较高，且重建结果缺少纹理信息，故多用于军事测绘导航、文物重建、地形勘

探以及医疗救护等领域，而并不适合在智能驾驶系统进行普遍应用。被动式三维重建则

是利用相机获取图像，然后通过一系列计算最终得到物体空间信息。而按照摄像机的数

目又可将其分为单目视觉法、双目视觉法以及多目视觉法。单目视觉法只用一个相机，

因而成本低廉，但获取信息有限致使其计算过程复杂，重建效果一般且受环境影响很大。

多目视觉法因相机数量多，故而视野范围更广，获取数据更多，但这同时也导致了其具

有运算量巨大，处理时间较长的缺点，因而实时性难以满足要求。双目视觉则是模拟人

眼系统，利用两个水平放置的相机获取待测物体同一位置下的左右两幅图像，再由产生

的视差计算物体的空间三维信息。与其他方法相比，该系统具有计算速度快、成本低、

1

第1章 绪论

灵活性强以及重建结果精度较高的特点，所以更适用于智能驾驶三维场景重建。

1.2 国内外研究现状

1.2.1 智能驾驶技术国内外研究现状

智能驾驶车辆的发展不但大大提高了城市交通效率，同时在工业、军事等领域也有

重要意义，所以早在上世纪 60年代，欧美等一些发达国家就已经对汽车的智能驾驶技

术开展了研究，而我国在这方面的研究则稍晚一些，直到上世纪 80 年代才开始进行。

虽然整体研究起步较晚，但无人驾驶技术却发展迅速，自从进入21世纪后，该领域更

是在全球范围内处于飞速进步阶段。

上世纪 60 年代美国所研发出的装备传感器的车轮机构机器人Shakey，技术虽不成

熟却引领了自动导航功能的发展。而第一个使用摄像头来检测信息的自动驾驶汽车则是

在1977年由日本一实验室所研究设计，该车的出现标志着人们已经开始从视觉角度研

究无人驾驶技术。2004年美国DARPA组织的无人驾驶技术大奖赛在无人驾驶技术发展

历程上具有里程碑意义，此赛事举办的最初目的就是促进无人驾驶技术在极限环境下的

发展，首届比赛在3月份举办，但当时参加比赛的15辆赛车无一完赛。第二年则由斯

坦福团队设计的Stanley摘得桂冠。到2007年，共有6组车队完成了当届城市挑战赛，

他们用实际结果向世界证明了无人驾驶在城市工况下已经变为现实。

美国谷歌公司于2009年正式对外宣布开始进行无人驾驶车辆技术研究，并在当

[2]

年年底完成了第一代无人驾驶机车的道路测试。如图1-1是2015年谷歌自主研发的萤

火虫（Firefly），该车是其制造的第一款没有油门踏板和方向盘的无人车，车上配备摄像

头用来识别车身周围障碍物及检测交通信号灯信息，同时采用三前一后形式布置雷达以

测量障碍物距离，激光定位器及位置传感器则可以实时绘制车辆周围环境3D地形图并

准确定位车辆位置，该车于当年在开放道路上面向大众进行公测，获得众多好评。

欧洲国家对无人驾驶车辆的研究从上世纪 70 年代开始，英国道路研究室在1971

年公布了无人驾驶车辆的测试视频。德国于1987年研发的 VaMoRs 无人驾驶车在当

[3]

时创下了96km/h 的记录。1998 年，意大利帕尔马大学对研发的无人驾驶车辆进行了

2000km 的路测，其中 94%的行程均是在自动驾驶状态下完成。Vis Lab实验室在2010

年对其研发的无人驾驶车辆进行了洲际测试，总行进路程超过了1.3万公里。英国于2015

年2月推出了首款用于帮助用户短途出行的无人驾驶汽车。德国奥迪所研发的无人驾驶

车在2014年顺利完成试驾，并于2018年推出了如图1-2所示的新款奥迪A8，成为世

2

第1章 绪论

界上第一台量产的搭载Level3级别的自动驾驶系统的车型。

图1-1 萤火虫（Firefly） 图1-2 奥迪A8

我国在自动驾驶领域研究基础薄弱，直到上世纪80年代才开始有所突破。国内首

台真正的无人驾驶车是由国防科技大学在1992年研制出来。2003年一汽集团和国科大

合作研发出能够判定路况并进行自动变道的红旗CA7460。上海交通大学在2005年实现

了中国首个在城市领域使用的无人驾驶车的开发。2011年红旗HQ3完成了高速公路上

的驾驶试验，是我国无人驾驶技术发展的又一个重要节点。2015年百度宣布进军无人驾

驶领域，并与德国BMW展开合作，当年年底即完成了在城市环路下的驾驶试验。2018

年，搭载Apollo系统的阿波龙巴士量产下线，成为我国第一台没有方向盘、油门及刹车

踏板的原型车，同时也是全球首款量产的L4级自动驾驶巴士。目前国内自动驾驶智能

车技术的领头企业则有小马智行、百度、智行者、图森未来等公司。如下图1-3和图1-

4所示分别为小马智行的智能出租车和百度的阿波龙智能巴士车。

图1-3 无人驾驶智能出租车 图1-4 无人驾驶智能巴士车

1.2.2 双目视觉技术国内外研究现状

上世纪60年代，立体视觉技术开始出现在人们的视野中，在之后的几年中立体视

觉技术得到了快速发展，70年代后期，Marr教授提出计算机视觉理论体系，并将其分

为理论、算法与数据结构和硬件实现三个阶段。到80年代美国麻省理工学院首次提出

3

第1章 绪论

双目匹配理论，在此之后各国学者纷纷开始进行深入研究。日本奈良科技大学将MR方

法与SR方法结合，研发了配准精度更高的系统。索尔福德大学基于双目视觉开发的三

维检测系统可以实现对象检测及障碍躲避。高哈蒂大学基于双目视觉提出的手势识别

[4]

技术可利用色彩分割从背景中将手提取分割出来，系统功能稳定，平均手势识别率高达

88%。马德里大学

[5]

开发的三维地形重建系统利用图像对的直方图匹配来校正强度，能

够有效的减少误匹配提高地形重建精度。奥克兰大学开发的双目立体视觉小程序能够

[6]

对用户上传的图像对进行自动校正并对图像包含的原三维场景进行模型重建，成为视觉

学习领域用户的得力工具。

我国对双目视觉的研究则稍晚一些，但发展迅速，近几年也有了众多技术突破。中

国农业大学基于双目视觉搭建的拖拉机路径跟踪系统，在实际测试中展现了良好的控制

精度及稳定性，能够满足工作所需要求。广东工业大学基于最小二乘法提出了圆拟合算

法，并将该算法与双目立体视觉结合开发了非接触式三维变形测量系统，能够实现高精

度的变形测量可有效替代传统的接触式测量方法。天津大学提出的手势字符识别算法能

够利用视差原理记录并绘制手的轨迹信息，同时将信息传到计算机进行处理即可得到字

符信息，该方法大大提高了写作的自由性，在残疾人智能辅助领域前景开阔。

1.3 本文主要研究内容

通过查阅大量资料，本文概括性的讲述了双目视觉三维重建的具体工作原理，并搭

建了实验平台，进行了相关实验及结果分析。具体内容包括相机的成像原理介绍，以及

双目相机的标定、图像校正、立体匹配及三维重建等过程的算法设计及具体实现。

4

第2章 双目视觉基础理论及系统搭建

第2章 双目视觉基础理论及系统搭建

2.1相机成像原理模型

基于视觉的三维重建最基础的步骤就是通过相机来对物体进行拍摄，获取物体的最

初数据，因此要做好后续的图像处理工作，就要先清楚相机的成像过程，下面将具体对

相机数学模型及成像过程中产生的偏差进行详细说明。

2.1.1 针孔相机模型

摄像机成像模型有很多种，其中最简单且最常用的是针孔模型，又被成为线性模型，

其成像过程如图2-1所示，数学模型如图2-2所示。为了清晰地描述相机成像原理，我

们先要对视觉领域的几个参考坐标系进行说明：

世界坐标系（O。相机坐

WWWW

-X-Y-Z）是用来表示场景点绝对坐标的绝对坐标系

[7]

标系（O-x-y-z）是以摄像机的中心为原点，光轴为Z轴建立的坐标系，该坐标系与相机

固连在一起，被用来建立世界坐标系与图像坐标系之间的关系。成像平面坐标系（O-x-

y）是位于相机感光片上的用来描述像素在图像中位置的二维直角坐标系，其原点是感

光片的中心同时也是相机坐标系Z轴与其所在平面的交点，x轴和y轴分别平行于成像

平面两边。像素坐标系（O

0

-u-v）是位于感光片上用来表示像素点之间相对位置的坐标

系，其原点在成像平面左上角顶点，u轴和v轴与图像坐标系的x轴和y轴分别平行，

二者可通过平移和缩放相互转化，具体关系如图2-3所示。

图2-1相机成像模型图 图2-2相机成像数学模型图

建立如上各坐标系概念之后我们可以看到如图2-2中存在任意一空间点P（X,Y,Z），

在经过光心O投影后在落在成像平面的P(X,Y)处，因成像平面与相机中心之间的距

离即为焦距f，则由相似三角形原理可得到如下关系：

5

第2章 双目视觉基础理论及系统搭建

(2-1)

𝑍𝑋𝑌

𝑓𝑋𝑌

=−=−



式中负号代表所成的像是倒立的。为了简化模型，可以把成像平面对称到相机前方，

使其和三维空间点在摄像机坐标系的同一侧，如图2-4所示，这时可将式（2-1）简化并

整理得到：

(2-2)

𝑍𝑋𝑌

𝑓𝑋𝑌

==



𝑋

{ (2-3)

𝑋=𝑓



𝑍

𝑌



𝑌=𝑓

𝑍

图2-3 像素坐标系与图像坐标系关系 图2-4 对称成像平面图

由式（2-2）可以知道空间点P和其像点P之间的空间关系，而在相机中，则是通过

对像进行缩放和平移处理，将其转换到像素坐标系下并最终以一个个像素的形式存储图

像，如图2-3所示，由两个坐标系的定义我们可知P点坐标与其像素坐标（u,v）之间的

关系为：

{ (2-4)

𝑢=𝑋+𝑐





𝑥

𝑣=𝑦+𝑐





𝑦

式中：和分别为像素坐标在u轴和v轴上的缩放系数，c

xy

、c为原点平移量。

将式（2-3）代入式（2-4）中可得到P点坐标与像素坐标（u,v）之间的关系为：

{ (2-5)

𝑢=𝑓+𝑐

𝑥

𝑍

𝑌

𝑣=𝑓+𝑐

𝑦

𝑍

𝑋

令𝑓=𝑓，𝑓=𝑓，并采用齐次坐标表示为：



𝑥𝑦

(

𝑢𝑓0𝑐

𝑥𝑥

1

𝑣

)=()() (2-6)

𝑍

0𝑓𝑐

1

001

𝑦𝑦

𝑋

𝑌

𝑍

将Z移到左侧即可得到：

6

第2章 双目视觉基础理论及系统搭建

𝑢𝑓0𝑐

𝑥𝑥

𝑍(

𝑣

)=()()=𝐾𝑃 (2-7)

0𝑓𝑐

1

001

𝑦𝑦

𝑋

𝑌

𝑍

上式得到的矩阵K即为相机的内参数矩阵。若点P在世界坐标系下的坐标值为

𝑃=(𝑋)，则可得到P点坐标与P

𝑤𝑤𝑤𝑤

，𝑌，𝑍

W

点之间转换关系为：

P=R𝑃

𝑤

+𝑡 (2-8)

式中：R和t分别为相机坐标系到世界坐标系的旋转矩阵和平移向量。

将式（2-8）带入式（2-7）中并整理可得：

𝑢𝑓0𝑐

𝑥𝑥

𝑍(

𝑣

)=( )() (2-9)

0𝑓𝑐()

1

001

𝑦𝑦

0

𝑅𝑡

0

01

0

𝑋

𝑤

𝑌

𝑤

𝑍

𝑤

1

至此我们便得到了任一空间点P

W

投影到像素坐标系的坐标变换公式，式中R，t

被称为相机的外参数，可用来描述相机的位姿。

2.1.2 双目相机模型

通过上述介绍我们已经了解了针孔相机模型的成像过程，但仅仅靠单个相机提供的

信息，我们只能得到空间点和相机之间的角度关系，若确定其具体位置我们还需得到深

度信息。测量深度的方式有多种，目前常用的有结构光法、光飞行时间法及双目相机测

距，下面对本试验采取的双目相机进行简单介绍。

双目相机模拟人类的双眼结构，一般由左右两个水平放置的相机组成，其结构模型

和几何模型如图2-5所示，基线为两相机光圈中心之间的距离。

图2-5 双目相机模型

如图2-5所示有一空间点P在左右两相机中成的像分别为P

LRLR

和P，O和O分别

7

第2章 双目视觉基础理论及系统搭建

为左右两相机的光圈中心，u

LRLRR

，u为像P、P的坐标，因为在图中坐标系下u应为负

数，所以将P

RRR

与O之间的距离标为-u。理想情况下左右两相机应处于同一水平线上，

所以所成的两个像也处于同一水平轴上，则PP

LRLR

P与PQQ为相似三角形，即可得到

如下关系：

(2-10)

z−fb−u+u

zb

=

LR

进行整理即可得到：

𝑧=，𝑑=𝑢 (2-11)

𝑓𝑏

𝑑

𝐿𝑅

−𝑢

其中d为左右两像的横坐标之差，被称为视差。因此根据视差及相机内参，我们

就可以计算出空间点P到相机之间的距离。并且视差越大即代表距离越近，同时还可

看出基线越长的相机，能够测量到的最大距离就越远。

2.1.3 双目相机畸变

相机拍照的过程实际是空间实体通过光学透镜投影到成像平面上的过程，在此过

程在由于透镜本身形状的影响，以及机械组装过程中产生的一些精度上的不足等因素

都对光线的传播产生影响，便会引起各类畸变，造成图像的失真，其中对成像影响最

大的当属径向畸变和切向畸变。

像点沿镜头半径方向上发生的畸变称为径向畸变，也是成像过程中发生的最主要

畸变。径向畸变对于成像效果的影响权重是最大的。径向畸变一方面会对图像视觉效

果产生影响，另一方面还使得后期处理过程的工作量也被大大增加。径向畸变通常是

由于透镜在工业制造的过程中产生的误差而导致，而透镜的中心对称结构导致径向畸

变也多是径向对称的。如图2-6所示，桶形畸变和枕形畸变是径向畸变的两种主要形

式。因距离光轴越远的位置图像放大率越小而导致的变形称为桶形畸变，这种畸变往

往存在于广角镜头中。与之相反的枕形畸变则是由于产生图像越靠近边缘的地方，放

大率越大，这导致其变形呈马鞍形故也被成为鞍形畸变，是远摄像头经常出现的畸变

类型。

图2-6 径向畸变示意图

8

第2章 双目视觉基础理论及系统搭建

切向畸变是由于透镜和成像平面不完全平行，使得光线投影在成像平面时位置发

生变化，一般是由于相机组装过程中的偏差导致。如图2-7展示的即为切向畸变来源

示意图。

图2-7 切向畸变来源示意图

为更准确地理解径向畸变与切向畸变，我们可以用数学模型来描述二者。设平面

上存在任意一点P (x,y)，其极坐标的形式为(r,)。则径向畸变可表示为坐标点沿长度方

向发生了变化r，而切向畸变则可以表示为坐标点沿切线方向发生了变化，即水平夹

角发生了变化。对径向畸变可用如下函数进行矫正：

(2-12)

𝑥=𝑥(1+𝑘𝑟+𝑘𝑟+𝑘𝑟)

0123

246

𝑦=𝑦(1+𝑘𝑟+𝑘𝑟+𝑘𝑟)

0123

246

上述模型中，(x,y)为归一化平面点的坐标，(x

001

,y)为畸变后点的坐标。k主要对畸

变较小的中心区域起作用，k

2

则主要是对畸变相对较大的边缘区域起作用，而对于鱼

眼镜头等畸变很大的摄像头，则需要通过加入k。对于切向畸变，则

3

项来进行校正

[8]

是通过另外两个参数p

12

，p来进行校正：

(2-13)

𝑥=𝑥+2𝑝𝑥𝑦+𝑝(𝑟+2𝑥)

012

𝑦=𝑦+2𝑝𝑥𝑦+𝑝(𝑟+2𝑦)

22

021

22

对于归一化平面上一点，联立上式（2-12）及（2-13）进行畸变校正，即可求出原

始图像上的坐标：

(2-14)

𝑥=𝑥1+𝑘𝑟+𝑘𝑟+𝑘𝑟+2𝑝𝑥𝑦+𝑝(𝑟+2𝑥)

012312

()

24622

𝑦=𝑦1+𝑘𝑟+𝑘𝑟+𝑘𝑟+2𝑝𝑥𝑦+𝑝(𝑟+2𝑦)

012321

()

24622

再通过内参数矩阵把经过纠正之后的点投影到像素平面，就可以得到该点在图像

上的正确位置：

{ (2-15)

𝑢=𝑓𝑥+𝑐

𝑥0𝑥

𝑣=𝑓𝑦+𝑐

𝑦0𝑦

9

第2章 双目视觉基础理论及系统搭建

如上过程中，用到k、k、k、p、p共5个畸变系数，实际应用中可灵活选择以

12312

校正图像。

2.2 相机的选型

在机器视觉工作系统中，适合的硬件是获取高质量图像的基础，考虑到工作环境、

数据精度、视角范围及经济成本等因素，本实验最终选择INDEMIND 双目视觉惯性模

组，该模组运用摄像头加IMU 多传感器融合架构，使其采集的数据能够更加准确，水

平120、垂向75的视场角也使其有较大的检测范围，能够达到实验所需要求。该模组

部分基本参数信息如下表2-1所示，模组图片如图2-8所示：

表2-1 双目相机惯性模组基本参数表

参数名称 参数值

工作距离 0.1m-10m

总体尺寸

帧率 1280800@50fps； 1280800@50fps；

分辨率 640400@100fps； 640400@100fps；

像素尺寸

基线长度 120.0mm

视角

焦距 2.09mm

色彩模式 Monochrome(单色)

接口 USB3.0

140mm25mm

3.03.0m(1280800)

D:140 H:120 V:75

图2-8 双目惯性模组实拍图

10

第2章 双目视觉基础理论及系统搭建

2.3 软件系统设计

本文基于Windows10系统，使用VS2015创建MFC系统操作平台，利用OpenCV3.3.1

进行双目标定、图像采集与后处理操作进行实验。

打开VS2015创建一个基于MFC框架的应用程序，程序类型选择基于对话框，创

建完成后在工程属性中添加对应的头文件和库文件目录，设置好之后即可通过左侧工具

箱栏根据需要依次添加Button，最终搭建软件操作系统平台如下图2-9所示。

图2-9 软件操作系统平台

各模块作用如下：

打开/关闭采集线程：用于驱动或关闭摄像头。

获取标定图像：用于采集标定图片，打开摄像头之后选择合适距离及位置放置标

定板，鼠标点击此按钮即可将当前相机采集图片保存，然后调整标定板距离与角度，

采集多组照片用于后续相机标定过程。

左、右相机标定：分别用于左相机和右相机的单独标定，导入经过筛选的标定图

片之后即采用张正友标定法分别对左右相机进行标定，获取各相机的内外参数。

双目标定：用于双目标定，在单目标定过程中已经得到了标定所需的各点的信

息，此时直接调用立体标定图片即可完成双目标定。

开始/暂停摄像头：用于控制摄像头采集状态。

图像校正：对采集到的图片进行校正，因相机直接采集的图片存在畸变，故需要

对图片进行校正操作，使左右相机图片能够达到共面且行对准的状态。

11

第2章 双目视觉基础理论及系统搭建

立体匹配：用于获取视差图，完成图像校正之后进行立体匹配，经图像预处理、

代价计算、动态规划及一系列后处理之后即可得到视差图。

三维重建：获取三维点坐标，得到视差图之后利用反投影矩阵进行计算就可得到

各点在相机坐标系下的三维坐标，由Z坐标就可判断物体与相机之间的距离。

三维重建结果显示：将各点显示出来，以点云形式体现出物体的大概形状。

以上就是软件操作系统平台的各模块功能以及整体实验的大概流程，具体的软件

流程设计如下图2-10所示：

图2-10 软件系统流程图

2.4 本章小结

本章主要对实验所需的一些基本原理以及整体系统设计进行了说明。首先讲述了针

孔相机成像原理，在此基础上又对双目相机进行了说明，然后阐述了相机成像过程中产

生畸变的原因以及畸变校正原理。最后分别从硬件系统及软件系统介绍了基于双目视觉

的智能驾驶三维场景重建系统的设计。

12

第3章 具体方案实施

第3章 基于智能驾驶辅助的双目视觉三维重建系统设计

前面对基于智能驾驶辅助的双目视觉三维重建系统的整体设计及工作流程已经进

行了简要说明，现在对各部分的具体实现方法进行详细介绍。

3.1 相机的标定

如前文所言，相机的标定是用来获取相机的内外参数，以保证后续对图像进行校正

等工作的进行，作为整个实验过程的基础步骤，其准确性直接影响了最终结果的精度水

平，因此必须要做好摄像机标定工作。综合精度及成本等各种因素考虑，本实验最终选

用张正友标定法对相机进行标定。

3.1.1 标定流程设计

首先准备好标定板，然后打开相机采集标定图片，分别进行左右相机标定后再进行

双目标定，具体标定流程如下图3-1所示：

图3-1 相机标定流程图

3.1.2 标定算法简介

因标定板为平面放置，所以可假设标定板处于世界坐标系中的Z

w

=0平面上，则依

据针孔成像模型，可知对标定板上每个点都有如下关系：

𝑋

𝑢

𝑋

𝑌

s(

𝑣

)=𝐾𝑟 𝑟 𝑟 𝑡()=𝐾𝑟 𝑟 𝑡() （3-1）

()()

12312

𝑌

0

1

1

1

式中s为尺度因子，K为摄像机内参数矩阵，r

i

为旋转矩阵R的第i列向量

̅

=𝑋 𝑌 1

()

𝑇𝑇

， 𝑚令𝑀̅=𝑢 𝑣 1，则式3-1可简化为：

()

𝑠𝑚̅=𝐻𝑀（3-2）

̅

13

第3章 具体方案实施

式3-2中

𝐻=𝐾𝑟

ℎℎℎ

111213

(

12123

𝑟 𝑡=ℎ ℎ ℎ=() （3-3）

)()

ℎℎℎ

212223

ℎℎ1

3132

联立式3-2和式3-3可得：

{ （3-4）

121311

u=

ℎ𝑋+ℎ𝑌+1

3132

ℎ𝑋+ℎ𝑌+ℎ

212223

v=

ℎ𝑋+ℎ𝑌+1

3132

ℎ𝑋+ℎ𝑌+ℎ

加以整理可得：

{ （3-5）

u𝑋ℎ+𝑢𝑌ℎ+𝑢=ℎ𝑋+ℎ𝑌+ℎ

3132111213

v𝑋ℎ+𝑣𝑌ℎ+𝑣=ℎ𝑋+ℎ𝑌+ℎ

3132212223

给定如下矩阵：

ℎ=ℎ （3-6）

(

1112132122233132

ℎ ℎ ℎ ℎ ℎ ℎ ℎ 1

)

𝑇

则有如下式子成立：

(

𝑋 𝑌 1 0 0 0 −𝑢𝑋 −𝑢𝑌 −𝑢

)

ℎ=0 （3-7）

0 0 0 𝑋 𝑌 1 −𝑣𝑋 −𝑣𝑌 −𝑣

若令Sh=0，则通过求上式3-7的最小二乘解即可得到h，进而求得H，由于此时

求得的H与实际的H之间可能还差一个比例因子，故可将式3-3写成：

ℎ

(

12312

ℎ ℎ=𝐾𝑟 𝑟 𝑡 （3-8）

)()

又因r

21

与r为单位正交向量，故有如下关系成立：

{ （3-9）

ℎ𝐾𝐾ℎ=0

12

𝑇

−𝑇−1

𝑇𝑇

−𝑇−1−𝑇−1

ℎ𝐾𝐾ℎ=ℎ𝐾𝐾ℎ

1122

若令：

1𝛾𝑣𝛾−𝑢

𝐵=𝐾(3-10)

−𝑇−1

𝐾=()=

𝐵BB

111213

BBB

212223

BB𝐵

313233

𝛾𝛾1𝛾𝑣𝛾−𝑢𝑣

+−−−



222

2222

𝑣𝛾−𝑢𝛾𝑣𝛾−𝑢𝑣𝑣𝛾−𝑢𝑣

00000000



((

))

−−++1

2222

222

()





222

−

00



(

000



)

2

由结果可以看出B是一个对称矩阵，因此可将其用如下形式定义：

𝑏=𝐵 (3-11)

(

111222132333

𝐵 𝐵 𝐵 𝐵 𝐵

)

𝑇

设H的第i行向量为ℎ，则可得：

𝑖𝑖1𝑖2𝑖3

=ℎ ℎ ℎ

()

𝑇

{ (3-12)

ℎ𝐵ℎ=𝑉𝑏

𝑖𝑗𝑖𝑗

𝑇

𝑇

𝑉=(ℎℎ ℎℎ+ℎℎ ℎℎ ℎℎ+ℎℎ ℎℎ+ℎℎ ℎℎ )

𝑖𝑗𝑖1𝑗1𝑖1𝑗2𝑖2𝑗1𝑖2𝑗2𝑖3𝑗1𝑖1𝑗3𝑖3𝑗2𝑖2𝑗3𝑖3𝑗3

𝑇

再将式3-9写为如下关于b的方程：

(

𝑉

12

𝑇

)𝑏=0 (3-13)

()

𝑉−𝑉

1112

𝑇

14

第3章 具体方案实施

若共拍摄了n幅标定板图片，则可求出n个单应性矩阵，上式3-13可表示为如下

形式：

𝑉𝑏=0 (3-14)

式中V为2n6的矩阵，若n3，就可以得到六个方程，因为常用的CCD传感器芯

片都是方形，所以可设倾斜因子𝛾=0，这样我们就可以解得六个参数如下：

𝑣=𝐵𝐵−𝐵𝐵/(𝐵𝐵−𝐵)

012131123112212

()

2

2

=𝐵

331301213112311

−[𝐵+𝑉𝐵𝐵−𝐵𝐵]/𝐵

()

=/𝐵

√

11

{

=𝐵

√

11112212

/(𝐵𝐵−𝐵)

𝛾=−𝐵

12

/

2

𝑢=𝛾𝑣/−𝐵/

0013



2

2

(3-15)

得到上述各参数后也就得到了相机内参矩阵K，再结合式（3-3）即可得到下式：

𝑟=𝐾ℎ

11

−1

𝑟=𝐾ℎ

22

−1

(3-16)

𝑟=𝑟×𝑟

312

{

𝑡=𝐾ℎ

−1

3

式中=1/K

‖

−1−1

ℎ或1/Kℎ

12

‖‖‖

对参数进行整理我们即可得到最终的相机外参R和t，完成相机的标定。

3.1.3 标定算法实现

在拍摄完多组标定图片后，将各组图片都读取出来，然后进行内角点提取工作，

该过程通过调用OpenCV中自带的findChessboardCorners函数实现，然后用

cornerSubPix函数对检测到的角点位置进行进一步精确化，使其达到亚像素级别检测效

果，若检测到的点数与实际标定板点数吻合，则将其添加到列表中保存下来。完成角

点提取后即可使用calibrateCamera函数来对左右两相机分别进行标定。在两相机均标

定完成后进行双目标定，双目标定通过调用stereoCalibrate函数实现，函数的各参数所

示。

3.2 图像校正

在完成相机标定之后，即得到了所需参数，此时就可以进行图像校正了。通过畸变

校正可达到消除畸变，改善图像的目的，其方法第2章已经介绍，此处不再重复。在理

论计算中，我们是按照平行双目系统来推导的，但这只是一种理想状态实际情况中并不

存在，因此我们需要通过数学变换来对两幅图像进行调整，使其达到共面且行对准的状

15

第3章 具体方案实施

态，这个过程即被称为立体校正，其效果如下图3-4所示：

a 立体校正前 b 立体校正后

图3-4 立体校正示意图

3.2.1 立体校正流程

目前常用的立体校正方法主要有Hartley算法和Bouguet算法两种，Hartley 算法

[11]

首先通过H变换使右图的外极线与图像水平扫描线平行，然后再对左图像进行变换使其

与右图之间对应点的视差最小化。该算法计算速度快且不需要知道知道相机内参，但是

不能得到场景的图像比例。而Bouguet 算法则是通过标定好的相机参数来进行校正，其

目的是在保证图像重投影次数最少的同时使畸变也较小。为了尽量减少畸变，使两幅图

像达到共面状态，可以采用将左右摄像头分别旋转一半的方法。对此，可将之前得到

[12]

的旋转矩阵分为r

LR

和r两部分，然后将他们分别定义为左、右相机的旋转矩阵。如前所

说的旋转相机的方式能达到让左右相机处于同一平面的要求，但仍未完成图像的行对准

工作。为了实现像素行的对齐，可以将左侧相机的极点转换为无穷远，同时将极线水平

对齐到基线。为了计算明晰，创建一个由极点e。假设点

1rect

方向开始的旋转矩阵R

[13]

（Cx，Cy）是左相机图像坐标系原点，那么两个相机坐标系原点之间的平移矢量方向就

与极点的方向相同。又由于图像平面平行于坐标系连线，所以有如下等式成立：

𝑒 (3-17)

1

==

‖‖‖‖

𝑇𝑇

𝑇

(𝑇)

𝑥𝑦𝑧

𝑇 𝑇

式中：T为平移向量，T

xyz

、T、T分别其在x、y、z三个方向的分量，将计算获得

的向量e

12

与光轴方向进行叉积即可得到另一个向量e：

𝑒 (3-18)

2

=

(−𝑇

𝑦𝑥

， 𝑇， 0)

√𝑇+𝑇

𝑥𝑦

22

𝑇

又因e

312

与e和e正交，所以有：

16

第3章 具体方案实施

𝑒 (3-19)

312

=𝑒×𝑒

求得了e

123rect

、e及e之后即可得到如下式（3-20）所示的R矩阵：

𝑅

𝑟𝑒𝑐𝑡

𝑒

1

𝑇

= (3-20)

()

𝑒

2

𝑇

𝑒

3

𝑇

利用上式（3-20）的R

rect

矩阵即可将左图像绕投影中心旋转以使极点位于无穷远处，

并且将极线变为水平且平行于基线。再将此矩阵与合成旋转矩阵r

LR

和r分别相乘，就

能够得到如下式（3-21）所示的左右两相机的行对准矩阵R

LR

和R：

{ (3-21)

𝑅=𝑅𝑟

𝑟𝑒𝑐𝑡𝐿𝐿

𝑅=𝑅𝑟

𝑅𝑟𝑒𝑐𝑡𝑅

再由张正友标定法重新计算立体校正后的左右相机内部参数矩阵M

rect_lrect_r

和M，

并通过计算获得他们的投影矩阵P

lr

和P，如下式所示：

1 0 0 0

𝑃=𝑀()

𝑟𝑒𝑐𝑡_𝑙𝑙

0 1 0 0

0 0 1 0

(3-22)

1 0 0 𝑇

𝑥

𝑃=𝑀()

𝑟𝑟𝑒𝑐𝑡_𝑟

0 1 0 0

{

0 0 1 0

通过计算得到左右相机机校正后的内参数矩阵，并带入到双目相机校正后的投影矩

阵中。通过以上操作，可以求得最终双目相机的两个投影矩阵M。与

NEW_lNEW_r

和M

[14]

此同时，若给定左右相机内参数和屏幕坐标等数据，则可以得到重投影矩阵Q：

1 0 0 −𝑐

𝑥

0 1 0 −𝑐

𝑦

𝑄= (3-23)

0 0 0 𝑓

−1

0 0 𝑐−𝑐𝑇

()

𝑥𝑥𝑥

′

𝑇

𝑥

()

式中：c

x

为主点在图像x方向上的像素坐标，其他均为图像参数。

通过重投影矩阵可以将二维点投影到三维空间坐标系中，如下式（3-24）所示：

𝑥

𝑋

𝑦

𝑌

Q

(

)

=() (3-24)

𝑑

𝑍

1

𝑊

式中：d为视差。

对上式化简后即可得到三维坐标为(X/W，Y/W，Z/W)，若主光线在无穷远处，则c

x

=

c，式3-23中右下角项就为零，在立体校正后就能对其三维坐标进行展开，得到如下形

x

式：

，，，−，−

(

𝑊𝑊𝑊𝑑𝑑𝑑

)(−)

=𝑇𝑇𝑇 (3-25)

𝑋𝑌𝑍𝑥−𝑐𝑓

𝑥

𝑥𝑥𝑥

17

𝑦−𝑐

𝑦

第3章 具体方案实施

如上过程不断地对左右相机的图像进行平面重映射，直到满足理想双目立体图形所

要求的平行配置为止。另外为使左右相机图像的叠加面积最大，进行重新选取中心，并

将图像已经校正好的部分剪切下来，最终即完成了双目相机采集图像的立体校正。

3.2.2 立体校正算法实现

由前面相机标定已经得到了相机的内外参数，现在调用stereoRectify函数计算旋转

矩阵R、投影矩阵P以及深度差异映射矩阵Q，再利用initUndistortRectifyMap分别计

算左右图像映射表mapx及mapy，得到映射表之后调用remap函数对两幅图像分别进行

重新映射，即可使左右图像达到所期望的共面且行对准的状态，也就实现了立体校正，

为后面立体匹配打下良好的基础。

3.3 立体匹配

利用双目相机拍摄的左右图像计算视差，通过匹配算法得到深度图的过程称为立体

匹配。此过程在3D重建和3D测量等领域具有广泛用途。算法BM（bidirectional matching）、

GC（Graph cuts）和SGBM（Semi-Global Block Matching）是视觉处理过程中最为普遍

的三种立体匹配算法。其中GC（Graph cuts）算法匹配得到的结果更加准确，但由于计

算繁复，处理速度较慢，而BM算法则具有较快的处理速度，但匹配结果较差，因此本

实验采用匹配结果和速度都较好的SGBM算法。

3.3.1 SGBM算法简介

SGBM算法主要包括图像预处理、代价计算、动态规划和数据后处理四步，流程

图如下图3-6所示，下面对各部分进行详细介绍。

图3-6 SGBM算法流程

（1）图像预处理

图像预处理是利用Sobel算子对图像进行处理，得到图像的梯度信息并保存以便后

面进行代价计算。其处理公式如下所示：

18

第3章 具体方案实施

Sobel𝑥,𝑦=2𝑃𝑥+1,𝑦−𝑃𝑥−1,𝑦+𝑃𝑥+1,𝑦−1−𝑃𝑥−1,𝑦−1+

()()()]()()

[

𝑃𝑥+1,𝑦+1−𝑃𝑥−1,𝑦+1 （3-26）

()()

式中P为像素值。

图像上每个像素点经水平Sobel算子处理后再经过如式3-26所示的函数处理后即

可映射为一个新的图像，该图像将用于后续的代价计算。

𝑃 （3-27）

𝑁𝐸𝑊

0 ,𝑃<−𝑝𝑟𝑒𝐹𝑖𝑙𝑡𝑒𝑟𝐶𝑎𝑝

={

𝑃+𝑝𝑟𝑒𝐹𝑖𝑙𝑡𝑒𝑟𝐶𝑎𝑝 ,−𝑝𝑟𝑒𝐹𝑖𝑙𝑡𝑒𝑟𝐶𝑎𝑝≤𝑃≤𝑝𝑟𝑒𝐹𝑖𝑙𝑡𝑒𝑟𝐶𝑎𝑝

2∗𝑝𝑟𝑒𝐹𝑖𝑙𝑡𝑒𝑟𝐶𝑎𝑝 ,𝑃>𝑝𝑟𝑒𝐹𝑖𝑙𝑡𝑒𝑟𝐶𝑎𝑝

式中：P

NEW

为新图像上的像素值，preFilterCap为一个常参数

（2）代价计算

作为立体匹配算法的基础，匹配代价计算是为了计算不同图像之间视差的灰度相似

性，以便减少代价聚合时产生的误匹配。本实验采用灰度差值的绝对值AD来计算匹配

代价，计算公式如式3-28所示：

𝐶 （3-28）

𝑑

()

𝑥,𝑦={

|()()||()()|

𝐼𝑥,𝑦−𝐼𝑥−𝑑,𝑦，𝐼𝑥,𝑦−𝐼𝑥−𝑑,𝑦<𝑇

𝐿𝑅𝐿𝑅

𝑇，𝐼𝑥,𝑦−𝐼𝑥−𝑑,𝑦>𝑇

|()()|

𝐿𝑅

式中：T为设置的阈值，d为像素点(x,y)的视差，I

L(x,y)R(x-d,y)

和I分别是点（x,y）的

左右图像灰度值。

（3）动态规划

为更好的完成代价聚合，本实验采用全局立体匹配算法的思想，在代价聚合阶段引

入能量函数，然后用动态规划找到局部位置的最小代价来最小化能量函数。通过此方法，

可以得到每个像素点的最优视差，其能量函数的具体形式如下式所示：

E𝐷=𝐶(𝑝,𝐷 （3-29）

()∑

𝑝𝑝𝑞∈𝑁1𝑝𝑞𝑞∈𝑁2𝑝𝑞

)+𝑃𝑇[|𝐷−𝐷|=1]+𝑃𝑇[|𝐷−𝐷|>1]

∑∑

𝑃𝑃

上式（3-29）中，C表示匹配代价，P

12

与P均为平滑系数，其值越大视差就越平滑，

规定P是数据项，表示视差为D时，所有像素点匹配代价

21

必须比P要大，𝐶(𝑝,𝐷

∑

𝑝𝑝

)

的和；后两项为平滑项，表示对以点p为中心的的固定窗口内的所有像素 q 进行惩罚；

第二项表示当相邻像素视差变化为 1 时惩罚力度较小；第三项表示相邻像素视差变化

大于 1 时惩罚力度较大，其中 P

12

和 P定义如下：

{ (3-30)

𝑃=4∗𝑐𝑛∗𝑤𝑖𝑛𝑑𝑜𝑤𝑆𝑖𝑧𝑒∗𝑤𝑖𝑛𝑑𝑜𝑤𝑆𝑖𝑧𝑒

1

𝑃=32∗𝑐𝑛∗𝑤𝑖𝑛𝑑𝑜𝑤𝑆𝑖𝑧𝑒∗𝑤𝑖𝑛𝑑𝑜𝑤𝑆𝑖𝑧𝑒

2

式中：cn为图像的通道数，windowSize 为窗口大小，由公式可知，当图像通道和

窗口定下来后，P

12

和 P为常数。

19

第3章 具体方案实施

（4）数据后处理

数据后处理为立体匹配的最后一步，该步骤主要是对提取出来的视差做进一步细化

工作，去除掉一些误匹配及遮挡区域等，以提高最终结果的准确性。首先进行唯一性检

测，只有当视差窗口范围内最低代价是次低代价的(1 + uniquenessRatio/100)倍时，最低

代价对应的视差值才是该像素点的视差，否则该像素点的视差为0(其中uniquenessRatio

是一个常数参数)。之后再进行亚像素插值操作，插值公式如式（3-31）所示：

{ (3-31)

𝑑𝑒𝑛𝑜𝑚2=

16

()

𝑆𝑝𝑑−1−𝑆𝑝𝑑+1+𝑑𝑒𝑛𝑜𝑚2

[][]

𝑑=𝑑+

𝑑𝑒𝑛𝑜𝑚2∗2

𝑚𝑎𝑥𝑆𝑝𝑑−1+𝑆𝑝𝑑+1−2∗𝑆𝑝𝑑,1

()

[][][]

接下来进行左右一致性检测，算法中右视差图通过得到的左视差图计算，若已知左

视差图数据dispL[X]，则右视差图数据为dispR[X-d]，如下图3-7所示：

图3-7 利用左视差图求右视差图

实际上，dispR[X-d]的确定方式是对比 dispL 包含的 X 和 X+n 的最小代价，我们

选择出代价最小的视差值来表示有效的视差值。当我们知道右视差图的值时，就可以利

用这样的条件来判断左图片中的像素点的视差值是否满足我们的预期。条件如下式（3-

32）所示：若满足该条件，即为误匹配点。

𝑑𝑖𝑠𝑝𝑅𝑋−𝑑−𝑑𝑖𝑠𝑝𝐿𝑋<𝑑𝑖𝑠𝑝12𝑀𝑎𝑥𝐷𝑖𝑓𝑓&&𝑑𝑖𝑠𝑝𝑅𝑋−𝑑−1−𝑑𝑖𝑠𝑝𝐿𝑋−1<

|||

[][]|[][]

𝑑𝑖𝑠𝑝12𝑀𝑎𝑥𝐷𝑖𝑓𝑓 (3-32)

以上工作完成后就进行最后一步处理，即连通区域的检测，该检测是对通过左右视

差图一致性检测后的误匹配点的重新检查，其基本原理是通过计算当前处理视差点所在

的连通区域内的像素点个数与设定阈值的大小关系，来判断其是否属于误匹配点。计算

过程中每个像素点都会被检测，对于被测点来说，计算过程以其为起点，检测到其周围

的连通点后再以对应点为起点继续检测，每检测到一个新的连通点就将计数器加一同时

对该点进行标记表示不再满足连通条件，依次进行直到对于每个点其周围都不存在连通

点时停止计数，此时的计数值即为当前点连通区域内的像素点个数，将该值与

speckleWindowSize进行比较（speckleWindowSize为平滑视差区域的最大尺寸，是一个

20

第3章 具体方案实施

设定的常参数），若计数值更大，则当前视差点就被判定为有效视差点，反之则把此点认

定为噪点，需要剔除。经过该过程，即可去除经过唯一性检测和左右一致性检测后残余

的噪点，可使匹配效果更加理想。

3.3.2 SGBM算法实现

立体匹配通过调用StereoSGBM( )函数实现，其中一些主要参数设置如下图3-8所

示：首先根据经验将预处理滤波器的截断值设置为63、检测窗口大小设置为33，惩罚

系数p1和p2按照经验公式设置，最小视差设置为0，则最大视差值就等于前面设定好

的视差窗口值，视差唯一性检测系数一般取5-15，此处取10，连通区域像素点个数与视

差变化阈值均按照经验值设置，为方便查看不同窗口视差效果先将Disp12MaxDiff设置

为-1，代表暂不进行左右一致性检测。

3.4 三维重建

经过前面的立体匹配，此时我们已经得到了视差图，现在利用立体校正过程中生成

的重投影矩阵Q即可计算三维点的坐标，如下式3-33所示：

𝑢

𝑋

′

′

𝑣

(

𝑌

′

)=𝑄∙ (3-33)

()

𝑑𝑖𝑠𝑝𝑢,𝑣

()

𝑍

1

𝑊

在进行如下式3-34所示变换即得到了最终的三维点坐标：

𝑋′

𝑊

𝑋

𝑌′

( (3-35)

𝑌

)=

𝑊

𝑍

𝑍′

()

𝑊

具体算法实现上通过调用reprojectImage To 3D函数即可实现此功能。得到各点坐

标之后将其显示出来即可得到三维点云图。

利用如上方式即得到了三维点云地图，若想得到更多的表面细节，则要进行三角剖

分，用数量众多的小三角形组成的表面来近似物体表面。

目前应用最广泛的是Delaunay三角剖分，该方法求解最优化的准则有外接圆准则

和最小角最大优化准则。

外接圆准则是指平面上任意一个三角形的外接圆内不包含点集中的任何其他点，如

下图AEF和AED均为Delaunay剖分的最优三角形，若是转到空间中则定义为任意一

个四面体的外接球中不包含其他点。

21

第3章 具体方案实施

图

最小角最大优化准则是指优化后使两个相邻三角形组成的凸四边形中，这两个三角

形中的最小内角一定大于交换凸四边形对角线后所形成的两个三角形的最小内角。

经过三角剖分后，所有三角形的平面片在空间拼出了物体的三维模型，这时只需要

把物体的纹理从图像中取出并映射至三维模型上就可以提供物体的真实模型了。

3.5 本章小结

本章对三维重建系统各部分设计进行了详细介绍，首先对张正友相机标定法算法原

理进行介绍，然后对具体标定程序进行设计。之后介绍了相机标定过程的实现方法，接

着对多种立体匹配算法进行分析对比，并对本文所选用的SGBM算法进行了详细说明，

最后介绍了由视差图获取三维点坐标的过程。

22

第4章 实验结果与分析

第4章 实验结果与分析

前面已经简单介绍了实验的一些基本原理及流程设计，现在进行实验测试，各部分

具体结果如下。

4.1 相机的标定

本实验选用97黑白棋盘格图片，将其打印出来后贴在硬纸壳上，如图4-1所示，

经测量，最终打印出来的标定板每个方格的实际边长为25mm，共取16对不同方向拍摄

到的图片，如图4-2所示。

图4-1 棋盘标定板

a 左相机标定图片 b 右相机标定图片

图4-2相机标定图片

23

第4章 实验结果与分析

获取标定图片后对每组图片进行角点提取，提取结果如图4-3所示，最终两相机标

定结果如图4-4所示。

图4-3 角点提取

如上图所示，通过双目标定得到了相机的旋转矩阵R和平移向量T，由结果来看，

左右两相机中心距离为11.7cm，与实际基线距离12cm相差不大，y方向上误差值为

0.04cm，精度较好，但z方向上平移量较大，说明制造过程中存在较大误差。

4.2 图像校正

完成相机标定后即获得了相机旋转矩阵与平移向量，这样就可以对采集到的图片进

行畸变校正和立体校正了，其校正前后图像如图4-6及图4-7所示：

图4-6 未校正前图片

24

第4章 实验结果与分析

图4-7 校正完成后图片

由图中结果对比可以看出，经过校正后两图像均发生了变化，尤其是纵向变化更

为明显，这正是由于行对准造成的现象。

4.3 立体匹配

经过校正后的图片对即可进行立体匹配，为便于观察，将输出图像分别设置为灰度

图和彩色图，得到结果如下图4-8所示，由图中可以看出匹配效果整体不错，但还有少

数噪点存在。

图4-8 立体匹配获取的视差图

4.4 三维重建

得到视差图之后利用重投影矩阵即可得到三维点坐标，利用这些点即可构建三维点

云地图，重建结果如下图4-9所示，由图片能够确切识别物体的形状，三维重建成功。

25

第4章 实验结果与分析

图4-9 三维重建点云模型

26

第5章 工作总结与展望

第5章 工作总结与展望

5.1 工作总结

本文主要研究了基于双目视觉的智能驾驶三维场景重建技术，从双目视觉、三维重

建及智能驾驶三方面对国内外研究现状进行了调查。重点对双目视觉三维重建技术进行

研究，并搭建系统，进行了相应实验分析。具体所作工作如下：

（1）研究并详细阐述了针孔相机成像模型及双目立体相机模型，为图像处理奠定

理论基础。硬件方面选取INDEMIND双目惯性模组，软件工具利用VS2015进行开发，

采用OpenCV3.3.1进行图像采集与处理工作。

（2）综合分析对比常用的标定方法优缺点，经过权衡采用张正友棋盘标定法进行

标定，标定板使用97黑白棋盘格标定板，每个方格大小为25mm25mm，多次调整与

相机距离，采取最终标定结果误差最小的一次数据进行保存，获取相机内外参数，以便

后面进行校正等操作。

（3）标定完成后打开相机采集图像，然后采用基于OpenCV的Bouguet 算法完成

对图像的校正处理，使图像处于同一平面且行对准，更便于进行立体匹配。

（4）完成图像校正后开始进行立体匹配，立体匹配分四步进行，首先使用Sobel算

子对图像进行预处理，以得到图像的梯度信息并进行保存用于后续计算。之后利用灰度

差值的绝对值AD来计算匹配代价，以较少误匹配。接下来进行动态规划，对视差图进

行平滑化处理。最后进行唯一性检测、左右一致性检测以及连通区域的检测等数据后处

理工作，达到去除噪点的作用。并通过重投影矩阵对视差图进行处理，得到各点的三维

坐标，并显示三维点云图，实现基于双目图片的三维重建功能。

（5）搭建系统进行了上述步骤，并对实验结果进行了分析。

5.2 工作展望

本文主要是对三维重建展开了重点研究，但本课题还有重多方面需进行细化研究，

主要有以下几个方面：

（1）本实验是基于双目视觉三维重建，但在研究过程中发现单靠双目相机采集信

息，信息容易发生丢失，采集不足对重建结果有很大影响，为更好的适应复杂多变的交

通系统，使结果更加准确可靠，未来的研究方向可能会向三目、多目系统发展。

27

第5章 工作总结与展望

（2）实验过程中发现光线、距离等外界环境因素对于结果影响较大，需要对算法进

行改进，使之功能更加稳定。

（3）本实验受限于硬件，能够测量的距离和精度有限，图像分辨率不高，为更好的

适应全环境，并更加准确、全面地采集信息，可使用性能更良、精度更高的相机进行信

息采集工作。

（4）由于计算机视觉存在受环境影响较大以及精度不足等缺陷，完善的智能驾驶

辅助系统可在以视觉为主的同时，配合雷达等其他设备的辅助技术，以达到适应性更高、

准确性更强的效果。

28

中国石油大学（华东）本科毕业设计（论文）

致 谢

站在熟悉得不能再熟悉的校园，却感觉初见时那个陌生的场景仿佛就在昨天，恍惚

间，时光竟已匆匆掠过四个夏天，回想过往实在有太多的感动。

首先感谢我的指导老师赵老师，从选题到结题，每一个过程老师都耐心指导我的工

作，点出并指导我解决存在的问题，同时还结合自身经历在未来的人生规划等方面对我

提出宝贵的建议，使我受益匪浅，在此我谨向赵老师表达我最真诚的谢意。

另外还要感谢这四年来陪伴我的每一位老师和同学。感谢各位老师在传授我学术知

识的同时还为我讲述做人的道理。感谢各位同学在学习和生活中一直对我给予包容和帮

助，使我能够快乐地度过大学时光。

当然还要感谢我的父母，生育之恩已然令我无以为报，教化之恩更是我所无法偿还，

感谢你们用尽自己的一切来呵护我，二十多年来为我而受的苦与累，你们不曾抱怨过一

句，索取的太多，我已无法还清，唯有用尽余生来爱护你们以表达我的感激之情。

天下无不散之宴席，即便再不舍也不得不互道珍重，最好的告别方式或许就是用对

未来最美好的祝愿来寄托了吧，衷心祝福各位老师和同学在未来的日子里一路坦途，万

事顺意！

29

参考文献

[1] 陈壮. 基于双目视觉的机器人识别定位及轨迹规划研究[D].青岛科技大学,2020.

[2] Guizzo E. How googles’s lf-dirving car works[J]. IEEE Spectrum Online,

October,2011,18.

[3] 贾会群. 无人驾驶车辆自主导航关键技术研究[D].中国科学院大学(中国科学院长春

光学精密机械与物理研究所),2019.

[4] Laskar M A, Das A J, Talukdar A K, et al. Stereo Vision-bad Hand Gesture Recognition

under 3D Environment[C]// International Symposium on Computer Vision and the Internet.

2015:194–201.

[5] Correal R, Pajares G, Ruz J J. Automatic expert system for 3D terrain reconstruction bad

on stereo vision and histogram matching[J]. Expert Systems with Applications, 2014,

41(4):2043-2051.

[6]Nguyen M, Gimel'Farb G, Delmas P. A WEB COMMUNITY FOR SHARED

COMPUTATIONAL STEREO VISION[J].

[7]卢毅,李晓艳,徐熙平.双目立体视觉三维重建技术[J].长春工业大学学

报,2015,36(06):678-682.

[8] 黄学然. 基于双目立体视觉的三维重建技术研究[D].西安电子科技大学,2018.

[9] 白荣侠. 基于立体视觉的三维重建关键算法研究及应用[D].西安电子科技大学,2010.

[10] 汪永超,耿丽清.摄像机标定系统方法研究[J].天津职业技术师范大学学

报,2019,29(02):59-62.

[11] 关梅茹. 基于双目立体视觉稀疏表示的三维重建方法研究[D].西安电子科技大

学,2018.

[12] 王淏,潘峥嵘,朱翔.基于双目视觉的无人机避障之研究[J].自动化与仪

表,2018,33(04):34-38.

[13] 马孝辉. 基于OpenCV的双目测距系统研究[D].武汉纺织大学,2011.

[14] 杨阳. 基于双目视觉的运动恢复结构[D].电子科技大学,2016.

30