《视觉导航智能车辆的目标识别精确性与实时性研究.docx》由会员分享，可在线阅读，更多相关《视觉导航智能车辆的目标识别精确性与实时性研究.docx（22页珍藏版）》请在三一办公上搜索。
1、视觉导航智能车辆的目标识别精确性与实时性研究1）概述2）视觉路径导航原理3）识别精确性研究（提高精确性的意义和方法：滤波、自适应阈值等）4) 实时性研究（软硬件方面；软件方面：优化算法、其他处理方法（减小图像处理区域等）5）总结 1.概述智能车辆技术智能车辆（Intelligent Vehicle）又称轮式移动机器人，是一个集环境感知、规划决策、自动驾驶等多种功能于一体的综合系统。它致力于提高汽车的安全性、舒适性和提供优良的人车交互界面，是目前各国重点发展的智能交通系统一个重要组成部分，也是世界车辆工程领域研究的热点和汽车工业增长的新动力。 智能车辆概述智能车辆的研究意义随着经济和社会的迅速发
2、展，交通基础设施的瓶颈制约作用越来越明显。这种制约不仅体现在交通堵塞问题日益突出上，同时还体现在由于交通不畅而造成的环境污染问题及相对落后的道路和先进的车辆对人们的生命、财产所形成的安全隐患。正因为如此，智能交通系统(Intelligent Transportation Systems, ITS)日益受到欧洲、日本、美国等发达国家的重视并成为研究热点。他们相继启动了各种以智能交通系统为目标的研究与开发项目。如欧洲的PROMETHEUS和DRIVE项目，日本的VICS和ARTS项目，美国的IVHS项目等。各国家各地区研究的项目内容，对智能交通系统的定义不尽相同，各项目的重点也有所不同，但目标都是
3、综合利用新的信息技术、计算机技术、自动化技术、管理技术等，来提高道路和车辆的利用效率，提高安全性，减少污染及阻塞的发生。ITS一般由两部分组成，即智能道路及交通控制系统和智能车辆系统IVS(Intelligent Vehicle System)。目前智能道路系统的构筑还处于起步阶段，相应的基础设施建设周期长且投资大，所以发展智能车辆及车辆自主行驶系统，通过提高车辆自身智能的方案是目前实现安全、高效的自主行驶的最佳选择，同时它还可为开发将来在完备的自动高速网络环境中运行的智能车辆奠定基础。 智能车辆作为智能车辆系统的基本组成单元，可以集成如视觉技术、触觉技术、自主控制和决策技术、多智能体技术、智
4、能控制技术、多传感器集成和融合技术等许多最新的智能技术，从而能够完成很多高智能工作。我国也已经把智能车辆列入国家高新技术计划，足以证明政府有关部门对发展智能车辆的高度重视。 智能车辆的应用范围由于智能车辆具有环境感知、规划决策、自动驾驶等功能，目前已经在以下场合得到了广泛应用。1智能交通系统为解决交通问题，各发达国家在ITS的研究上均投入了大量的人力、物力。自然而然，智能车辆就成为ITS的一个重要的组成部分，得到越来越多的重视。2柔性制造系统和柔性装配系统在计算机集成制造系统中，智能车辆用来运输工件，能够极大的提高生产效率，降低生产成本。3军事领域智能车辆的研究也受到了军方的关注。以智能车辆作
5、为其它智能武器的安装平台，能够实现全天候的自动搜索、攻击动静态目标，能够极大的提高在高新技术战争中的攻击力，减少人员伤亡。4应用于其它特殊环境智能车辆在有毒或放射性环境下运输，还可应用于野外探险、消防、救灾等。 智能车辆的研究状况1国外研究概况国外对于智能车辆技术的研究始于20世纪70年代末，最初是军方用做特殊用途的，80年代得到了更深入的研究。进入90年代后，由于与智能交通系统的结合，开始进入深入、系统、大规模研究阶段。西方各国对智能车辆技术的研究都投入了大量的人力、物力，智能车辆技术也相继取得了突破性的发展，尤其是美、日、欧等发达国家已经抢先一步，在智能车辆安全保障以及安全辅助导航技术取得
6、了许多有价值的研究成果，如自适应巡航控制(Adaptive Cruise Control, ACC)或智能巡航控制(Intelligent Cruise Control, ICC)系统、防碰撞系统(Collision Avoidance System, CAS)以及汽车队列(Platoon)等，并产生了明显的社会和经济效益。比较有代表性的智能车辆有：美国国防高级研究计划局(DARPA)与陆军合作研制的世界上第一台地面自主车辆（ALV），如图5-1所示。它采用高速计算机、三维视觉、先进的传感器和卫星导航等各种当时最新的或正在开发的技术，利用路标识别技术导航，在较平坦的越野环境中，以10千米/小时
7、的速度自主行驶了20千米。美国卡内基梅隆大学自上世纪80年代以来，先后开发了Navlab系列地面智能车辆。1992年研制的Navlab自主车在道路上以75千米/小时的速度自主驾驶了3.2千米。德国自80年代初期开始，奔驰公司与位于慕尼黑的联邦国防大学进行合作，已先后研发出VaMoRs和VaMoRs-P两种实验车。法国帕斯卡大学自动化与电子材料科学实验室与法国雪铁龙汽车技术中心合作，研制了Peugeo系统。法国国防部也开发了DARDS自主侦察演示车（如图5-2所示），既可自主驾驶，也可遥控。日本防卫厅技术本部第四研究所也研制了一种多用途自主车，如图5-3所示。它可在崎岖的道路上自主行驶，可用于扫
8、雷，也可作侦察车使用。 图5-1 世界上第一台地面自主车辆ALV 图5-2 法国DARDS自主侦察演示车 图5-3 日本多用途自主车 图5-4 CITAVT-IV自主车2国内研究概况我国是世界上公路交通发展最快的国家之一，汽车保有量迅速增加的同时，交通引发的各种问题尤其是行驶安全问题也日益突出，交通事故特别是恶性交通事故呈不断上升趋势，因此研究开发ITS势在必行，而作为ITS的重要组成部分，智能车辆研究亦显得尤为迫切。但由于起步晚，以及经济条件的制约，我国在智能车辆研究领域与发达国家有一定的差距，目前开展这方面研究工作的单位主要包括一些大学和科研机构，如国防科技大学、清华大学、吉林大学、北京理
9、工大学、中科院沈阳自动化研究所等。一汽和国防科技大学机电工程与自动化学院共同研发了中国第一辆自主驾驶车辆，如图5-4所示。该自主驾驶技术采用最先进的计算机视觉导航方案，能实时处理岔道、斑马线和虚线，对车体姿态变动和自然光照变化都有较强的自适应能力。19931995年，由南京理工大学、北京理工大学、浙江大学、国防科技大学、清华大学等国内六所大学联合组成的课题组承担了“地面军用智能机器人”的研究项目，移动机器人的代号为 7B.8。7B.8 系统的车体选用国产跃进客货车改制，车上安装有彩色摄像机、激光雷达、陀螺惯导定位、超声波传感器等。其体系结构以水平式结构为主，采用传统的“感知建模规划执行”算法，
10、其直线跟踪速度达到20km/h，避障速度达到510km/h。 清华大学计算机系智能技术与系统国家重点试验室在国防科工委和国家863计划的资助下，从1988年开始研制THMR( Tsinghua Mobile Robot )系列移动机器人系统。THMR-III系统的车体选用BJ1022面包车，上面安装有彩色摄像机、磁罗盘光码盘定位、GPS、超声等传感器。它的体系结构以垂直式为主，采用多层次“感知动作”行为控制、基于模糊控制的局部路径规划及导航控制。THMR-III自主道路跟踪时，时速达到510km/h。THMR-V系统能够实现结构化环境下的车道线自动跟踪，准结构化环境下的道路跟踪以及复杂环境下的
11、道路避障等功能。吉林大学交通学院智能车辆课题组从1992年开始一直开展智能车辆自主导航研究。在智能车辆的体系结构、传感器信息的获取与处理、路径识别与规划、智能车辆前方障碍物探测及车距保持等方面取得一定研究成果，目前已经研制了4代JUTIV型智能车辆。合肥工业大学机械与汽车工程学院对智能车辆的相关技术进行了研究，在智能车辆的控制体系结构、路径图像识别和跟踪控制、路径规划和避障等方面取得了一定成果。 智能车辆的研究方向目前智能车辆的研究方向主要有以下几个方面。1驾驶员行为分析(Driver Behavior Analysis)，主要研究驾驶员的行为方式、精神状态与车辆行驶之间的内在联系，目的是建立
12、各种辅助驾驶模型，为智能车辆辅助驾驶或自动驾驶提供必要的数据，如对驾驶员面部表情的归类分析能够判定驾驶员是否处于疲劳状态，是否困倦瞌睡等。2环境感知(Environmental Perception)，主要是运用传感器融合等技术，来获得车辆行驶环境的有用信息，如车流信息、车道状况信息、周边车辆的速度信息、行车标志信息等。3极端情况下的自主驾驶(Autonomous Driving on Extreme courses)，主要研究在某些极端情况下，如驾驶员的反应极限、车辆失控等情况下的车辆自主驾驶。4车辆运动控制系统(Vehicle Motion Control Systems)，研究车辆控制的
13、运动学、动力学建模、车体控制等问题。5车辆交互通信(Inter-Vehicle Communications)，研究车辆之间有效的信息交流问题，主要是各种车辆间的无线通信问题。6系统结构(System Architectures)，研究智能车辆系统的结构组织问题。7主动安全系统(Active Safety Systems)，和被动安全相对比，主动安全系统主要是以预防为主，如研究各种情况下的避障、防撞安全保障系统等。上述各研究方向也可比较概括的划分为以下三个大的研究方向。1监控、警告系统。此部分研究前方碰撞警告、盲点警告、行车道偏离警告、换道警告、十字路口防撞警告、行人检测、倒车警告等方面的问题
14、。2半自主式车辆控制系统。与上一部分相比，此部分具有更高级的车辆自动化，如当驾驶员对警告来不及反应时，系统接管车辆的控制，通过控制车辆的转向、制动等使车辆回复到安全状态。3自主车辆控制系统。此部分具有完全的车辆自动化，研究包括车辆自适应巡航、道路保持、低速等距行驶、排队行驶等方面的问题。智能车辆的关键技术智能车辆的研究涉及到计算机视觉、传感器数据融合、车辆工程、计算机控制等诸多领域。其主要关键技术如下。1导航技术1) 计算机视觉当我们驾车时，我们所接收的信息几乎全部来自于视觉。交通信号、交通图案、道路标识等均可以看作是环境对驾驶员的视觉通讯语言。很显然，人们就考虑到应用计算机视觉来解释这些环境
15、语言。视觉系统在智能车辆研究中主要起到环境探测和辨识的作用。与其它传感器相比，机器视觉具有检测信息大、能够遥测等优点。当将计算机图像信息与其它背景知识及其它传感器相结合，能快速提取复杂环境中的有用信息，进而产生合理的行为规划与决策。在行车道路检测、车辆跟随、障碍物检测等方面，机器视觉都起着非常重要的作用，是智能车辆研究中最重要的一种传感器。要使车载计算机视觉导航系统成为可能，必须使它具备实时性、鲁棒性、实用性这三方面的技术特点。实时性是指系统的数据处理必须与车辆的高速行驶同步进行；鲁棒性是指智能车辆对不同的道路环境，如高速公路、市区标准公路、普通公路等，复杂的路面环境，如路面及车道线的宽度、颜
16、色、纹理、动态随机障碍与车流等，以及变化的气候条件，如日照及景物阴影、阴天与雨雪等均具有良好的适应性；实用性是指要求智能车辆在体积与成本等方面能够为普通汽车用户所接受。为此，必须首先解决计算机及图像采集系统在体积及价格上的问题，即计算机在体积越来越小的前提下要有越来越强的计算能力，且成本与车辆总体的价格相比所占比重要很小。同样，图像采集系统在价格低廉的前提下的图像采集速度及图像前处理能力要强。随着计算机及电子技术行业迅猛的发展，在硬件条件上这已经成为可能。2) 引导磁钉或引导电缆这种导航技术通过在车道下埋设磁钉或电缆来为智能车辆提供导航信息。其优点是具有较好的环境适应能力，在雨天、冰雪覆盖、光
17、照不足、无光照的情况下都可以提供可靠的导航信息。其不足之处在于探测范围小，且需要对现行的道路设施做较大的改造。美国Chrysle公司和日本丰田公司的室外驾驶机器人均采用了电缆引导的方式，著名的美国PATH项目以及美国明尼苏达州的高速公路自动扫雪车采用了磁性导航方式。3) 惯性导航系统捷联惯性导航系统(Strapdown Inertial Navigation System，SINS)是一种完全自主式的导航系统，具有隐蔽性好、抗干扰、不受任何气象条件限制的优点，此外还具有数据更新率快、短期精度高和稳定性好等特点。长期以来，惯性导航系统的研究和应用一直以军事应用为主要目的。这主要是由于惯性导航系统
18、的成本较高，难以在民用领域得到应用。近年来，低成本惯性测量器件(Inertia Measurement Unit，IMU)的研究取得了快速的发展，为民用领域采用捷联惯性导航系统创造了条件。但是，短期内民用导航领域的惯性测量器件不可能具有较高的精度，使得SINS在较短时间内就会累积较大的导航误差。显然，这无法满足智能车辆长时间、高精度的导航要求。因此，在现有条件下，一般不单独采用SINS，而是将它与其它导航设备组合构成组合导航系统。这样不仅可以修正SINS的累积误差，而且还保留了SINS自身的优势。4) 全球定位系统/数字地图全球定位系统(Global Positioning System，GP
19、S)能够为全球用户实时而全天候地提供三维位置、速度和时间信息，并且没有累积误差。而载波相位差分GPS技术(Carrier phase differential GPS，CP-DGPS)已可以达到厘米级的动态测量精度。目前，车载数字地图(Digital Map，DM)技术得到了较大的发展与应用。车载数字地图基本上用于辅助驾驶，主要是为了给驾驶员提供位置信息、路径规划与诱导信息等。在车辆的自主驾驶研究中，同样可以利用DM进行导航与路径引导。但由于应用背景的特殊性，在精度、内容和功能上对数字地图提出了特殊的要求，需要进行专门的制作。2传感器及其数据融合表5-1 智能车辆常用传感器种类优点缺点主要用途
20、机器视觉探测范围广、检测信息量大、能够遥测等计算量大，系统实时性差；易受环境、气候影响；无法直接获得深度信息路径识别与跟踪、障碍物识别、驾驶员状态监测、驾驶员视觉增强等雷达微波可直接获得距离、速度，比红外或激光传感器气象适应性好，可穿透雨、雾、浓烟进行探测，探测距离远，技术成熟，应用较早分辨率较低障碍物探测、深度信息获取、测速雷达毫米波同微波雷达相比，体积小、重量轻；波束窄，具有更高的角分辨力和距离分辨力；带宽大、抗干扰能力强同微波雷达相比，作用距离较近，大气传输损耗较大障碍物探测、深度信息获取、距离成像激光测距与机器视觉相比，可直接获取环境的三维信息；与雷达相比，方向性好、体积小、波束窄、成
21、本低、无电磁干扰、距离及位置探测精度高数据噪声较大，受环境影响大，距离成像速度较慢障碍物探测、深度信息获取、距离成像超声波数据处理简单、快速，价格低探测波束角过大、方向性差、分辨率低、作用距离短近距离障碍物探测红外线环境适应性好；体积小，重量轻，功耗低；与超声波相比，其探测视角小，方向性略强，测量精度也有所提高分辨率低、作用距离短障碍物探测，红外成像，红外夜视等智能车辆的导航需要依据相关传感器获得的车辆位姿信息和路面环境信息作出决策，目前在智能车辆领域除视觉传感器外，常用的还有雷达、激光、GPS(Global Position System)等传感器。具体特点见表5-1。由于单个传感器的局限性
22、，单一传感器很难提供导航系统所要求的精度和可靠性，因此多传感器融合技术出现在智能车辆导航研究实践中。通过将多个传感器采集的信息进行合成，形成对环境特征的综合描述的方法，能够充分利用多传感器数据间的冗余和互补特性，获得我们需要的、充分的信息。多传感器融合的实质是多源不确定性信息的处理，在处理过程中信息的表示形式不断发生变化，从较低级的形式（如图像像素、超声波传感器探测数据等）直至系统需要的某种高级形式（如车辆位姿、障碍分布等）。按这些信息的流通形式和综合处理模式，多传感器融合系统可分为集中式、多级式和分布式三种融合结构。融合方法是多传感器融合的一个非常重要的研究内容，适宜的融合方法才能发挥出多传
23、感器融合技术的优势。针对具体的应用情况，有简单滤波法、加权平均法、贝叶斯估计法、统计决策理论法、Dempster-Shafer证据推理法、产生式规则法、卡尔曼滤波法、模糊逻辑推理法和人工神经网络方法等。3智能控制智能控制代表着自动控制的最新发展阶段，也是应用计算机模拟人类智能，实现人类脑力劳动和体力劳动自动化的一个重要领域。因智能控制是一门新兴学科，人们目前认为其包括递阶控制系统、专家控制系统、模糊控制系统、神经控制系统、学习控制系统5个方面。总体来讲，智能控制具有以知识表示的非数学广义模型和以数学模型表示的混合控制过程，也往往是那些含有复杂性、不完全性、模糊性或不确定性以及不存在已知算法的非
24、数字过程。其本质与智能车辆的本质相一致，故在智能车辆上取得了广泛的应用。目前美国及日本已经有应用专家控制系统知识建立的车辆辅助驾驶产品。该种产品能够提供合理的驾驶策略，如是否可超车、换道等动作；给出环境危险性警告，如前后车的安全距离等信息；监督驾驶员的精神状态，如驾驶员是否困倦等。4智能车辆控制体系结构智能车辆集多种传感器数据融合、视觉信息处理、环境建模、跟踪、避障等功能于一体；同时，由于现实环境的非结构化和不确定性，导致现有智能车辆缺乏灵活性和自主性。典型的例子是大多数智能车辆均是在高度结构化的环境下执行预先规定的动作序列，在新的环境下或遇到意外情况时不能很好地完成任务。引发问题的主要原因是
25、现实环境是非结构化的，存在不确定性。具体体现在：关于环境的先验知识通常是不全面的、不确定的和近似的；感知器得到的信息通常是不可靠的，存在着噪声和测量误差；现实的环境通常具有复杂和不可预测的动态特性，如物体的移动、环境的改变等；控制作用并非完全可靠，如车轮打滑等等。为了解决上述存在的问题，目前的研究重点已集中在设计一种良好的控制体系结构，能克服环境的不确定性，可靠地完成复杂任务，且成本低，鲁棒性好。体系结构的主要任务是如何把感知、规划、决策和行动等各种模块有机地结合起来。智能车辆系统能够模拟人的智能行为和功能，其体系结构的作用包括：把各个子系统连接成一个整体，包括各个部件的接口规范、通讯协议和数
26、据流程。统一管理、调度各个子系统，控制它们功能的发挥，按总体工作模型进行协调工作，使各子系统步调一致地完成总体任务。可见，智能车辆系统的体系结构起到了总体集成及总体调度的作用，其设计的优劣直接关系到系统整体性能的发挥和智能水平的高低。目前最典型的体系结构为分层递阶式和包容结构。分层递阶式将智能控制系统分为三级：组织级、协调级和控制级。它采用的自上而下的基于层层分解的问题求解的方法，与人类思考问题的方式相类似，具有很高的智能，其缺点是反应速度太慢。包容结构自底向上构建系统，是一种典型的反应式结构。它用行为封装了系统控制中应具备的感知、避障、规划和执行任务等能力，因此它能够产生一些有意义的动作；这
27、些动作反过来可以组合成不同水平的能力。这种控制结构在实际控制中具有较强的自治能力，瞬间反应快，缺点是系统缺乏明显的目标，难于规划有目的的动作。由于两种基本结构各有优缺点，研究者们在吸取它们优点的基础上又先后提出了多种混合式结构。2.视觉路径导航原理视觉导航智能车辆的路径图像识别近年来，视觉导航在智能车辆导航中获得了广泛应用58-61。机器视觉相对于常用的传感器如测距仪等来说，具有信息量丰富、成本低、智能化水平高等特点。但是，因其处理的数据量较大，致使实时性较差。同时在复杂或干扰因素较多的环境中，如何准确地识别出路径图像，也是一个主要难题。在视觉导航中，基于路径导航的方法具有原理简单，技术成本和
28、费用低等特点，成为当前的研究热点，其关键问题是对导航路径识别的准确性和实时性。为此，采用先滤波、阈值分割，再滤波的方法以提高准确性；同时为提高识别速度进行了实时性处理。3.1基于视觉的路径导航原理3.1.1 基本原理基于视觉的路径导航基本原理6264是：假设智能车辆在较平坦的路面行驶，根据地面设置的条状路径和路面背景的图像灰度值的差异，经过图像处理后便可识别出导航路径。通过提取路径的各边缘点，可以得到路径的中心线；根据此中心线的位置来判断车体与导航路径的相对位置关系（导航参数），从而进行跟踪控制。简单的路径导航直线模型65-66如图3-1所示。它将智能车辆视觉传感器获得的导航路径视为一条直线，
29、通过图像识别算法识别该路径并得到其中心线。然后得到智能车辆相对于导航路径的导航参数，即角度偏差和位置偏差。图3-1 智能车辆路径导航的直线模型图3-2为视觉智能车辆路径导航原理示意图。角度偏差和位置偏差构成的向量X为控制器输入；控制器根据跟踪控制算法输出控制指令，使智能车辆状态S发生变化；角度偏差和位置偏差相应地发生变化，其更新后的数值经视觉传感器和图像处理后得到，作为输入量再次进入控制器。图 3-2 视觉智能车辆路径导航原理示意图3.1.2 路径导航的改进方法为了增加智能车辆的视野范围，将摄像机镜头与水平方向成45安装。这使得摄像机获取到的导航路径长度增多，同时也增加了图像变形，若仍认为导航
30、路径为直线会产生较大的误差。因此，必须对导航参数的提取方法做出改进。图3-3 摄像机采集到的路径图像图3-4 实际路径图像导航参数提取简图图3-3为摄像机采集的路径图像示意图。其中建立了两个图像处理区域，路径识别时仅对这两个区域进行处理。这样做的目的是减少数据处理量，以提高识别的实时性。由于在这两个处理区域内的导航路径长度较短，可以认为导航路径为直线。两个图像处理区域平行于轴，轴、轴分别平分上下两区域。经变形矫正67后得到图3-4所示的实际路径导航参数提取图。经变形矫正后，和相对于图3-3中轴的位置变成了相对轴的位置和。图3-3中坐标系与图3-4中的坐标系存在关系68 (3-1)式中为常数，由
31、摄像机标定获得。通过图像处理算法获得图3-4中两区域内路径左右边缘的像素点坐标，就可以计算出其对应的实际图像点坐标（在坐标系中）。为了便于分析智能车辆相对于路径的位置情况，将坐标系变换为，变换关系为 (3-2)式中，和分别为梯形区域的下底和高。以图像处理区域1中的第i行为例，获得路径的左右边缘点坐标为和（计算机坐标系UPV下，见图3-3），再根据式(3-1)和(3-2)的坐标变换关系，即可将和坐标变换后变为坐标系下的和，进而计算得到导航路径中心线上的对应点C1i坐标，即 (3-3)重复以上操作，得到图像处理区域内路径中心线上各点坐标。得到图像处理区域内中心线上的对应点坐标后，应用最小二乘法69
32、拟合出中心线和。其方程分别为，则和点的坐标分别为()，（）。最后将和的交点与和的交点连接起来，得到直线。若直线方程可表示为 (3-4)其中 (3-5)从而得到导航参数，即智能车辆相对于导航路径的角度偏差和位置偏差分别为 (3-6) (3-7)在此规定直线相对于轴正向右偏时为正，反之为负；沿轴正向偏移时为正，反之为负。3.2 导航路径识别的数学基础导航路径的识别是通过对获取的路径图像进行相关处理来实现的。计算机不能直接接收和处理视觉传感器获取的模拟图像信号，只有将图像在空间和维度上都离散化为数字信号后才可处理70。图像的数字化过程通过采样和量化两步完成。采样量化后的数字图像就是个灰度值的二维数组
33、。若该数组用来表示，含义是位于坐标处的像素，其灰度是。函数是数字图像的一个数学模型，有时也被称为图像函数。数字图像本质上说就是具有离散值的二维矩形阵列。图像空间位置和灰度值都被离散化成离散的数值。这样图像就能存储在计算机的存储器中。一般像素灰度用一个字节（8bit）表示，取值范围为0255。256级一般是可以从传感器获取的全部精度，通常可以满足一般应用。以字节数为单位也方便计算机的存储和运算。例如，一副图像在C语言的程序里可以被说明为char720576。把图像的数学模型看成是两个实际空间参数的函数，在描述图像和定义图像运算时都带来了极大的方便。一副个像素的数字图像，其像素的灰度值可以用列和行
34、的矩阵来表示，如图3-5所示。这样，对数字图像的各种处理就可以变成对矩阵的各种运算。图3-5数字图像示意图路径识别的主要目的是检测出导航路径的边缘。边缘是数字图像局部灰度变化最明晰的部分，主要存在于目标与目标、目标与背景、区域与区域之间，是图像分割、纹理特征提取和形状特征提取等图像分析的重要基础71。图像中的边缘通常与图像灰度或图像灰度的一阶导数的不连续性有关。图像灰度的不连续可分为以下两类。阶跃不连续，即图像灰度在不连续处的两边的像素灰度值有着显著的差异。线条不连续，即图像灰度突然从一个值变化到另一个值，保持一个较小的行程后又返回到原来的值。边缘检测通常有如下四个步骤。滤波：边缘检测算法一般
35、是基于图像强度的一阶和二阶导数，但导数的计算对噪声敏感，因此必须使用滤波器来改善与噪声有关的边缘检测器的性能。需要指出的是，大多数滤波器在降低噪声的同时也导致了边缘强度的损失，因此，增强边缘和降低噪声之间需要折衷。增强：增强算法可以将邻域灰度中有显著变化的点突显出来。边缘增强一般是通过计算梯度幅值来完成的。检测：在图像中有许多点的梯度幅值比较大，而这些点在特定的应用领域中并不都是边缘，所以应该用某种方法来确定哪些是边缘点。最简单的边缘检测是依据梯度幅度阈值来判断。定位：在一些特定场合要求确定边缘位置，则边缘的位置可在子像素分辨率上来估计，边缘的方位也可以估计出来。3.3. 导航路径识别的流程和
36、方法将以上边缘检测的四个步骤应用在导航路径的识别中，即在识别每一帧路径图像时，依次进行图3-6所示的处理21。图3-6 路径识别流程图3.3.1 基于阈值的中值滤波滤波是信息处理领域中最为基础的研究内容。对图像信号的滤波不仅要具有良好的消噪声能力，同时还要很好地保护图像的细节。传统的线性滤波、中值滤波都存在着模糊图像细节的缺点；一般的自适应中值滤波对于椒盐噪声的消噪效果十分理想，但对随机脉冲噪声的消除并不理想72。为此使用基于阈值的中值滤波方法。该方法以局部方差作为判断噪声点的阈值，即以像素点的局部方差作为该像素点是否为噪声的判断依据；从而形成良好的局部自适应性，对于椒盐噪声和随机噪声都有良好
37、的消噪能力，并且可以较好地保护图像的细节信息。将图像信号的均值和均方差作为区分噪声和真实像素的阈值，正、负阈值分别为： (3-8) (3-9)式中、分别为正负阈值。即当像素灰度值大于等于或小于等于时，认为该像素为噪声污染，进行中值滤波；否则视为真实像素点，不进行中值滤波。为图像像素点的邻域均值，为均方差；为调整系数，平衡消噪能力和细节保护能力。 在对图像中待处理像素进行滤波时，选择大小的滤波窗口73，基于阈值的自适应中值滤波算法如下。计算滤波窗口的局部均方差，均值；利用式(3-8)、(3-9)分别计算正负阈值；判断窗口中心点是否为噪声点。如果是则进行中值滤波，否则不滤波；将窗口移动到下一位置，
38、回到第步重复操作，直至完成所有待处理像素。3.3.2最优阈值分割阈值分割73是依据一定的阈值将导航路径从图像背景中分割出来，以得到边缘信息。阈值分割相当于对图像进行二值化处理，增强路径和背景的对比度，以便有利于找到路径的边缘线。阈值分割的基本思想是确定一个阈值，然后把图像中每个像素点的像素值和阈值相比较，根据比较结果把该像素划分为前景或背景。可见阈值分割效果的好坏直接取决于阈值的选取。由于光线和随机噪声的干扰，若用一个固定阈值进行分割，则会产生一定的误差。为尽可能减小误分割的概率，理论上采用最优阈值法效果较好。由于一幅图像包含两类主要灰度值区域（目标和背景），所以图像的直方图所近似代表的像素灰
39、度值概率分布密度函数实际上是对应目标和背景的两个单峰分布密度函数之和。如果已知密度函数的形式，就可计算出一个最优阈值，用它可把图像分成两类区域，从而使误分割率最小74，见图3-7所示。实际上，一般可认为图像背景和目标均近似满足正态分布，则整幅图像的混合概率密度为 (3-10)式中，和分别为背景和目标区域灰度值的先验概率，且，和分别为背景和目标区域的平均灰度值，和分别是关于背景和目标的均方差。需确定一个阈值，使得灰度值小于的像素分割为背景而使灰度值大于的像素分割为目标。这时，错误地将目标像素划分为背景的概率和将背景像素错误地划分为目标的概率分别是 (3-11) (3-12) 从而总的误分割概率为
40、 (3-13) 当满足0时，可使得最小。可得到 (3-14) 综合可得到 (3-15) 一般可近似认为，若，则 (3-16) 图3-7 最优阈值确定示意图由于和不容易求得，最优阈值的准确值也就很难找到。所以为方便算法实现，先选取图像灰度范围的中值作为初始值，然后迭代求得其近似值。具体迭代步骤为求出图像中最大灰度值和最小灰度值；给定初始阈值以及迭代时新旧阈值的允许接近程度；求出灰度值的所有像素点的数量及累积和，以及灰度值的所有像素点的数量及累积和；计算，确定新阈值；如果，则为最终阈值，否则，转至步骤。针对具有不同光照条件的路径图像，采用上述最优阈值法进行阈值分割。随着光线的增强，最优阈值也随之增
41、加，减小了光线变化对阈值分割的影响，提高了图像分割的鲁棒性。3.3.3 数学形态学滤波考虑到经最优阈值二值化后的图像是由近似矩形的路径和碎屑状噪声组成，对图像进行数学形态学运算中的开运算以去除碎屑状噪声。数学形态学是一种分析几何形状和结构的数学方法，其基本的形态学运算子有：膨胀、腐蚀、开和闭75。设f(x)和g(x)为定义在二维离散空间F和G上的两个函数，其中f(x)为输入图像，g(x)为结构元素，则f(x)对于g(x)的腐蚀和膨胀分别定义为76 (3-17) (3-18)f(x)对于g(x)的开运算定义为 (3-19)对图像进行开运算后，得到恢复噪声污染的效果，如图3-8所示。 a）阈值分割
42、后的二值化路径图像 b）基于数学形态学运算的滤波效果图 图3-8基于数学形态学运算的滤波效果图3.3.4 实时性处理智能车辆在实时运行时，必须保证在下一个图像采样周期到来前完成上一采样图像的处理，即保证图像处理的实时性。因此在准确识别导航路径的同时，还必须保证路径图像识别的速度。在识别一帧路径图像时，要完成图3-5所示的所有步骤。这在一定程度上保证了识别的鲁棒性，但同时带来了较大的数据处理量，从而导致实时性下降。考虑到导航路径图像由一行行的像素点组成，路径的连续性使得路径相邻两行之间的对应左右边缘点位置相差不大。为此，除划分上、下两图像处理区域以减少图像数据处理量外，还利用同帧路径图像中上一行
43、的边缘位置来限定相邻下一行的边缘点范围，从而缩小各行中需要进行处理的像素点个数，达到提高实时性的目的。具体步骤如下。在两个图像处理区域内，分别对第一行所有像素进行图3-6所示的处理，得到路径左右边缘点。如果没检测到（该行对应区域无路径），则对下一行继续进行处理，直至检测到左右边缘点位置与，如图3-9所示。图3-9 路径识别的实时性处理检测到第一行边缘点后，在处理第二行时就不再像步骤那样对整行进行处理，而是确定一个宽度，单位是像素。在该行的位置范围内进行处理，得到该行边缘点和；再在之间寻找第三行的左右边缘点，直至得到处理区域内导航路径的各行左右边缘点。只要值选取合适，就能够在区间上找到该行的左右
44、边缘点。当值偏小时，会导致找不到或找到错误的边缘点；值过大虽能够保证找到，但增加了运算量，不利于提高实时性。以上方法具有3个优点：大大减少了需要进行滤波、最优阈值计算、二值化及形态学运算的像素点个数，因此数据处理量大大减少，实时性得到提高。在计算最优阈值二值化图像时，不是在整个图像处理区域内获得一个阈值，而是在各个子区域获得各自的阈值，因此得到的阈值和图像二值化更准确。在检测下一行边缘点时，把候选边缘点限定在较小候选区间内，在一定程度上提高了抗干扰能力。3.3.5 区域最优阈值3.3.2中介绍的最优阈值算法可以对整个一幅图像数据进行操作，也可以对局部图像数据进行操作。通过对其算法进行研究发现，
45、对整个一幅图像数据进行整体最优阈值的计算比对同一幅大小的图像数据进行分区域的局部最优阈值计算的总运算量要大。为此，在进行3.3.2中所述的阈值分割时，对视觉传感器采集得到的图像进行分块最优阈值的求解，从而可以达到降低计算量的目的。由于分区域求解阈值，使得每个区域阈值仅用来二值化其对应区域的图像，因此与整体最优阈值相比，图像二值化的精度得到了提高。同时，与3.3.4中利用导航路径连续性检测路径边缘点时的处理相类似，在确定某一帧图像划分的第一个区域的最优阈值后，由于邻近区域的最优阈值与其较为接近，可以将第一个区域的最优阈值作为该邻近区域的初始最优阈值，再利用3.3.2中给出算法进行求解，从而又降低了运算量。3. 识别精确性研究（提高精确性的意义和方法：滤波、自适应阈值等）4.实时性研究（软硬件方面；软件方面：优化算法、其他处理方法（减小图像处理区域等）5.总结
