智能交通系统中的运动目标检测与算法研究pdf

　　1.本站不该用户上传的文档完整性，不预览、不比对内容而直接下载产生的问题本站不予受理。

　　智能交通系统中的运动目标检测与算法研究 摘要：智能交通系统(ITS) 是现今社会建设蓬勃发展的事业，是交通管理 急需改善的领域，也是各个国家学者研究的热点。基于视频的运动目标 检测与算法是智能交通系统的重要组成部分与基础技术。在实际视 频的应用中，运动目标的检测与面临着诸如目标遮挡、形态变换等 复杂场景的巨大的挑战。 针对上述问题，本文在研究和总结了目前运动目标检测与算法 的基础上，提出了一系列的改进方法，改善了运动目标检测的效果，在 运动目标过程中设计了能够处理目标遮挡、形态变换的算法， 然后针对完全遮挡的情况进提出了一种遮挡时的目标搜索策略，实现了 完全遮挡情况下的运动目标。完成的主要工作如下： (1)运动目标检测算法。为了改善传统混合高斯背景模型检测目标容 易出现目标断层的问题，本文设计了一种帧差和混合高斯模型相结合的 目标检测算法，使得背景差分时更好地提取目标前景，有效地改善了目 标断层的情况。 (2)运动目标算法。本文提出了一种分块 Mean-shift 的目标 算法，对运动目标进行分块处理，先用Kalman 滤波器对目标进行预 测，各子块分别使用 Mean-shift 算法在预测进行，然后跟 踪检测器检测目标小块的有效性，筛选出无效的目标小块，解 决了目标分块造成性能下降的问题。该算法增加了对目标空间信息 的检测，可以有效地克服弥补了Mean-shift 算法的局限性，增加了 的鲁棒性。 (3)遮挡情况下的。遮挡问题主要分为部分遮挡和完全遮挡两种 情况，部分遮挡的表现形式和目标形态变换一样，都归结为目标部分信 息的丢失，因此可以根据本文的分块Mean-shift 目标算法直接进行 处理；目标完全遮挡时，采用自适应步长选择的NCC 匹配结合前景检测 的方法，重新寻找出离遮挡的目标，实现遮挡情况下的。 根据上述算法，本文进行编程实现，在实测视频中仿真实验。实验 结果表明，本文算法在目标遮挡、形态变换等的复杂场景下实现了有效 I 万方数据 地准确地。 关键词：目标检测；目标；遮挡；Mean-shift；归一化互相关； 分类号：TN911.73 II 万方数据 TheResearchonMovingTargetDetectionandTracking MethodinIntelligentTransportationSystems Abstract：Intelligent Transportation System (ITS) is the project which develops rapidly in our social construction, but ITS is one of the region which still need to improve urgently, meanwhile, ITS is the hot area of research in the different countries. The algorithm of moving target detection and tracking based on video is the important part of the ITS and the basic technologies. However, the algorithm of moving target detection and tracking ces the enormous challenges of the complex environment, such as occlusion and variation of target, in practical application with video. Aimed at the problem above, this proposed a series of developed methods, which tackle well with the problem of target detection and tracking after the investigation of the methods of moving target detection and tracking at present. The tracking algorithm proposed is mainly designed to deal with the problem of occlusion and variation of target. In order to overcome the problem of complete occlusion of target, a target search strategy is proposed, which is succeed in the application of the target tracking. There are the main works finished as follow: Firstly, the moving target detection. In order to solve the problem that ult of target with traditional Gaussian Mixture Model, the algorithm of moving target detection that combined the inter-frame difference method and Gaussian Mixture Model is proposed. Therefore, the foreground objects are extracted from background more apparently, and the problem that ult of target is solved. Secondly, the algorithm of target tracking. The blocked tracking algorithm of Mean-shift is proposed. The target is divided into some similar sized blocks, and the position of the small blocks are predicted by Kalman filter. The tracking algorithm of Mean-shift is respectively used in tracking the small blocks at the position predicted by Kalman filter. The effectiveness of target blocks are estimated by tracking detector and the invalid blocks are screened from the target. Thus, the problem that the reduction of III 万方数据 tracking performance caused by target incision is solved. Much more spatial information can be detected by the method, so the limitation of Mean-shift algorithm is made up and the robustness of tracking method is increased. Thirdly, under the condition of occlusion. The problem of occlusion can be separate into complete occlusion and partial occlusion. Both the problem that variation of target and partial occlusion, belong to the problem that partial information loss. Therefore, the blocked tracking algorithm of Mean-shift is straightly used to track the target under the condition of partial occlusion. When the target is occluded completely, the normalized cross correlation image matching algorithm based on adaptive step size and the method of foreground detection are used to search the target information out of occlusion, and the tracking is successful under the condition of occlusion. According to the methods above, th ese algorithms is programmed by computer tested with the videos. The experiment results indicate that the proposed algorithm can efficiently and accurately track target under the condition of occlusion and variation of target. Keywords：target detection ；target tracking ；occlusion ；Mean-shift ；NCC Classification：TN911.73 IV 万方数据 目 次 摘要… Ⅰ 目次 V 图表清单VII 1 绪论 1 1.1 选题依据及背景概述 1 1.2 国内外智能交通系统研究现状 2 1.3 运动目标检测与技术的研究现状 3 1.4 主要研究内容及章节安排 5 2 基于帧差和混合高斯相结合的目标检测 7 2.1 7 目标检测主要算法及原理 2.1.1 光流法 7 2.1.2 帧间差分法 8 2.1.3 背景减除法 8 2.2 帧差和混合高斯相结合的背景模型 9 2.2.1 混合高斯背景模型的缺陷 9 2.2.1 混合高斯背景模型原理及其步骤 10 2.2.2 改进的检测方法 12 2.3 基于帧差和混合高斯结合算法的实验及分析 12 2.4 运动目标的提取及分析 14 2.5 本章小结 15 3 分块MEAN-SHIFT 的目标算法 16 3.1 算法介绍 16 3.2 分块Mean-shift 目标算法 17 3.2.1 复杂场景中的运动目标 17 3.2.2 Mean-shift 算法 18 3.2.2.1 核密度梯度估计 19 3.2.2.2 均值偏移向量 20 3.2.2.3 Mean-shift 22 目标算法 V 万方数据 3.2.3 结合Kalman 滤波的Mean-shift 算法 25 3.2.3.1 Kalman 滤波原理与流程25 3.2.3.2 结合Kalman 滤波的Mean-shift 算法及流程 26 3.2.4 分块Mean-shift 算法的实现27 3.2.4.1 分块 27 3.2.4.2 检测器 28 3.2.4.3 算法实现步骤 29 3.3 实验结果及分析 31 3.4 本章小结 33 4 遮挡情况下的运动目标 35 4.1 运动目标遮挡的分析 35 4.2 完全遮挡下的 36 4.2.1 36 目标完全遮挡时的目标搜索方法 4.2.2 自适应步长选择的NCC 图像匹配算法 37 4.2.2.1 归一化互相关算法 37 4.2.2.2 38 自适应步长选择的搜索机制 4.2.2.3 归一化互相关系数算子的改进 40 4.2.2.4 匹配算法实现步骤及效果 42 4.2.3 46 目标完全遮挡流程 4.3 实验效果及分析 47 4.4 本章小结 49 5 结论与展望 50 5.1 工作与总结 50 5.2 展望 51 参考文献 53 作者简历57 VI 万方数据 图清单 图2. 1 背景减除法流程图 9 图2. 2 混合高斯背景建模 10 图2. 3 帧差和混合高斯结合算法流程图 12 图2. 4 基于帧差和混合高斯结合算法实验效果 13 2. 5 14 图 目标提取实验效果 图3. 1 Kalman 滤波预测与更新26 3. 2 28 图 运动目标分块 3. 3 Mean-shift 30 图 分块 算法流程图 3. 4 Mean-shift Mean-shift 33 图 传统 和分块 算法效果图 4. 1 39 图 归一化互相关系数三维图 4. 2 40 图 城区距离 4. 3 40 图 城区距离步长搜索机制 图4. 4 Lena 图像匹配结果 43 图4. 5 PCB 板图像匹配结果44 4. 6 45 图 遥感图像匹配结果 4. 7 47 图 目标遮挡算法流程图 4. 8 48 图 遮挡汽车结果 4. 9 49 图 遮挡行人结果 表清单 表4. 1 实验图像的相关系数和index 47 表4. 2 Lena 图像不同算法的匹配和匹配时间 48 表4. 3 PCB 板图像不同算法的匹配和匹配时间50 4. 4 50 表 遥感图像不同算法的匹配和匹配时间 VII 万方数据 中国计量学院硕士学位论文 1 绪论 1.1 选题依据及背景概述 随着社会的不断进步、科技的飞跃发展，机动车数量急剧增加，城市交通 面临着越来越大的压力，伴随而来的交通拥堵问题、交通安全问题成为了困扰 社会秩序稳步进行、生活健康发展的严峻难题。全世界各个国家都在不同 程度上受困于日益严重的交通问题，在国内这种情况也是尤为突出，大中城市 的交通问题已经持续严重地困扰了多年，和广州等城市已经已经对机动车 购买实行了，杭州最近也已经出台了机动车限购令，而最近几年车辆的急 速增长导致了交通问题正向越来越多的小城市蔓延，严重影响了人们的生活质 量。与之相对应的是，社会整体的交通力度不够，也没有行之有效的监管 方式。虽然这些年国内的基础设施建设与道交通设施建设有了长足的发展与 进步，如越来越多的高铁已经纵横贯穿全国，越来越多的个大中城市 已经开通或者正在兴建地铁线，但是依然远远无决快速增长的机动车数 量所造成的交通问题。而基础设施建设是不可能在短时间内实现快速的飞跃， 因此简而有效的道交通监管控制方法——智能交通系统便开始发挥重要的作 用，并日益受到世界的重视。 交通系统(Intelligent Transportation System, ITS)[1-3] 是最近几十年由学者们 提出的，是一门新兴的学科。它将先进的通信技术、计算机技术、控制技术、 传感技术等有效地结合起来，并通过建立一个大范围、全方位的智能道交通 管理系统，实现对整个交通网络进行实时、高效、稳定、精确地管理以及 运行。智能交通系统可以将具体的交通信息实时地提供给我们，并可以在 全监督、半监督、无监督等情况下，对提供的交通信息进行充分的掌握与分析， 然后根据交通情况作出判断与决定。智能交通系统可以针对道拥堵、车辆异 常行为情况，通过对交通信息的分析理解作出及时的判断并给出解决方案，有 [4] 效降低交通事故的发生率，改善道交通的运行状态 。 传统的交通监管方法是通过地感线圈和雷达等方法对交通进行检测， 或者通过摄像头采集到的交通视频数据人为地通过对交通进行分析监 管，然后工作人员针对具体情况作出相应的操作指令。一方面，交通状况复杂 1 万方数据 中国计量学院硕士学位论文 多样，人为地对视频判断分析可能存在误差或者是漏检等情况；另一方面，交 通监管覆盖广泛，人为地监管需要消耗大量的人力，提升了成本。因此，相比 较于传统的交通管理方法，智能交通系统可以针对摄像头采集到的视频数据信 息，利用计算机技术、数字图像处理、模式识别等领域的知识，根据相关算法 对提供的数据自动进行分析，分析过程中并不需要人为对视频机械式地监管， 实现智能识别控制的目的，为决策者提供直观、准确的信息。更加快捷有效地 对交通网络实现全方位的管理，减少了大量的人力物力，节约了巨大的社会资 [5,6] 源 。 智能交通系统在实际运营时，可以利用视频中含有的丰富的信息，对运动 目标进行检测、、识别、行为理解、异常判断等多方面的应用。首先运动 目标的检测与是后续行为识别分析的前提与基础，对交通视频信息进行检 测与后可以地分离出运动目标，得到目标的具体信息，如数量、密度、 大小、行为轨迹等，利用这些信息可以对交通状况进行调整规划，如根据具体 的车流量来调整红绿灯的时间，以便于减轻交通拥堵的状况，提高道交 通的利用率，改善交通，降低事故发生概率。然后，对得到的目标信 息进行统计分析、识别理解、异常判断等，例如车辆的行为判断，包括超车、 闯红灯、交通事故等事件的检测；行人的行为识别，包括行人异常行为报警、 行人闯红灯等事件的检测。智能交通系统的广泛应用将极大程度地改善交通道 状况、把人力从繁琐的低级劳动中解放出来，建立良好的智能交通网络将是 [7] 今后的发展方向 。 1.2 国内外智能交通系统研究现状 智能交通的研究在欧美等发达国家发展较早、速度较快，目前欧、美、日是 智能交通系统应用开发最好的国家。美国是从上世纪六十年代开始对智能交通 系统进行研究建设的；上世纪九十年代初，智能交通系统得到了越来越多的重 视，美国对智能交通系统的开发应用进入到了大规模投资的阶段；到了九十年 代中期，已经确定了多达一百多项相关的研究项目，并且成立专门组织用于智 能交通系统相关项目的研究发展；新世纪以来，美国投入了两千多亿美元用于 构造全国范围的智能交通系统，整个系统网络覆盖各个城市的主要交通道， 关键段和重点地区都装配有摄像头用以提供实际的详细的交通信息，实 时地监管着交通状况。日本是从上世纪七十年代开始投入智能交通系统的建设 2 万方数据 中国计量学院硕士学位论文 与研究；在上世纪九十年代中期，日本通过投入大量的经费与人力，相继建成 了交通信息通信、智能交通控制、交通管理等系统；目前日本已经建设了比较 完善的智能交通系统网络，适用于全国交通实时与运行。欧洲对智能交通 系统的研究是通过欧盟和各个国共同参与开展的，委员会在1969 年 提出在国之间建设交通控制技术设施；上世纪八十年代末，欧盟投资了五 十多亿完善交通道设施，提升交通服务建设；目前欧洲正在开展全面的 智能交通建设工作，覆盖欧洲范围的无线数据通信网络，智能交通系统的交通 [8-10] 监管控制都是围绕着该无线通信网络展开的 。 我国对智能交通领域的研究建设起步较晚，1994 年我国专家学者参加了在 法国巴黎召开的第一届ITS 世界大会，这揭开了我国对智能交通系统领域开展 研究的序幕；1999 年交通部公科学研究所牵头的国家科技攻关重点项目《中 国智能交通系统体系框架研究》，在全国相关领域的数百名专家参与下，全面地 展开了研究工作，并在2001 年顺利完成课题研究。2002 年国家科技攻关重点项 目“智能交通系统关键技术开发和示范工程”在、上海、广州、杭州等十 个城市范围内试点实施开展。2007 年第十四届ITS 世界大会在举行，展示 了这些年来中国在智能交通领域所取得的重要发展与成就，增强了中国在智能 交通领域的对外交流。虽然中国的智能交通系统的研究与推广起步不久，与西 方先进国家相比还存在一定的差距，但是中国在该领域的建设正处于蓬勃发展 的阶段，和国家交通管理部门也逐年加大了经济投入，随着我国社会经济 建设的持续快速发展，越来越多先进的科学技术将会应用于智能交通系统的设 [11] 计改进中来，我国在该领域的发展前景广阔、潜力无限 。 1.3 运动目标检测与技术的研究现状 运动目标的检测与技术是智能交通系统中的视频分析处理步骤的核心 [12] 技术 ，是后期运动目标识别理解、行为分析等技术研究的前提基础。其中， 运动目标检测是目标的基础，运动目标将视频序列中的目标信息提取出来， 作为目标的依据，然后运动目标技术将检测得到的目标在视频序列的 各帧图像中找到对应目标的、形状等信息，建立时间领域的联系，实现目 标在视频中的。 [13] [14] 目前常用的基于视频车辆检测算法主要有：光流法 、帧间差分法 、背 [15] [16] 景减差法 、分类器的方法 等。这些众多的运动目标检测方法，各自具备了 3 万方数据 中国计量学院硕士学位论文 特定的优缺点，但是如何能够快速准确地提取出前景目标是最重要的任务与目 的。帧间差分法简单有效，可以适用于摄像机运动的场景，但是不能检测完整 的目标信息；背景减除法可以完整地提取出目标，适应性强，但是背景建模时 容易受复杂的影响，且计算复杂、效率不高；光流法可以有效地描述目标 的运动矢量，对适应强，但是计算复杂度高；分类器的方法将目标检测问 题看成二分类的问题，需要对目标模型进行训练，训练完成后检测过程具有较 高的效率与稳定性，但是目标的样本往往不具备普遍性，目标形态变换或者受 干扰都容易降低检测精确度。 运动目标算法一直以来都是视频研究的热门课题，常用的运动目 [17,18] [19,20] 标算法有：基于特征的算法 、基于模型的算法 、基于区域 [21] 的算法 等。基于特征的算法根据目标信息的某些特征在图像序列中 寻找特征信息，通过建立联系实现，该方法具有较高的效率和适应能力， 但是比较依赖于特征信息本身，当特征信息发生变化时容易发生失效；基 于模型的算法需要对运动目标建立模型，然后根据目标模型在视频中寻找 目标信息实现，该方法具有较高的鲁棒性，但是建模过程比较复杂，有较 高的计算复杂度；基于区域的算法是通过在视频图像中提取出运动目标区 域，并利用区域关系实现目标的，该方法具有较好的稳定性，但是容易受 到背景的影响。 目前的专家学者已经对传统的运动目标检测与算法进行了大量深 入的研究，提出了很多性能优良的改进方法，也在智能交通系统的应用中取得 了许多行之有效的重大，但是在实际的应用场景中依然存在着一些难题， 主要表现在： (1) [22] 运动目标检测及目标提取的适应能力 。 虽然目前运动目标检测算法具备了较成熟的研究，但是运动目标检测 在实际应用中往往受到复杂苛刻条件的制约，如复杂多变的背景会对目标 的提取造成不少的困扰；天气变化、光照变化等改变了背景的像素或者带 来了噪声影响，给背景建模带了麻烦；运动目标本身存在的变化或者与背景像 素相似等情况也增加了目标检测的难度。目前学者们提出的很多算法可以对一 些特定情况下的目标检测具有较好的效果，但是如何在多种复杂条件下能够准 确有效地对运动目标进行完整的提取依然面临较大的。 [23] (2)运动目标的可靠性和准确性 。 在实际的智能交通系统应用中运动目标受到了真实场景的影响，如何可 4 万方数据 中国计量学院硕士学位论文 靠、有效地目标存在着许多方面的挑战。复杂的场景往往给运动目标 的性能造成很多干扰，如树叶晃动、摄像机晃动等背景的变化容易混淆目 标信息的判断；过程中目标自身发生遮挡等导致目标信息的变化，造成跟 踪的失效；运动目标发生运动突变、姿态变换、尺度变换等，改变了目标模型 的信息量，增加了目标的难度；密集的多目标场景，多目标发生多重遮挡 和分离等。这些因素在真实的视频场景中是经常发生的，但是很难针对各种复 杂场景建立都有较好效果的目标系统，如何让运动目标适用于智能交 通系统的各种真实场景，使得运动目标具备良好的可靠性和准确性，任重 而道远。 1.4 主要研究内容及章节安排 本文主要对智能交通系统中运动目标检测与算法进行了讨论与研 究，重点针对目标遮挡、形态变换等复杂场景中的运动目标检测与方 法进行了设计，并通过实验在真实场景中测试，有效地实现了目标的检测 与。 本文的全部论文工作分章节划分如下： 第一章 对本课题的背景和研究现状进行了总结和分析，并阐述了本 文工作的必要性和现实意义，另外还对本文工作分章节地进行了介绍。 第二章 对运动目标检测算法进行了简要介绍，主要讨论了背景建模 的方法，并提出了基于帧差和混合高斯结合的运动目标检测算法，然后通 过实验测试算法的性能，最后从检测得到的前景图像中提取出完整的运动 目标。 第三章 首先讨论了几种热门的运动目标算法，分析了当前智能 交通领域视频运动目标的难点，重点针对运动目标部分遮挡、形态变 换等复杂场景，提出了分块 Mean-shift 目标算法。详细阐述了 Mean-shift 算法的流程，分析了Kalman 滤波算法，并设计了结合Kalman 滤波的Mean-shift 算法，设置检测器，用来检测分块后的目标小 块的有效性，实现了复杂场景下的，最终通过实验仿真验证了本文算 法的鲁棒性。 第四章 主要对遮挡情况下的进行了分析，着重提出了完全遮挡 的算法，设计了完全遮挡时的目标搜索策略——基于自适应步长选择 5 万方数据 中国计量学院硕士学位论文 的NCC 图像匹配算法，并详细阐述了该匹配算法的原理及流程，通过实 验分析了该算法的性能，然后描述了完全遮挡时的算法流程，最后通 过实验进行了验证。 第五章 对论文工作进行了总结，并对未来的研究提出了展望。 6 万方数据 中国计量学院硕士学位论文 2 基于帧差和混合高斯相结合的目标检测 视频运动目标检测是智能交通系统中最基础的第一步，是后续目标的 前提，其任务是在视频的场景中有效地提取出前景目标，确定目标的、 形状、大小等信息，作为运动目标的依据。目前，主要的运动目标检测算 法包括了光流法、帧间差分法和背景减除法。 2.1 目标检测主要算法及原理 2.1.1 光流法 光流描述的是图像序列中像素点运动速度的矢量关系，通过对图像中各个像 素光流的统计就可以得到整幅图像运动场，即反应出了图像灰度在时间上的变 化与图像中物体结构和速度的关系。光流法应用于检测运动目标的基本思想是： 赋予图像中各像素点速度矢量，利用相邻帧中同一像素点在图像平面上产生的 位移矢量来获取运动参数，然后根据速度矢量和运动目标的约束条件来提取出 [24,25] 运动目标 。 光流法的计算是基于两个假设前提： 1 （）相邻帧同一像素的亮度不随时间变换而改变。 （2 ）相邻像素点的运动矢量也是相似的。 因此，可以假设某时刻t ，图像(x,y)上的像素灰度为f (x, y, t) ,则在时刻 tt时像素灰度为f (xx, yy, tt) ，根据第一个假设前提有： f (xx, yy, tt) f (x, y, t) (2-1) 按照泰勒展开化简后可得： f x f y f     0 (2-2) x t y t t x dx y dy u  v  f (x, y, t) 令 , ,u、v 分别表示像素 在水平和垂直方 t dt t dt 向上的速度矢量，称(u,v)为光流场，则有: 7 万方数据 中国计量学院硕士学位论文 f f f u v 0 (2-3) x y t 式(2-2)即为光流畅计算的基本公式。 光流法作为一种运动目标检测方法，提供了运动目标的运动信息和结构信 息，由于是一种像素级别的检测方法，提供了非常详细的目标属性，因此在运 动目标部分信息发生变化或者是遮挡的情况下，光流法依然可以有效地检测。 但是，像素级别的检测也带来了巨大的工作量，使得算法的复杂度很高，实时 性不好。另外在实际运动检测中，光度等的突变以及一些噪声的存在 [26] 使得光流法的亮度守恒假设条件不能成立，容易造成检测出现误差 。 2.1.2 帧间差分法 帧间差分法是一种常用的目标检测方法，它的原理是将图像序列的相邻图像 之间做差来提取出图像的运动目标，差分图像中像素灰度不发生变化的背景部 分被减掉，而运动目标在相邻图像的不同，相减后就使得像素前景部分凸 显出来。 设f (x, y) 和f (x, y) 为图像序列中相邻的两帧图像，两帧图像差分可得： k k1 1, f (x, y) f (x, y) T D (x, y)  k1 k (2-4) k1 0, f (x, y) f (x, y) T  k1 k 式(2-3) 中的T 为检测阈值，用于分割出背景和前景的区域。 帧间差分法是一种简单有效的运动目标检测方法，它不需要提前预知目标的 结构属性，也不需要掌握背景的信息，通过差分就可以获得前景目标；受到光 线变化的影响较小，对的适应能力强，检测较为有效稳定。但是，该方法 差分后只能得到运动目标相对运动产生的部分区域，不能提取出目标的完整形 态，检测出来的目标区域也不精确；当目标运动速度过快时，会造成两帧之间 没有重叠区域，而无法得到目标；当目标速度过慢时，则差分得到的前景区域 会很小，造成目标断层空洞等现象，前景不能有效地描述，甚至检测不到目标。 2.1.3 背景减除法 背景减除法的基本思想是建立图像序列的背景模型，然后通过当前帧与背 景模型相减实现运动目标的检测，是目前应用最为广泛的检测方法，背景减除 8 万方数据 中国计量学院硕士学位论文 法的流程如图2.1 所示。相比较于帧间差分法，背景减除法通过建立整个背景模 型，对背景提供了完整的信息，与当前帧相减后能够得到完整的目标模型。因 此，该方法最为关键的步骤是背景模型的建立，背景模型的好坏直接决定了目 标检测的效果。在实际应用中，视频的背景往往是复杂的，如光照等逐渐 发生变化，摄像机抖动等因素都会使原本是背景的像素发生变化，而检测成为 前景目标，因此，一个稳定、性能良好的背景模型必须要适应背景的变化，并 能够实时地更新。目前常用的背景模型有时间平均模型、混合高斯模型等。 图2. 1 背景减除法流程图 时间平均模型是一种简单的自适应背景更新模型，它的方法原理是将某段 时间内的图像序列的平均值作为背景模型。该方法适用于背景信息比较单一， 不存在过多的前景目标时较为有效。一旦出现背景信息较为复杂如树叶晃动、 水波粼粼等经常变换的场景，或者运动目标过多，背景模型与实际的背景就会 产生较大的差别，稳定性低。 [27,28] 混合高斯模型 是一种应用非常广泛的背景模型，它假设随着时间的推 移每一帧图像序列中的各个像素点的像素值都近似符合了一种分布模型，该分 布模型可以用若干个不同权值的高斯分布来模拟，并且每一帧都要以一定的学 习速度对背景模型进行更新。混合高斯模型可以在一定程度上抵御背景噪声的 影响，是一种稳定的背景模型，适用于光线变化较为缓慢的场合。 2.2 帧差和混合高斯相结合的背景模型 2.2.1 混合高斯背景模型的缺陷 混合高斯模型是一种稳定的背景模型，对动态背景具有较高的鲁棒性。但 是，由于混合高斯模型是将每个像素点进行背景建模，当像素值落在给定阈值 范围内的区间时认为是背景，而当运动目标的像素值和背景较为接近时往往无 9 万方数据 中国计量学院硕士学位论文 法检测出完整的前景目标，如图2.2 所示，(a) 图为原图像，(b)为检测得到的前 (c) (b) 景 建立得到的混合高斯背景模型，在图 中可以看到由于车辆的像素值和背 景比较接近，导致部分前景目标误认为背景，从而没有获取完整的运动目标， 如果目标提取不完整会对下一步目标的初始模型造成直接的影响，甚至 致失效。另外，混合高斯模型也不适用于背景变化较为剧烈的场景。 (a)视频图像 (b)检测得到的前景 (c)混合高斯背景模型 图2. 2 混合高斯背景建模 针对传统的混合高斯模型对目标检测不够完整的缺点，本文提出了一种基 于帧差和混合高斯结合的检测方法，可以在一定程度上丰富运动目标的信息， 使得运动目标的获取更加完整。 2.2.1 混合高斯背景模型原理及其步骤 K K 混合高斯背景模型是对每个像素建立由 个高斯分布构成的混合模型， 一般为3~5 个，不同的高斯分布代表了不同层次的灰度值，而各个模型的系数 代表了各层次灰度值在图像中所占的比例。每一个高斯分布N(,) 分别包含   了两个模型参数：均值 和方差 ，则混合高斯模型可以定义为： 10 万方数据 中国计量学院硕士学位论文 K t t t t t GMM(f )  w N (f ,  , ) (2-5)  k k k k k1 t t t   w 其中， 、 分别为第k 个高斯分布的期望和标准差， 为第k 个高斯k k k 分布所占的权重。 传统的混合高斯背景模型实现步骤如下： (1)模型建立 统计每一帧图像各个像素点的高斯模型，对于各个像素点，获取每一个高 t t   斯分布的各个参数： 、 ，将K 个高斯分布按照公式(2-6)从大到小进行排k k 列， t w t k  k (2-6)  k S 并认为所有分布中权重最大的 个高斯分布为稳定的分布。 (2)前景检测 建立的模型表示的是像素点为背景的概率函数，如果当前帧某一像素点符合 t 建立的背景模型范畴，则认为该像素点属于背景，否则属于前景。对于 时刻 像素点 ，按照式(2-7)和K 个高斯分布进行比较，判断 属于哪个高斯分布，f t f t t t f  2.5 如果 与每个高斯分布的期望 之差都大于k 时，认为该像素点不满足背 景的概率分布模型，为前景目标。 f  2.5t kt (2-7) (3)模型更新 模型的实时更新了混合高斯模型的优良稳定性，更新公式为： t1 t t  (1 )  fk k k k (2-8) t1 t t t 2  (1 )  (f  ) (2-9) k k k k k w (1r )w rkt k kt k (2-10)   r 其中， 、 和 分别为更新系数。此时，重新排列高斯分布，并统计k k k 最大的S 个高斯分布为稳定的分布，作为下一次计算的依据。 11 万方数据 中国计量学院硕士学位论文 2.2.2 改进的检测方法 帧间差分法的优点是通过两帧简单的差分运算获取运动目标的相对运动区 域，而混合高斯模型往往会由于目标与背景像素的相似性造成前景目标提取出 现断层、空洞的现象，帧间差分法所能检测的正是背景差分法所需要补充的缺 陷，因此本文将两种方法结合起来，起到取长补短的作用。具体的操作步骤如 下： (1)对图像序列建立混合高斯背景模型，用当前帧与建立的背景模型作差分， 获取前景目标信息，经过滤波处理二值化后，得到二值图像 。It G (2)对当前帧图像与上一帧图像作差分，获取前景目标信息，经过滤波处理 二值化后，得到二值图像 。It C (3) I It t (2-11) It 将 和 进行逻辑或运算，如公式 所示，得到前景二值图像 G C M  t t t 0, I I 0 I  G C (2-11) M 255, else 2.3 帧差和混合高斯结合的检测方法具有更完整的目标信息，流程图如图 所 示： 图2. 3 帧差和混合高斯结合算法流程图 2.3 基于帧差和混合高斯结合算法的实验及分析 为了验证本文提出的基于帧差和混合高斯结合的检测算法的性能和效果，使 用VC6.0 在Intel Core(TM)i3-2120 CPU 3.3GHz，内存为2GB 的电脑上，进行编 程实验，选取交通道场景的视频进行测试，实验结果如图2.4 所示： 12 万方数据 中国计量学院硕士学位论文 (a)视频图像 (b)混合高斯模型检测的前景 (c)本文算法检测的前景 (d)视频图像 (e)混合高斯模型检测的前景 (f)本文算法检测的前景 (g)视频图像 (h)混合高斯模型检测的前景 (i)本文算法检测的前景 图2. 4 基于帧差和混合高斯结合算法实验效果 2.4 (a) (d) (g) 实验中截取了视频的部分图像，在图 中，图像 、 、 为视频中不 同帧的原始图像，图像(b)、(e)、(h)是使用传统的混合高斯背景模型检测得到的 前景图像，图像(c) 、(f)、(i)是使用本文算法检测得到的前景图像。从实验结果 中可以看到，传统的混合高斯模型对于和背景像素相似的目标不能进行完整地 提取，在图像(b)、(e)、(h) 中可以看到车辆的车身多处出现了较为明显的断层现 象，这将影响到运动目标的提取；在图像(c) 、(f) 、(i) 中，相比较于传统混合高 斯模型的检测效果，车辆车身的断层现象得到了改善，车体更加的完整，实验 证明本文算法在一定程度上提高了传统混合高斯模型的检测效果，能够更加完 整地检测出运动目标前景。 13 万方数据 中国计量学院硕士学位论文 2.4 运动目标的提取及分析 本文使用改进的帧差和混合高斯相结合的检测方法对视频进行检测，得到 了二值化的前景图像，接下来需要进一步提取出完整的运动目标，为运动目标 提供具体的目标信息。 本文提取运动目标的基本方法是在上一步检测得到的二值前景图像中检索 目标轮廓，用最小矩形框的形式将目标包围用于显示。具体的操作步骤为： (1)形态学处理。对二值前景图像进行形态学操作处理，采用膨胀操作使得 紧邻的目标区域合并，降低目标断层现象引起连通域检测的误差。膨胀操作可 以将断开的相邻目标物进行连接，但是会增加目标的区域面积；另一种应用较 为广泛用来扩充目标区域的形态学操作是闭运算，闭运算操作是先膨胀再腐蚀， 可以填充细小空洞并且不明显改变目标面积。然而在实际的实验中，本文发现 虽然闭运算可以保持目标面积基本不变，但是对于目标断层的连接效果并不是 很明显；而膨胀操作虽然稍微增加了目标的区域面积，但是对于断层的连接效 果要好于闭运算，因此本文采用膨胀操作用来融合相邻的目标区域。 (2)连通域检测。对二值前景图像进行连通域检测，获取每个连通域的具体 信息，包括面积、、质心坐标等，然后根据预先设定的条件对每个连通域 进行判断，筛选出面积过小或者是范围超过阈值条件的连通域，将剩余的 连通域作为候选前景的连通域。 (3)轮廓检测。在检测出候选前景连通域的二值图像中，寻找能够将连通域 用最小矩形包围的外轮廓，并获取外轮廓的、面积等信息。每一个外轮廓 需要满足面积、等先前设定的条件，每一个符合条件的外轮廓视为一个运 动目标，轮廓的、面积等信息即为运动目标的信息，从而实现了运动目标 的提取。 运动目标提取的实验效果如图2.5 所示， (a)视频图像 (b)混合高斯模型创建的背景 14 万方数据 中国计量学院硕士学位论文 (c)本文算法检测的前景 (d) 目标提取 图2. 5 目标提取实验效果 (a) (b) 实验视频为一段交通视频，图片 为视频序列中某一时刻的原图像，图片 为混合高斯背景模型建立的背景，图片(c)是本文算法检测得到的前景，图片(d) 为最后提取出来的运动目标效果，用矩形框表示。 2.5 本章小结 本章先是对经常使用的运动目标检测算法进行了简单的介绍，并且分析了 各种检测算法的优缺点，在此基础上针对混合高斯背景模型不能够对与背景像 素相似的目标进行完整目标提取的缺点，提出了一种基于帧差和混合高斯结合 的运动目标检测方法，该方法可以在一定程度上填补混合高斯背景检测时目标 出现的断层、空洞区域，改善前景检测的效果，接着介绍了运动目标提取的方 法，实现了视频运动目标的提取，为后续的运动目标提供了信息基础。 15 万方数据 中国计量学院硕士学位论文 3 分块Mean-shift的目标算法 运动目标检测和运动目标之间是紧密联系的，智能交通需要对运动 目标进行检测，得到目标的具体信息，还需了解目标的其他特征，如运动方向、 速度、轨迹等信息，这些信息就需要通过运动目标来获取，而这些信息可 以为更高层的图像理解、行为识别提供具体信息与准备。 运动目标是根据运动目标检测得到的目标模型或者由其他信息设定的 目标模型，在图像序列之间建立关联，根据目标模型的信息在相邻视频帧之间 寻找对应目标的信息参数，从而实现对目标的。首先，本文将介绍几种较 为热门的运动目标方法：特征匹配的算法、基于分类器的算法、 粒子滤波算法和Mean-shift 算法。 3.1 算法介绍 (1)特征匹配的算法 特征是目标区别其他事物和背景的特殊属性，可以为特征点、边缘轮廓、颜 色、纹理等，具有性和可靠性。特征匹配的算法的思想是提取出目标 的特征，根据该特征在图像序列中寻找一致或者相似的特征信息，从而实现跟 踪。特征质量性能的好坏直接决定了算法的成功与否，所以在采用特征信 息时应当尽量选取具有较高鲁棒性的特征，而且各个特征之间要相互，它 [29] 们之间的关联性尽可能的少 。