基金项目：国家重点研发计划（2016YFB0500801）；国家自然科学基金（91538106；41501503；41601490；41501383）；湖北省自然科学基金（2015CFB330）；测绘遥感信息工程国家重点实验室资助项目（15E02）；地理信息工程国家重点实验室基金（SKLGIE2015-Z-3-1）；中央高校基本科研业务费专项资金资助（2042016kf0163）；珠海市引进创新团队项目（ZH01-P-WC）
第一作者简介：吴佳奇(1985-), 男, 博士生, 研究方向为卫星视频数据处理。E-mail:
摘要：针对卫星视频条件下的点目标跟踪问题，提出了一种运动平滑约束的贝叶斯分类目标跟踪方法（BMoST）。本方法引入朴素贝叶斯分类器的思想，不依赖目标的任何先验概率，在运动平滑性约束下，利用灰度相似性特征来表达描述目标的似然度，并根据假设的贝叶斯，建立简化的分类器条件概率修正模型，通过该模型估计目标的后验概率，从而实现目标跟踪。同时，采用卡尔曼滤波辅助、优化跟踪处理，提高算法的稳健性。试验数据采用SkySat和一号拍摄的视频各两段，对6个点目标进行跟踪试验。结果表明，本文提出的方法针对卫星视频的点目标跟踪效果良好，精度达到90%左右，且跟踪轨迹平滑，满足卫星视频后续高级处理和应用需要。
2013年底，美国Skybox Imaging公司发射了全球首颗能够拍摄高清卫星视频的小卫星SkySat-1[1]，了全新的动态对地观测模式；长光卫星技术有限公司于2015年10月发射我国首颗商用卫星“一号”。“一号”是一种小型遥感卫星，其搭载的高分辨率视频相机，在国内首次实现了从外太空中拍摄高清全彩色视频[2]。除了经典光学遥感卫星影像包含的静态信息外，卫星视频还可以获取一定时空范围内的实时动态信息，使得遥感观测有更广阔的应用前景。在卫星视频数据处理中，运动目标跟踪是动态信息提取的重要一步，同时也是后续处理和应用的基础和前提，如超分重建、三维重建、智能、车速估计[3-4]等。因此实现卫星视频目标的准确、抗差跟踪显得尤为重要。
在机器视觉中，目标跟踪可以分为两大类：生成式和判别式[5]。生成式方法利用生成的特征描述模板，搜索相似性最高的候选目标，该方法主要关注目标本身，在目标剧烈变化和隐藏时容易产生漂移。经典方法有密度估计法[6]、稀疏编码[7]、相关滤波[8]等；判别式方法不但关注目标本身，还关注背景特征，一般通过训练的分类器进行前、背景的判别跟踪，因此该方法又称为基于检测的跟踪(tracking by detection)。判别式方法跟踪效果较好，但由于需要分类器训练、更新和前、背景判别，所以耗时较大。经典方法有TLD[9]、多实例学习[10]、压缩法[11]和时空关联法[12]等。无论哪种方法，其本质都是利用样本训练、灰度统计、滤波、压缩降维、概率估计、特征融合等方法提取合适的视觉特征建立目标跟踪的描述模板，然后根据特征描述信息寻找与目标模板匹配相似度最高的ROI区域，实现目标跟踪[13-16]。在一般地面或低空条件下，经典的方法取得了很好的跟踪结果，其抗差跟踪的关键在于特征的合理选择和描述，有赖于目标尺寸较大、对比度高、特征纹理丰富，其目标跟踪模板具有较高的排他性和可辨识性，有利于跟踪结果的准确定位。
但是在卫星视频条件下，与一般地面视频和航空视频相比，目标跟踪主要存在3个问题：① 影像宽幅大、分辨率低、画面对比度和清晰度低；② 运动目标大部分为点目标，尺寸小、特征和纹理稀少；③ 目标数量较多，目标与目标、目标与背景之间的可区分性差，彼此相似性较高、相互干扰严重。这3个卫星视频特有特点使得特征选取困难，特征描述不显著，目标模板的排他性和可辨识性不高。如图 1所示，航空视频下，汽车的顶部天窗、前后玻璃、甚至是后视镜都有可能作为特征提取和识别出来，便于目标跟踪时的特征描述；而卫星视频下，汽车是由少量亮度相近的像素点组成，内部几乎无纹理和特征可提取，难以进行特征描述和关联，点目标跟踪容易产生漂移或丢失的结果。
经典的点跟踪算法是文献[18]提出的LK光流法。方法的本质其实是一种灰度相似性模板匹配，在匹配策略的约束下，利用方程求解的方式代替窗口搜索定位。在相邻帧之间，利用邻域像素点集的绝对误差和(SAD)最小的原则建立光流方程，并采用最小二乘法求解点的运动矢量，实现点跟踪[19]。在此基础上，国内外出现了许多优秀的点跟踪方法，这些方法数学建模的基本准则和依据都是视频相邻帧之间具有的3个特征——同一物体亮度恒定、运动变化缓慢、邻域内的像素具有相同运动[20]。而在高清卫星视频中，为保障视频的流畅性，其帧率一般优于25 fps；又因为分辨率和对比度较低，尤其是在稳像处理后，相机运动产生的变化被消除[21]，因此视频相邻帧的3个特点在卫星视频中更加显著。如图 2所示卫星视频连续3帧的运动变化比对，由于基高比较低，可以认为运动点目标只存在两种运动：平移和旋转。左3列目标作平移运动，右3列目标做旋转运动。为便于观察帧间的变化，画两条完全水平的直线作为基准。可以很清楚地看到，相邻帧间点目标平移和旋转运动变化平滑、且微小。第2行为对应目标矩形区域放大显示。分别对k、k-1和k+1、k帧目标区域进行灰度相似性计算，相似性度量采用性能优于SAD的归一化相关系数[22]。计算后得到的结果均优于0.99。说明相邻帧间点目标的灰度相似性很高，满足亮度恒定的特征。
鉴于此可以得出，卫星视频点目标在相邻帧中具有“二小一高”的特征：尺寸小、帧间运动变化小以及灰度相似性高。其运动在相邻帧之间满足运动平滑性的特征，即目标运动矢量的方向和大小与历史轨迹相比，变化是平滑的；同时也严格符合目标灰度统计的高相似性。相反，如果某个待判断矩形ROI的运动突变显著，或者灰度相似性低，那么该矩形ROI是目标的可能性就低。因此，可以利用点目标“二小一高”特征进行目标模板的特征描述。在概率统计中，利用事物的特征属性进行事物类别概率判断的经典有效方法是朴素贝叶斯分类法[23]，文献[24-25]正是利用特征属性对潜在的目标进行分类判断，从而寻找到可靠的跟踪结果。综上，本文借鉴了前人的思想，专门针对卫星视频的点目标跟踪问题，提出了一种运动平滑特性约束的贝叶斯分类点目标跟踪方法(BMoST，Bayesian motion smooth tracker)。将点目标的灰度高相似性作为目标的特征属性，同时考虑运动平滑性特征约束，然后在朴素贝叶斯框架下，通过特征属性的似然度建立分类器的条件概率模型，进而实现点目标的抗差跟踪。
BMoST的基本流程是，在视频第1帧中输入跟踪目标矩形ROI，获取目标矩形ROI中心和宽、高，建立初始模板目标。从第2帧开始，根据模板目标建立待判断目标集，然后将每一个待判断目标带入贝叶斯框架中判断。在贝叶斯框架中，首先对目标进行运动平滑约束处理，将符合条件的目标做灰度相似性统计，并根据灰度相似性构建似然函数，进而利用条件概率模型求解后验概率，完成当前帧的目标跟踪。在约束判断和后验概率值不高时，采用Kalman滤波优化辅助处理。方法流程如图 3所示。下面将对各主要部分进行详细描述说明。
在第1帧中已经获取到模板目标，从第2帧开始，每一帧的处理首先要建立待判断目标集，该目标集由一系列矩形ROI组成，本文采用滑动窗口的方式生成目标集。在当前帧中，将上一帧目标ROI中心像素的48邻域(7×7像素)设定为搜索区域ROI。在搜索区域中，不断滑动模板目标：从左至右、从上至下，每次滑动步长为一个像素。在每一个，模板目标与当前帧重叠的矩形区域形成一个待判断目标的矩形ROI。如图 4所示，绿色矩形框为搜索区域，为观察方便，将搜索区域扩大。模板目标滑动整个搜索区域后，完成待判断目标集的建立。
在一般情况下，往往不能直接通过特征来判断事物类别，但是可以利用事物的先验知识和样本集的训练获取到事物所包含特征的条件概率，用来表示事物的似然度，进而可以间接进行事物类别判断，这是贝叶斯分类器的主要思想。朴素贝叶斯分类器的基础是贝叶斯，它是关于随机事件A和B的条件概率P(AB)，表示在事件B发生的条件下，事件A发生的概率。事件B可以视作事件A所包含的特征，如果事件A中包含n个特征，Bj(j=1, 2, …，n)表示事件A的n个特征，并且假设所有特征相互(朴素)，有
式(1) 即为朴素贝叶斯分类的理式。目标跟踪可以视作一种特殊的分类问题，将待判断的区域分为目标和非目标两类。那么在贝叶斯分类框架下，可以利用目标的灰度相似性属性进行分类判别。此外，由于每个属性之间是相互的，且不依赖于事物本身，因此式(1) 等号右边的分母可认为是。综上，目标跟踪的条件概率模型可表达为
式中，gray代表目标的灰度相似性属性；cos和dis表示运动平滑特性中的余弦相似性和欧氏距离属性，即运动矢量方向和大小的度量；obj代表目标。由于N个待判断ROI是目标的概率是相等的，均为1/N，因此在分类时，上式中的P(Obj)不用计算。下文将详细讨论各属性特征和式(2) 的具体计算方法。
运动平滑性是指，目标相对于某一状态的运动矢量的大小和方向的变化是平滑的。矢量大小(欧氏距离)约束如图 5所示，obj表示目标，k-i表示帧号(i=-1，0，1)，假设第k帧已经处理完毕，目标在第k、k-1帧中的欧氏距离为d。在第k+1帧中，要判断目标集1、2、3中哪个是跟踪目标。分别计算目标1、2、3与第k帧中的目标的距离d1、d2和d3。d2和d3相对于d有明显的变化，那么根据欧氏距离约束，运动矢量的大小变化是平滑的，因此可判断目标2、3不是跟踪目标。
矢量方向约束如图 6所示。同样的，目标在第k帧中的相对于k-1帧的旋转角度为θ。在第k+1帧中，要判断目标1、2、3中哪个是跟踪目标。分别计算目标1、2、3与第k帧中的目标的旋转角度θ1、θ2和θ3。θ2和θ3相对于θ有明显的变化，那么根据方向约束，运动矢量的方向变化应是平滑的，因此可判断目标2、3不是跟踪目标。
式中，objk表示当前帧待判断目标ROI中心点；objk-i表示第k-i帧的跟踪目标ROI中心点，i=1, 2。若欧氏距离变化较大，则一定不是目标。欧氏距离概率为
式中，dot表示两个向量的点积；‖*‖表示向量的二范数。目标运动矢量方向可采用余弦相似性度量，计算方法为
式中，objk表示当前帧待判断目标的中心点坐标；objk-i表示第k-i帧跟踪目标中心点坐标，i=1, 2。A(objk, objk-1)表示由objk和objk-1构成的向量，B同理。目标运动方向的变化是微小的，相对应的余弦相似性应较高。余弦属性概率为
目标特征属性及描述是跟踪的主要依据。不依赖目标的运动先验知识，采用在线学习的方式，利用目标的灰度相似性属性描述目标特征似然度，构建跟踪模型，同时统计并记录目标运动轨迹。相关系数是用以反映变量之间相关关系密切程度的统计指标，在跟踪处理中可用于描述目标间的相似程度。相关系数的计算方法为
T、S为两个向量，i为向量元素索引号。将其归一化，有利于提高匹配精度和抗干扰能力，归一化方法为
在前文中已经提到，通常相邻帧的目标的运动矢量的方向变化小，通过相关系数计算，跟踪目标具有较高的灰度相似性。但在某些特殊情况下，目标可能发生较大的旋转运动。由于相关系数度量对较大的旋转较，此时匹配度较高的区域并不一定是目标区域。因此，考虑点目标的较大转弯运动，在相关系数的基础上，本文引入了HU不变矩的灰度相似性度量。HU不变矩由文献[26]提出，借助代数不变矩理论，通过构造不变矩多项式来实现旋转不变性。在具体实现时，利用二阶、三阶归一化后的几何中心距构造出7个不变矩。因此可以利用图像的HU不变矩特性作为目标跟踪模型的似然度，使得目标在旋转和平移运动时可以更准确地进行特征描述。如图 7所示为4个点目标ROI及对应的不变矩折线比对图。其中，a为模板目标，b、c、d为待判断目标，且旋转较大。计算各目标的不变矩，并分别画出折线图。可采用折线图来表示目标特征，各折线个不变矩。为便于观察，将数值放大100倍。通过折线图比对可以看出，目标b与模板目标的折线拟合度(相似性)最高，因此在b、c、d中，b是跟踪目标的可能性最高。
几何中心距和HU不变矩的构造方法可参见文献[27]。HU不变矩由7个参数组成，在似然化时将7参数视作一个7维向量，通过计算7维向量的归一化相关系数进行目标相似性计算，建立灰度特征似然度。根据式(10)，计算方法为
(2) 进行运动平滑约束，根据式(5) 和式(8) 计算每个待判断目标的余弦和欧氏距离概率，将概率为1的目标记录保留；
若求得的最终后验概率低于阈值，说明跟踪结果不够准确。为提高算法的抗差性，此时加入了Kalman滤波。Kalman滤波通过线性最小均方误差估计，能够根据目标历史轨迹预测当前帧的[28]，并结合当前帧的观测值来优化跟踪结果。Kalman滤波针对k时刻预测的状态方程为
Xk-1=[xk-1yk-1ux-1vx-1]T为k-1时刻的状态值(即跟踪结果)，其中x和y表示目标中心点坐标，u和v分别表示水平、垂直方向速度；A表示从k-1时刻到k时刻的状态转移矩阵；Pk-1表示k-1时刻的最优协方差矩阵；W是相互的零均值标准正态高斯白噪声序列，表示状态转移干扰噪声；Q是W的协方差矩阵
根据式(12) 可得到预测的初始结果，下面利用增益矩阵Kk(4×2) 对其进行修正，使结果达到最优估计。Kalman滤波预测的状态更新方程为
式中， 为观测矩阵；Z(2×1) 为观测值，用跟踪结果表示；R表示观测噪声的协方差矩阵，是2阶单位阵。误差协方差矩阵P在初始化时可设为O矩阵。
这样，利用式(12) 和式(14) 的不断迭代更新可实现自回归的最优估计，使得目标跟踪算法在某几帧概率判断失效时仍有可能确保目标不丢失。在试验中，概率的阈值设定为0.95，是通过多对帧间同名目标的相似性计算试验得出的经验值。概率P计算的伪代码见算法1。
在卫星视频常见的场景中对BMoST跟踪算法进行测试，场景主要包括了目标变速运动、目标旋转、辐射亮度变化以及相邻近似目标和背景干扰等，选择机动目标做测试，目标尺寸小、无纹理特征、且与背景的对比度较低。试验数据为SkySat全色视频2段和一号彩色视频2段，视频影像分辨率为1.1 m，帧频优于25 fps。SkySat视频1是一段迪拜城区视频，将道行驶汽车作为跟踪目标，视频中的跟踪目标进行弯道和变速行驶，并且邻域干扰严重，与邻近目标距离近、相似度高；SkySat视频2是一段矿区作业视频，矿车作为跟踪目标，视频中目标的灰度是变化的，且与背景相似度较高，在视频后半段中目标几乎隐藏在背景中；一号视频1是墨西哥城区的交通况视频，道上汽车作为跟踪的目标。其中目标4首先做直线匀速运动，然后减速并转弯90°，速度逐渐接近于零。目标5首先处于静止状态，然后启动并90°转弯行驶。一号视频2是某城区上空飞机飞过的场景，视频的图像质量不佳、清晰度低，背景变化快，并且存在临近相似背静干扰和目标隐藏在背景中的情况。
对上述4段视频中的6个目标进行BMoST方法测试试验，同时又对目标1和目标4采用一般灰度法进行比对试验。便于观察跟踪效果，将当前帧目标和200帧历史轨迹标记出。6个目标的跟踪结果如表 2所示。从跟踪效果上看，本文方法除了1521帧之后的目标3，试验的6个目标全部成功跟踪，在整个过程中保持较好的跟踪状态，未丢失目标。而一般灰度法的跟踪不够稳健，存在目标丢失情况。这里的一般灰度法是指仅仅利用图像灰度相似性进行特征描述的跟踪方法。在卫星视频中点目标尺寸较小，为了更细化描述跟踪结果，这里将正确跟踪阈值定为个像素。正确跟踪指的是跟踪结果目标与真实目标二者的外接矩形中心距离差小于等于阈值。下面对跟踪测试加以详细分析。
如图 9所示为本文方法的跟踪效果，目标1处于道、靠近中间道隔离带行驶。在前40帧的运动轨迹近似于直线帧以后开始持续均匀转弯，没有其他目标和背景的干扰，在250帧之前，跟踪精度为100%，并且轨迹平滑。从250帧开始，目标1不断接近右侧车道的目标2，跟踪精度开始有所下降，有2个像素左右的漂移；279帧后，两目标开始相互缠绕粘连，280、282帧的跟踪结果偏移了2~3个像素，312帧到318帧左右也有同样的情况。但281、283~311帧利用运动平滑约束修正了，轨迹跟踪较稳定。320帧时两目标几乎并排行驶，粘连程度和干扰面积最大，但依然可以较好地进行跟踪，并无明显漂移。344帧开始超车，353开始分离，391帧完成超车，并逐渐结束弯道行程，跟踪趋于稳定。文章马伊琾度假429帧到474帧左右，这期间目标不够清晰，并且目标上方的隔离带与目标相似性极高，使得跟踪向上漂移，但方法仍然可以沿着隔离带跟踪，如460帧轨迹。在480帧左右时，目标清晰度提升，灰度相关性约束将目标跟踪纠正回来。
如图 10所示为一般灰度法的跟踪效果，330帧之前总体跟踪效果良好、轨迹平滑。尤其是从250帧开始，在有目标轻微干扰的情况下也能保持很好的跟踪状态，这个阶段的跟踪轨迹状态优于本文方法。但是在330帧以后，临近目标粘连和干扰程度较大，跟踪开始有较大偏差。由于没有运动平滑性的约束，在334帧时产生了目标漂移。在342帧左右，跟踪漂移到临近相似目标，目标跟踪失败。
跟踪的目标2处于外道，行驶速度相对目标1较慢。本文的跟踪方法如图 11所示。160帧之前的运动近似直线、转弯角度小，跟踪稳定平滑，精度高，225帧左右开始转弯角度增大，且与右侧相似背景缠绕粘连，产生了干扰，在276帧之前目标频繁向右偏移，但没有丢失目标，见235、274帧历史轨迹。直到276帧左右，目标2与右侧背景分离，修正。279帧开始，目标1和2相互粘连缠绕，320帧左右目标1与目标2并排行驶，到391帧左右两目标分离，整个过程都能保持稳定跟踪，并且轨迹平滑、整体弧度与道基本吻合。392帧之后临近干扰解除，同时逐渐从弯道转入直线%。
SkySat视频1中的目标跟踪面临的主要挑战是，在目标大旋转半径转弯时伴随临近高相似目标和背景的干扰，导致跟踪偏移和精度降低，但BMoST方法能有效地抵抗这种干扰，使得整个跟踪过程维持较高的精度和稳定性。
SkySat视频2目标3在视频前半段中行驶在两种颜色道的边缘，边缘将跟踪目标分成了上、下两个部分，下半部分与道的灰度相似性极高，可认为目标隐藏在背景中。整个视频中矿车移动速度较慢，200帧时大概移动了20个像素左右。300、400帧时跟踪状态稳定，此时矿车的灰度值开始变化。800帧时灰度有了明显变化，并逐渐向下方高相似背景过度，跟踪状态较稳定，轨迹无明显跳变。到1000帧左右时目标几乎全部进入高相似背景中，只有左侧、上侧边缘具有明显灰度对比，此时跟踪轨迹已经出现轻微跳变，稳定性降低。到1200帧左右目标几乎全部隐藏在相似背景中，轨迹跳变较严重，但跟踪未出现漂移。到1300、1400帧左右，该过程在目标隐藏的情况下进行跟踪，灰度相似性完全失去作用，依靠余弦和欧氏距离相似性以及Kalman滤波的约束，将轨迹跟踪控制在较稳定的状态，目标未丢失。在1500帧左右，目标逐渐旋转向左上方加速行驶，并带有旋转，过长时间隐藏状态下目标跟踪的性能下滑，轨迹跳变严重、杂乱无章。1521帧左右跟踪偏移开始增大，1522帧开始产生了跟踪漂移，1565帧左右彻底丢失目标。
SkySat视频2中目标跟踪主要面临的挑战是，目标部分或几乎全部隐藏在背景中，灰度相似性完全或部分失效。在这种情况下，MoST跟踪法能够有效地在目标部分隐藏时进行抗差跟踪，甚至可以在一段时间内(500帧左右)，针对几乎完全隐藏的目标进行相对稳定跟踪，目标的虽然有所偏移，但并不会丢失。
一号视频1的试验主要是为了验证跟踪算法针对目标大角度旋转时的跟踪效果，如图 13所示为本文方法的跟踪效果。目标4前200帧处在匀速直线的运动状态，跟踪精度几乎为100%，跟踪轨迹近似为一条直线帧左右，目标开始减速，准备入弯。到250帧左右，开始逐渐增加转向的角度。347帧左右开始，转向角速率提高，此时旋转角度大约为10°。383帧时大约旋转了30°左右；417帧大约45°；450帧60°, 494达到90°左右。
如图 14所示为一般灰度法的跟踪效果。在347帧之前目标作直线运动，跟踪轨迹和效果好；但在进入弯道之后，由于一般的灰度法对较大旋转，相关系数的相似性度量不能很好地描述目标特征。在目标做旋转运动时的跟踪精度降低，大约偏移4个像素，如417、450和494帧。
目标5的跟踪效果如图 15所示。目标5开始处于静止、待转弯状态。到159帧左右，目标开始启动并开始转弯、加速。216帧左右转弯角度大约为30°，250帧45°，275帧60°，320帧左右90°，转弯完毕，进入直线帧为直线阶段，轨迹平滑，近似真实轨迹。
一号视频1跟踪试验主要面临的挑战，是目标小转弯半径下的大角度旋转(90°)，使得相邻帧目标旋转角度较大。试验表明提出的BMoST跟踪方法在相邻帧点目标存在较大旋转时，能稳定、准确地跟踪。
一号视频2的清晰度较差，目标6几乎处在匀速直线行驶状态，本文算法的跟踪效果如图 16所示。前17帧跟踪状态稳定，从17帧开始目标6开始进入高相似背景区域，20帧时，目标6有一半区域被隐藏；22帧时目标几乎隐藏背景中，23帧时目标完全隐藏背景中，直到31帧完全脱离隐藏区域，在这个过程中目标跟踪沿运动方向的偏差较大，但算法依靠运动平滑约束，并未丢失目标。41帧左右目标左侧出现高相似区域，53帧左右脱离相似区域干扰，跟踪稳定。53帧以后除了背景变化以外无相似背景干扰，跟踪精度高，轨迹平滑、近似真实轨迹。
一号视频2的跟踪试验主要面临的挑战是目标和背景清晰度低，且存在目标隐藏在背景中的情况，试验结果表明，BMoST方法在该视频，虽然在目标隐藏的几帧中的跟踪有2~3个像素的偏移，但并没有丢失目标，仍然可以沿着目标的运动方向跟踪。同时在目标未隐藏时，能够保持非常高的跟踪精度。
卫星视频条件下点目标的跟踪主要面临的挑战有，目标尺寸小、特征和纹理信息稀少；影像分辨率和对比度低、前景和背景可区分性差；目标彼此相似性高、相互干扰严重。针对这些问题，提出的BMoST方法利用了目标的运动平滑性和灰度相关性，在朴素贝叶斯分类的框架下，实现了卫星视频点目标的有效跟踪，并通过6组试验验证了该方法的有效性。该方法在目标转弯同时的临近相似目标和背景干扰、目标掩藏在背景中、目标小转弯半径下的大角度旋转、视频质量模糊等情况下，都有很好的跟踪效果和精度。处理结果可用于后续的高级应用。
本文由 恒宇国际（www.neivn.cn）整理发布
删除。
网友评论 ()条 查看