题目背景：监控视频信息的自动处理与预测在信息科学、计算机视觉、机器学习、模式识别等多个领域中受到极大的关注。而如何有效、快速抽取出监控视频中的前景目标信息，是其中非常重要而基础的问题。这一问题的难度在于，需要有效分离出移动前景目标的视频往往具有复杂、多变、动态的背景。

问题一：摄像头稳定、静态背景下的前景目标提取。

针对问题一，分别采用了帧间差分法、背景去除法和光流法对视频帧序列进行了处理，在题目给定的测试视频中效果都还可以。这三种方法算是静态背景下最常用的分割算法，各有利弊，例如背景去除法受光照影响大，光流法计算量大等。

问题二：动态背景下的前景目标提取。

为了适应背景的动态变化，需要建立背景模型。首先，用单高斯分布来描述图像像素点的像素值分布，然而单个高斯分布往往很难准确地描述像素点的特征，因此考虑采用多个自适应高斯分布模型来提高背景建模的可靠性，同时赋予每个高斯分布不同的权值，并按优先级进行排序，通过模型匹配和学习的过程不断更新背景模型，实验发现该模型在目标存在遮挡和光线变化的情况下都能很好的对前景目标进行提取， 但仍然存在一些不必要的噪点，通过形态学后处理可以有效地将其剔除。最后， 分别采用误检率和漏检率两个量化指标来评估上述几种方法的性能。

问题三：在摄像头发生晃动或偏移，视频出现抖动现象下的前景目标提取。

第一直觉想到的是图像复原，通过建立维纳滤波的复原模型，找到一个原图像的估计图像，使得它们之间的均方误差为最小，以此来减轻晃动带来的模糊。 然后通过基于块运动估计匹配算法稳定目标的位置。接着继续用问题二中的自适应高斯混合模型即可完成对视频前景的提取。

问题四：从每组视频中选出包含显著前景目标的视频帧标号。

观察前景目标提取后的二值化图像序列中所有像素值和的分布情况。根据前景目标出现时图像中所有像素值之和急剧上升的特点，确定波峰两侧的极值点即为所求包含显著前景目标的视频帧标号。 这一问解答的有点蠢，写个脚本设个阈值即可，当然也可以目测。

问题五：如何通过从不同角度同时拍摄的近似同一地点的多个监控视频中（如图3所示）有效检测和提取视频前景目标？

首先分析不同角度拍摄监控视频间的相关性信息，例如目标之间的几何关系，距离，夹角等。然后，为了将不同视频中的目标对应起来，可以采用单应性约束来做目标的映射，对不同视野的视频帧分别提取SURF特征获取匹配点对，再使用RANSAC算法估计出单应性矩阵。当确认好前景目标之后，再进行前景目标的提取。看到这里，熟悉动作识别领域的人就会发现，这其实与行为识别中iDT算法（improved dense trajectories）消除相机运动而带来背景上的光流以及轨迹时所采用的方法相似。

问题六：利用所获取的前景目标信息，进行异常事件类型的检测。

采用基于光流场特征学习的方法对异常事件类型进行判断。所谓光流特征向量，就是帧图像中隐含了特征点运动信息的矢量，通过观察这些矢量运动的特征并加以合并相似运动的矢量可以实现前景目标和背景图像的分离，从而实现前景目标的提取。在获取了光流特征之后， 将其作为分类器的输入，并利用 SVM 完成对异常事件的自动判断。

模型的优点：

（1）建立自适应高斯混合的背景模型，代替了人工手动选取初始化参数的盲目性，且有效解决了目标遮挡、光照变化等复杂的环境因素。

（2）兼顾了视频抖动产生的图像模糊和位置不稳定两个方面。

（3）利用单应性约束变换有效实现了目标位置的映射和确认。

（4） 通过对多摄像头的单应性变换，可以避免使用目标自身的特征来进行检测。

模型的缺点：

（1）未能有效地解决阴影问题。

（2）对于视频中小目标提取和跟踪的精度有待提升。

（3）对视频的抖动做了线性假设，过于简单，实际中的情况往往更加复杂。

模型的推广：

本文对环境干扰的因素仅考虑了遮挡和光照现象，在实际应用中还存在阴影等其他干扰，在后续工作中可以加以考虑，使得本模型更加适用于自然环境。

此外，本文对于去抖动的处理近似为线性变换，可以进一步去建立复杂的图像复原模型。