核心技术介绍:随着监视摄像机进入日常生活,警察可以通过看电脑屏幕来监视社会安全。 由于对象在生活中各个部分的执行能力,对象重新识别成为热门话题。如今,有很多关于人员和汽车重新识别的论文。 但是自行车,摩托车和电动自行车在人口稠密的国家越来越受欢迎。这些车辆不仅较小,可以通过交通拥堵行驶,而且比汽车便宜得多,并且对生态友好。 不幸的是,自行车,摩托车或电动自行车驾驶员的重新识别仍未解决。
最新的论文提出了尝试解决各种问题的方法:通过盲点的过渡时间,视点的变化和照明差异。 但是对于驾驶自行车,摩托车或电动自行车的人来说,存在一些特定的问题需要解决,即驾驶员长时间被汽车部分阻塞,并且与当前人的重新识别方法相比,它们具有很高的速度。
由于在拍摄期间存在不稳定的注册标记,或者某些车辆可以不使用车牌,因此这项任务变得更加艰巨。此外,由于严重的遮挡,同一车辆不同方向的外观不同,不同车辆的相似外观以及变化的照明条件,很难在长时间范围内重新识别车辆,更不用说频繁的嘈杂物体检测了。因此,当今的方法无法解决所有存在的问题,因此研究并实施能够解决该问题的新颖方法非常重要。
我们的方法将利用深度学习算法的所有优势来执行快速而强大的处理。 此外,由于此任务非常受限制,因此没有可用的数据库来执行深度学习算法的训练和测试。为了制作完整的系统,重要的是创建一个数据库,其中包含具有自行车,摩托车或电动自行车驾驶员的多摄像机视频序列。所有视频序列都必须在不同的天气条件下使用不同的拍摄设备进行拍摄,包含复杂的背景和各种数量的驾驶员。 相对于相机,所有物体都不应处于非刚性位置。
国内外发展现状与趋势:
当前的研究论文集中在对城市场景的理解上(梁,HK;陈,X.-Z .;余,C.-W .;梁,H.-Y .;吴,J.-Y .;陈,Y.- L.一种针对不足照明和夜间照明条件的基于深度学习的车辆检测方法,适用于Sci.2019,9,4769。)[1],并使用以下类:自行车,公共汽车,汽车,摩托车,行人,货车,和卡车。 同样,许多数据集包含人员,自行车和摩托车类别。
[2]使用人体关节位置来分析当前视频序列上正在发生的动作。这种方法消耗大量的计算成本,并且在分辨率低和照明不佳的情况下几乎没有用。
[3]中,他们提出了一种方法,该方法基于从不同深度卷积神经网络(CNN)提取的特征在多个颜色空间上的后期融合而构建。通过这种方法,他们研究了深度神经网络和色彩空间的异构融合的能力。 由于他们结合使用了两个沉重的模型:ResNet 101和ResNet 152,因此这种方法会消耗大量的计算成本。
[4]在论文中,作者介绍了HA-CNN模型,该模型专门用于解决上述现有深层方法的弱点,方法是为以下问题制定联合学习方案在单个re-id深度模型中对软注意力和硬注意力进行建模。这是对深度学习中的多级相关注意力进行建模以使人们重新了解我们知识的首次尝试。在我们的实验中,它们显示了对人员重新进行联合建模多层次注意的好处。此外,他们还设计了有效的注意力CNN架构,以改善模型部署的可扩展性,这对于re-id而言是研究不足但实际上很重要的问题。作者在训练过程中没有采用任何数据论证方法,因此该系统可能不适用于不同的天气条件,相对于相机的物镜角度,照明条件,相机分辨率和其他真实场景,因此我们无法使用此模型我们的任务。
[5]中,他们提出了属性人识别(APR)网络,以利用身份标签和属性注释来获得人员re-ID。通过结合属性识别任务和身份分类任务,APR网络能够学习更多针对行人的区分性特征表示,包括全局和局部描述。他们在两个大规模的re-ID数据集和一个属性识别数据集上评估了所提出的方法APR的性能。此外,他们证明,在所有测试数据集中,拟议的APR都比基线提高了属性识别任务。但是由于光的变化,可能无法准确地识别出基于颜色特征(服装颜色,袖子长度)的某些属性,尤其是其中之一。 这就是为什么在应用我们的任务时,提议的属性集合将无效。
[6] 在论文中,作者提出了一种感知点的注意多视图推理(VAMI)模型来推断多视图特征。从单视图图像输入。 然后,在生成的视点不变的多视图特征空间上学习距离度量扫描。但是,在训练和测试期间,还需要提取更多不同的视角和角度,以便重新识别自行车,摩托车和电动自行车驾驶员,以提高工作效率。
[7]作者提出了使用学习深度三元组嵌入技术的车辆重新识别的基准。这套实践背后的核心思想在于构造一批以促进提取有意义的统计数据,以指导培训和融合。他们将建议的基准与三个数据集上的最新方法进行了比较,并且在广泛的评估标准中几乎都超过了所有基准。 但是,要区分两种颜色和型号完全相同的车辆还有些困难。所提出算法的缺点告诉我们,由于看起来非常相似的大量自行车,摩托车和电动自行车,我们无法将其用于我们的任务。
[8]提出了从粗到精的排序损失,以学习结构化的深度特征嵌入车辆重新ID任务。 粗到细排名损失包括车辆模型分类损失项,粗粒度排名损失项,细粒度排名损失项和成对损失项。 CNN可以学习深度特征嵌入空间,其中特征点之间的欧氏距离直接反映了车辆图像的语义相似性。 但是,训练算法会考虑车辆型号(汽车品牌),因此不适合自行车,摩托车或电动自行车驾驶员使用Re-ID。
[9]中,他们提出了具有相同基本深度学习架构但方向特征池层不同的四向深度学习网络。相同的基础深度学习架构是一个短而密集的卷积神经网络,用于提取输入方形车辆图像的基本特征图。该算法可以帮助避免由于图像的仿射变换而导致的错误,但仍对前面提到的其他问题敏感,这些问题对于汽车可能是有益的,但对自行车,摩托车或电动自行车驾驶员的重新识别至关重要。
作为结论,如今,不存在用于自行车,摩托车和电动自行车驾驶员的重新识别方法,并且提议的对自行车,摩托车或电动自行车驾驶员的重新识别是一种新颖的方法。由于感兴趣的对象及其特征之间存在显着差异,因此当前用于人员和汽车的Re-ID算法无法有效地用于我们的任务。为了有效解决自行车,摩托车和电动自行车驾驶员的重新识别问题,我们必须为他们开发新颖的检测和重新识别算法。
技术规格及性能指标
主要阶段:
1.准备数据库,其中包含具有不同天气条件的目标对象的各种示例,驾驶员和射击设备的数量(相对于传感器(相机)位置不受限制)
2.开发检测算法,培训和测试
3.开发用于重新识别的深度学习算法
4.用于重新识别的深度学习算法的训练和修改
5.单摄像头重新识别自行车,摩托车或电动自行车驾驶员
6.单摄像机重识别算法评估
7.调整多机位重新识别深度学习算法
8.多个摄像机重新识别自行车,摩托车或电动自行车驾驶员
9.多个摄像机重新识别算法评估
技术路线图:
1.数据库,其中包含具有不同天气条件的目标对象的各种示例,驾驶员和射击设备的数量,相对于传感器(相机)位置的位置不受限制
2.用于摄像机比较对象的评估指标
3.将介绍检测算法的训练和评估结果
4.调整最新的多相机重新识别深度学习算法
5.最终评估和报告准备
我们的方法将利用深度学习算法的所有优势来执行快速而强大的处理。 此外,由于此任务非常受限制,因此没有可用的数据库来执行深度学习算法的训练和测试。
为了制作完整的系统,重要的是创建一个数据库,其中包含具有自行车,摩托车或电动自行车驾驶员的多摄像机视频序列。
所有视频序列都必须在不同的天气条件下使用不同的拍摄设备进行拍摄,包含复杂的背景和各种数量的驾驶员。 相对于相机,所有物体都不应处于非刚性位置。
该系统可以在监视视频系统中实施,以搜索自行车驾驶员,交通控制,安全系统等为目标。
关键技术:
1.并行计算
2.
CUDA是由NVIDIA开发的并行计算平台和编程模型,用于图形处理单元(GPU)上的常规计算。
3. CUDNN是用于深度神经网络的GPU加速的原语库。
它为标准例程(例如前向和后向卷积,池化,规范化和激活层)提供了高度优化的实现。
4.计算机视觉和机器学习软件库
所有实验结果都将在新数据库中执行,以重新识别自行车,摩托车和电动自行车驾驶员。
将获得新的理论和实验结果。
结果将在国际SCOPUS期刊上发表。 实验结果将得到证明。