-
RCNN(Region Convolutional Neural Network)是第1个将卷积神经网络(CNN)引入到目标领域的算法,在该算法中主要思想是通过对大量的候选区域(Region Proposals)进行计算,并利用SVM分类器以及回归器获得目标的精准位置,这样的方法虽然相较于其他方法有加大的提升,但是计算量十分巨大。因此该团队提出了Fast-RCNN模型3个方面的改进:(1)将整张图片归一化处理送入网络,解决RCNN中候选区域大量的冗余计算问题;(2)在整幅图上提取候选区域,并且该候选区域的前几层特征不需要重复计算,这大大减少了训练时间;(3)把类别判断和位置精调统一用深度网络实现,降低了网络训练过程的存储空间[11]。而Faster-RCNN则是该团队的又一力作,在推理速度以及精度方面均有较大提升,因此本文采用该网络模型作为深度学习船舶图像识别方法的基础网络,下面对该网络进行详细的介绍。
-
Faster-RCNN的网络结构可以分为4个部分,如图1所示。第一部分,卷积层(Conv layers),即特征提取网络,在原网络中采用VGG16进行特征提取,用于后续RPN层的输入[12]。第二部分,区域候选网络(Region Proposal Network,RPN),该网络结构有两个任务:(1)判断所有的anchor内是否有目标;(2)修正anchor得到较为准确的候选区域。第三部分对感兴趣区域的池化(ROI Pooling),用于对RPN网络输出的候选区域进行收集,并结合特征提取网络的输出(feature map)送入全连接层进行分类处理。第四部分分类与回归(Classification and Regression),利用商议结构的输出计算出具体类别。
RPN结构作为Faster-RCNN网络中最为重要的结构,损失计算同样包括分类损失以及边界损失2个部分,如公式1~公式3所示。
$$ L\left(\left\{{p}_{i}\right\},\left\{{t}_{i}\right\}\right)={L}_{{\rm{cls}}}+\lambda {L}_{{\rm{reg}}} $$ (1) $$ {L}_{{\rm{cls}}}=\dfrac{1}{{N}_{{\rm{cls}}}}\displaystyle \sum\limits _{i}{L}_{{\rm{cls}}}\left({p}_{i}^{*},{p}_{i}^{*}\right) $$ (2) $$ {L}_{{\rm{reg}}}=\dfrac{1}{{N}_{{\rm{reg}}}}\displaystyle \sum\limits _{i}{p}_{i}^{*}{L}_{{\rm{reg}}}({t}_{i},{t}_{i}^{*}) $$ (3) 式中:
$ {p}_{i} $ ——第i个anchor预测为真实标签的概率;$ {p}_{i}^{\mathrm{*}} $ ——正样本时为1,负样本为0;$ {t}_{i} $ ——预测第i个anchor的边界框回归参数;$ {t}_{i}^{\mathrm{*}} $ ——第i个anchor对应的GT box;${N}_{{\rm{cls}}}$ ——1个mini-batch中所有样本数量,即256↑;${N}_{{\rm{reg}}}$ ——anchor位置的个数,约2 400↑。 -
原始Faster-RCNN网络中采用VGG16作为特征提取网络(backbone),但是由于其特殊的网络结构导致了大量冗余的网络参数,同时在训练过程中导致出现过拟合现象,虽然该网络在2只3次卷积后会通过最大池化下采样对网络复杂度,但是随着网络层数的加深,多次的池化操作会使得特征图的分辨率降低,从而导致网络对于小目标的检测能力降低。因此在本文中采用ResNet、ResNeXt以及MobileNetV2网络对VGG16进行替换。
ResNet的核心思想为残差结构,即通过残差网络增加一个恒等映射,跳过本层或多层运算,同时后向传播过程中,下一层网络梯参数度直接传递给上一层,有效改善了深层网络梯度消失的问题[13]。ResNet共包含5个stage,其中stage 0由1个卷积层组成,主要负责对输入的预处理,而后续4个stage主要由多个bottleneck组成,负责输入的特征提取,最后通过softmax层进行展平处理。
ResNeXt网络结合了VGG、ResNet和Inception3个经典网络的优秀特性,该网络的bottleneck是从ResNet网络中衍生而来,如图2所示。这样的结构能够有效解决由于网络层数增加而引起的退化问题,并且由于cardinality基数的使用可以在降低超参数复杂度的同时保证网络的准确度[14]。
MobileNet的核心思想为深度可分离卷积,该网络折中了网络精度以及网络运行速度方面的性能。深度可分离卷积相较于标准卷积将所有卷积核作用到所有channel中有所不同,它针对每一个输入的channel都有不同的卷积核,卷积核尺寸为1×1。这样的卷积方式与标准卷积由相同的感受野,但是大大地减少了模型的计算量和参数量[15]。如图3所示,在MobileNetV2中使用了倒残差结构,并且使用了ReLU6作为激活函数避免低维特征信息的损失。
-
Lin等[16]在密集目标检测(Dense Object Detection)任务中发现一个主要问题是前景和背景类之间的不平衡,为了解决该问题作者提出了一种新的损失函数——焦点损失函数(Focal Loss Function),它是对交叉熵损失(Entropy Loss)的一种修正,目的是在模型能够很好地分类的例子中减少损失的权重。在船舶识别任务中,我们在Faster-RCNN网络最后的分类阶段使用了该损失函数。焦点损失的计算方式如式4所示。
$$ {p}_{{\rm{t}}}=\left\{\begin{array}{c}p\\ 1-p\end{array}\right.\begin{array}{c}{\rm{if}}\;y=1\\ {\rm{otherwise}}\end{array} $$ (4) $$ {L}_{{\rm{f}}}=-{\left(1-{p}_{{\rm{t}}}\right)}^{\gamma }\mathrm{l}\mathrm{o}\mathrm{g}\left({p}_{{\rm{t}}}\right) $$ (5) 式中:
pt——与ground truth即类别y的接近程度;
Lf——focal loss焦点损失;
p ——预测概率大小。
-
对于海上船舶检测任务,目前大部分算法的数据集是卫星拍摄海面的SAR图像,由于本次任务采用光学摄像头拍摄船舶照片并且进行检测,因此这些数据集并不适用于本次船舶检测任务。针对上述问题,本文自制了一款包含约5 000张的光学摄像头拍摄的船舶图像,这些图像的来源包括:(1)海上风电平台拍摄的船舶图像;(2)通过爬虫技术获取的网络图像。利用labelImg软件完成对图像中船舶位置的标记,训练集、验证集及测试集按照7∶2∶1的比例进行划分[18]。本文数据集部分典型示例如图5所示。
-
为了使得模型能够取得更好的效果,在训练过程中采用了多种方式进行数据增强。这些数据增强方式包括:(1)以0.5的概率进行水平方向的翻转;(2)随机裁剪一个400×400的区域,并在训练期间将其调整为800×800。这样的方式是为了让小目标能够占据图像的较大区域[19]。
-
本文首先采用Pytorch框架搭建网络,利用GPU平台对训练过程进行加速。在训练过程中,首先采用迁移学习的方式分别载入MobileNetV2、ResNet50以及ResNetXt101网络在ImageNet数据集上预训练权重,训练过程分为2个部分:前5个epoch的训练中,首先冻结前置特征提取网络权重(backbone),训练RPN以及最终预测网络部分;而在后续的epoch训练过程中,解冻前置特征提取网络权重(backbone),接着训练整个网络权重。同时在训练过程中,学习率采用SGD优化策略,anchor尺寸设置为(32, 64, 128, 256, 512),当训练过程的损失趋于稳定后保存对于模型并进行测试。
-
根据模型训练过程保存的最优模型在验证集上进行测试,采用查准率(Precision)、查全率(Recall)以及平均准确率(Average Precision,AP)指标对各个模型进行评价,其中查询率表示模型检测的正样本数量占真实正样本的比例,而查准率表示模型检测全目标中真实正样本的比例,而平均准确率表示P-R曲线的面积。针对不同特征提取网络、分类损失函数的Faster-RCNN网络的精度如表1所示。
表 1 各项参数改变对网络性能的影响
Table 1. Influence of various parameter changes on network performance
backbone class loss mAP/% Precision/% Recall/% VGG16(传统结构) entropy loss 79.44 74.23 74.04 ResNet50 entropy loss 81.38 76.42 76.35 focal loss 82.15 78.38 78.12 MobileNetV2 entropy loss 80.92 75.79 75.63 focal loss 81.26 76.37 76.28 ResNeXt101 entropy loss 83.69 79.20 79.08 focal loss 84.83 79.89 79.63 -
采用训练好的模型,对数据集中部分数据进行验证与测试,网络对于该任务的识别效果如图6所示,其中图6(a)为船舶正面识别效果,图6(b)为侧面识别效果,该模型能够对图像中的船舶进行识别并将标注位置以及概率。
根据船舶AIS系统数据处理方法以及相关软件要求,通过对船舶AIS数据进行处理后得到船舶的轨迹如图7所示,可显示目标的历史轨迹点和线,间隔时间可调,每个历史轨迹点都有时间和位置信息。
Research and Improvement of Offshore Ship Fusion Recognition Algorithm
-
摘要:
目的 目前,我国海上风电平台对于附近船舶的监控手段主要是船舶AIS(Automatic Identification System)系统以及远程摄像头,这种缺乏信息化技术的手段往往需要耗费大量的人力、物力。为了能有效预警海上风电平台附近的船舶,文章分析了目前对于海上船舶识别任务所存在的亟待解决的问题,提出一种结合改进型Faster-RCNN网络以及船舶AIS信息的海上船舶融合检测算法。 方法 首先,提出Fast-RCNN模型3个方面的改进意见,对传统Faster-RCNN模型进行特征提取网络,对主干网络以及损失函数等结构进行调整;其次,基于改进型Faster-RCNN网络对远距摄像头拍摄的图片进行船舶检测,并结合船舶AIS系统相关信息对结果进行补充与校正;最后,根据模型训练过程保存的最优模型在验证集上进行测试,采用查准率、查全率以及平均准确率指标对各个模型进行评价。 结果 不同特征提取网络、分类损失函数的Faster-RCNN模型推理速度及精度得到了较大提升;海上风电平台对于船舶的监控能力得到改善;结合船舶AIS系统对海上船舶信息进行处理并获取其航行轨迹,实现了对远程摄像头拍摄图片中的船舶的检测。 结论 实验表明,对传统Faster-RCNN进行特征提取网络以及分类损失函数的替换,能够有效提升该网络在船舶识别任务中的检测精度,并且通过融合船舶AIS系统能够有效获取船舶的运行轨迹。 -
关键词:
- Faster-RCNN /
- 风电平台 /
- 海上船舶 /
- AIS /
- 识别
Abstract:Introduction At present in China, the ships near offshore wind power platforms are mainly monitored by means of the ship AIS system and remote cameras. Such means lacking information technology often require a lot of manpower and material resources. In order to effectively warn the ships near the offshore wind power platform, this paper analyzes the urgent problems to be solved that are encountered in the current offshore ship identification, and proposes an offshore ship fusion recognition algorithm that combines the improved Faster-RCNN network and ship AIS system. Method Firstly, improvement suggestions were proposed for three aspects of the Fast-RCNN model, and the structures such as the backbone network and the loss function were adjusted. Secondly, the ships in the pictures taken by the remote cameras were detected by the improved Faster-RCNN network, and the results were supplemented and corrected in combination with the relevant information from the ship AIS system. Finally, the verification sets were tested according to the optimal model saved in the model training process, and each model was evaluated using the indicators of precision, recall and average precision. Result The Faster-RCNN model inference speed and accuracy for different feature extraction networks and classification loss functions are improved greatly. The ability of offshore wind power platforms to monitor ships is improved. The offshore ship information was processed and the navigation trajectory was obtained in combination with the ship AIS system, realizing the detection of the ships in the pictures taken by the remote cameras. Conclusion Experiments show that the feature extraction network and the replacement of the classification loss function of the traditional Faster-RCNN can effectively improve the detection accuracy of the network in the ship recognition task and the ship trajectory can be effectively obtained by integrating the ship AIS system. -
Key words:
- Faster-RCNN /
- wind power platform /
- offshore ship /
- automatic identification system /
- identification
-
表 1 各项参数改变对网络性能的影响
Tab. 1. Influence of various parameter changes on network performance
backbone class loss mAP/% Precision/% Recall/% VGG16(传统结构) entropy loss 79.44 74.23 74.04 ResNet50 entropy loss 81.38 76.42 76.35 focal loss 82.15 78.38 78.12 MobileNetV2 entropy loss 80.92 75.79 75.63 focal loss 81.26 76.37 76.28 ResNeXt101 entropy loss 83.69 79.20 79.08 focal loss 84.83 79.89 79.63 -
[1] 国家能源局. 风电场工程110 kV~220 kV海上升压变电站设计规范: NB/T 31115—2017 [S]. 北京: 中国电力出版社, 2017. National Energy Board. Code for 110 kV~220 kV offshore substation design of wind power projects: NB/T 31115—2017 [S]. Beijing: China Electric Power Press, 2017. [2] 中华人民共和国住房和城乡建设部. 海上风力发电场设计标准: GB/T 51308—2019 [S]. 北京: 中国计划出版社, 2019. Ministry of Housing and Urban-Rural Development of the People's Republic of China. Standard for design of offshore wind farm: GB/T 51308—2019 [S]. Beijing: China Planning Press, 2019. [3] XIAO F L, LIGTERINGEN H, VAN GULIJK C, et al. Comparison study on AIS data of ship traffic behavior [J]. Ocean engineering, 2015, 95: 84-93. DOI: 10.1016/j.oceaneng.2014.11.020. [4] 徐志伟. 海上风电升压站平台设计及有限元计算分析 [J]. 内蒙古电力技术, 2022, 40(1): 44-48. DOI: 10.19929/j.cnki.nmgdljs.2022.0009. XU Z W. Design and finite element analysis of offshore wind power booster station platform [J]. Inner Mongolia electric power, 2022, 40(1): 44-48. DOI: 10.19929/j.cnki.nmgdljs.2022.0009. [5] 刘硕, 葛愿, 李媛媛, 等. 基于改进SSD的无人船海上船舶识别算法 [J]. 传感器与微系统, 2021, 40(2): 120-123. DOI: 10.13873/J.1000-9787(2021)02-0120-04. LIU S, GE Y, LI Y Y, et al. Recognition algorithm of unmanned ship at sea based on improved SSD [J]. Transducer and microsystem technologies, 2021, 40(2): 120-123. DOI: 10.13873/J.1000-9787(2021)02-0120-04. [6] 郭延华, 孙磊, 马世超, 等. 一种基于极端尺度变化的船舶识别方法研究 [J]. 计算机应用与软件, 2021, 38(1): 171-178. DOI: 10.3969/j.issn.1000-386x.2021.01.029. GUO Y H, SUN L, MA S C, et al. A boat recognition method based on extreme scale variation [J]. Computer applications and software, 2021, 38(1): 171-178. DOI: 10.3969/j.issn.1000-386x.2021.01.029. [7] 陈会伟, 刘树美, 刘培学, 等. 超尺度自导注意力网络的遥感船舶识别 [J]. 计算机工程, 2021, 47(10): 314-320. DOI: 10.19678/j.issn.1000-3428.0058993. CHEN H W, LIU S M, LIU P X, et al. Remote sensing ship recognition based on hyper-scale self-guided attention networks [J]. Computer engineering, 2021, 47(10): 314-320. DOI: 10.19678/j.issn.1000-3428.0058993. [8] 周雪芳, 刘树龙, 周海龙. 复杂环境中高可用船舶AIS大数据信息处理方法 [J]. 舰船科学技术, 2022, 44(6): 137-140. DOI: 10.3404/j.issn.1672-7649.2022.06.028. ZHOU X F, LIU S L, ZHOU H L. High-availability ship AIS big data information processing method in complex environment [J]. Ship science and technology, 2022, 44(6): 137-140. DOI: 10.3404/j.issn.1672-7649.2022.06.028. [9] 牟军敏, 陈鹏飞, 贺益雄, 等. 船舶AIS轨迹快速自适应谱聚类算法 [J]. 哈尔滨工程大学学报, 2018, 39(3): 428-432. DOI: 10.11990/jheu.201609033. MOU J M, CHEN P F, HE Y X, et al. Fast self-tuning spectral clustering algorithm for AIS ship trajectory [J]. Journal of Harbin engineering university, 2018, 39(3): 428-432. DOI: 10.11990/jheu.201609033. [10] 杨源, 阳熹, 汪少勇, 等. 海上风电场智能船舶调度及人员管理系统 [J]. 南方能源建设, 2020, 7(1): 47-52. DOI: 10.16516/j.gedi.issn2095-8676.2020.01.007. YANG Y, YANG X, WANG S Y, et al. Scheme design of intelligent vessel dispatching and personnel management system for offshore wind farm [J]. Southern energy construction, 2020, 7(1): 47-52. DOI: 10.16516/j.gedi.issn2095-8676.2020.01.007. [11] CHEN Y, LI W, SAKARIDIS C, et al. Domain adaptive faster R-CNN for object detection in the wild [C]//Anon. Proceedings of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Salt Lake City, USA, June 28-23, 2018. New York: IEEE, 2018: 3339-3348. DOI: 10.1109/CVPR.2018.00352. [12] REN S Q, HE K M, GIRSHICK R, et al. Faster R-CNN: towards real-time object detection with region proposal networks [J]. IEEE transactions on pattern analysis and machine intelligence, 2017, 39(6): 1137-1149. DOI: 10.1109/TPAMI.2016.2577031. [13] WU Z F, SHEN C H, VAN DEN HENGEL A. Wider or deeper: revisiting the ResNet model for visual recognition [J]. Pattern recognition, 2019, 90: 119-133. DOI: 10.1016/j.patcog.2019.01.006. [14] 蒋圣南, 陈恩庆, 郑铭耀, 等. 基于ResNeXt的人体动作识别 [J]. 图学学报, 2020, 41(2): 277-282. DOI: 10.11996/JG.j.2095-302X.2020020277. JIANG S N, CHEN E Q, ZHENG M Y, et al. Human action recognition based on ResNeXt [J]. Journal of graphics, 2020, 41(2): 277-282. DOI: 10.11996/JG.j.2095-302X.2020020277. [15] SANDLER M, HOWARD A, ZHU M L, et al. MobileNetV2: inverted residuals and linear bottlenecks [C]//Anon. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Salt Lake City, USA, June 18-23, 2018. New York: IEEE, 2018: 4510-4520. DOI: 10.1109/cvpr.2018.00474. [16] LIN T Y, GOYAL P, GIRSHICK R, et al. Focal loss for dense object detection [J]. IEEE transactions on pattern analysis and machine intelligence, 2020, 42(2): 318-327. DOI: 10.1109/TPAMI.2018.2858826. [17] 郭浩, 张晰, 安居白, 等. 基于船舶AIS信息的可疑船只监测研究 [J]. 交通信息与安全, 2013, 31(4): 67-72. DOI: 10.3963/j.issn.1674-4861.2013.04.015. GUO H, ZHANG X, AN J B, et al. Monitoring of intrusive vessels based on an automatic identification system (AIS) [J]. Journal of transport information and safety, 2013, 31(4): 67-72. DOI: 10.3963/j.issn.1674-4861.2013.04.015. [18] PURI D. COCO dataset stuff segmentation challenge [C]// Anon. 2019 5th International Conference on Computing, Communication, Control and Automation (ICCUBEA), Pune, India, September 19-21, 2019. New York: IEEE, 2019: 1-5. DOI: 10.1109/ICCUBEA47591.2019.9129255. [19] WU C L, CHAU K W, FAN C. Prediction of rainfall time series using modular artificial neural networks coupled with data-preprocessing techniques [J]. Journal of hydrology, 2010, 389(1/2): 146-167. DOI: 10.1016/j.jhydrol.2010.05.040. [20] 刘庆辉, 陆海强. 浅析海上风电施工安全管控 [J]. 南方能源建设, 2020, 7(1): 128-132. DOI: 10.16516/j.gedi.issn2095-8676.2020.01.021. LIU Q H, LU H Q. Brief analysis on safety management and control of offshore wind farm construction [J]. Southern energy construction, 2020, 7(1): 128-132. DOI: 10.16516/j.gedi.issn2095-8676.2020.01.021.