-
计算机视觉的重建任务有两个步骤:首先对需要重建的目标进行提取;再者是对目标重建。提取重建目标是使用边缘提取算法从图像中获取重建目标的像素坐标信息。目标重建部分是建立像素坐标系和世界坐标系的对应关系,目前是对相机进行标定来确定两个坐标系之间的对应关系。
-
在现阶段存在很多的边缘提取算法,例如Canny算子,Sobel算子和基于图像显著性的边缘提取算法。Canny算子可适用于不同的场合,它的参数允许根据不同实现的特定要求进行调整以识别不同的边缘特性;Sobel算子对噪声具有平滑抑制作用,可以产生较好的检测效果,但是得到的边缘较粗,且可能出现伪边缘。鉴于整个系统对实时性的要求,使用基于图像显著性的快速边缘提取算法获取等离子体可见光边缘的像素坐标信息,能够有效获取等离子体可见光边缘的像素坐标信息,且花费的时间比传统的 Canny算子和 Sobel算子要少很多。
-
目标重建是使用相机标定方法,将目标的图像信息映射到世界坐标系中。相机标定是对物体成像过程的数学建模,该建模包括目标角点的射影变换和相机的透镜畸变。其中射影变换对应的关系:
$$ \left[\begin{array}{c}u\\ v\end{array}\right]=s\left[\begin{array}{c}\begin{array}{ccc}{f}_{x}& \gamma & {u}_{0}\end{array}\\ \begin{array}{ccc}0& {f}_{y}& {v}_{0}\end{array}\\ \begin{array}{ccc}0& 0& 1\end{array}\end{array}\right]\left[\begin{array}{cc}{\boldsymbol{R}}& \overrightarrow{{\boldsymbol{t}}}\end{array}\right]\left[\begin{array}{c}{x}_{w}\\ {y}_{w}\\ {z}_{w}\end{array}\right] $$ (1) 其中令
$ \overrightarrow{{\boldsymbol{q}}}={\left[\begin{array}{cc}u& v\end{array}\right]}^{T} $ ,${\boldsymbol{M}}=\left[\begin{array}{c}\begin{array}{ccc}{f}_{x}& \gamma & {u}_{0}\end{array}\\ \begin{array}{ccc}0& {f}_{y}& {v}_{0}\end{array}\\ \begin{array}{ccc}0& 0& 1\end{array}\end{array}\right]$ ,$ {f}_{x}=f*{s}_{x}, {f}_{y}= f*{s}_{y} $ ,${\boldsymbol{W}}=\left[\begin{array}{cc}{\boldsymbol{R}}& \overrightarrow{{\boldsymbol{t}}}\end{array}\right]$ ,$ \overrightarrow{{\boldsymbol{Q}}}={\left[\begin{array}{ccc}{x}_{w}& {y}_{w}& {z}_{w}\end{array}\right]}^{T} $ ,式中:
$ \overrightarrow{{\boldsymbol{q}}} $ ——角点像素坐标;s ——一个任意的比例因子;
$ {\boldsymbol{M}} $ ——相机内参矩阵;$ {u}_{0} $ ,$ {v}_{0} $ ——相机芯片在成像过程中不在图像坐标系中心的建模参数;$ f $ ——焦距;$ {s}_{x},{s}_{y} $ ——CCD芯片的像元尺寸;$ {\boldsymbol{W}} $ ——相机外参矩阵(R为旋转矩阵,$\overrightarrow{\boldsymbol{t}}$ 为平移向量);$ \overrightarrow{{\boldsymbol{Q}}} $ ——世界坐标系坐标(用于描述相机的位置)。理论上通过射影变换就已经可以实现像素坐标系向世界坐标系的转换。但是事实上,不存在完美的相机透镜,在相机成像时,都会存在因为相机透镜而引起的畸变,透镜畸变包括径向畸变和切向畸变。对于径向畸变,成像装置的光学中心处畸变为0,畸变随着点与光学中心的距离增大而增大。使用泰勒展开式对它建模:
$$ {x}_{\mathrm{c}\mathrm{o}\mathrm{r}\mathrm{r}\mathrm{e}\mathrm{c}\mathrm{t}\mathrm{e}\mathrm{d}}=x*\left(1+{k}_{1}{r}^{2}+{k}_{2}{r}^{4}+{k}_{3}{r}^{6}\right) $$ (2) $$ {y}_{{\rm{corrected}}}=y*\left(1+{k}_{1}{r}^{2}+{k}_{2}{r}^{4}+{k}_{3}{r}^{6}\right) $$ (3) 式中:
$ \left[\begin{array}{cc}x& y\end{array}\right] $ ——畸变点的原始像素坐标;$\left[\begin{array}{cc}{x}_{{\rm{corrected}}}& {y}_{{\rm{corrected}}}\end{array}\right]$ ——矫正后的像素坐标;$ r $ ——畸变点到光学中心处的距离。对于切向畸变引入参数
$ {p}_{1} $ ,$ {p}_{2} $ ,中和两种畸变得到矫正公式:$$ {x}_{{\rm{corrected}}}=x+\left[2{p}_{1}xy+{p}_{2}\left({r}^{2}+2{x}^{2}\right)\right] $$ (4) $$ {y}_{{\rm{corrected}}}=y+\left[2{p}_{2}xy+{p}_{1}\left({r}^{2}+2{y}^{2}\right)\right] $$ (5) 相机标定的过程既包括线性的射影变换又包括非线性的畸变矫正。单目相机标定一般用于离线的目标重建,这不符合托卡马克装置对实时性的要求,因此需要开发新的算法进行实时重建。通过分析相机标定发现标定过程包含了很多的线性和非线性参数,因此相机标定可以转换为多变量的非线性拟合。
-
实验做了两组对照实验,第一组实验(实验一)是没有使用小样本学习的全连接神经网络进行重建,第二组实验(实验二)是使用小样本学习的全连接神经网络进行重建。图3为两组实验的重建效果与电磁重建效果的对比图。表1是两组实验重建的误差统计,其中距离为欧式距离。
表 1 不同实验的误差统计表
Table 1. Error statistics table for different experiments
距离/m 实验一 实验二 0~0.01 85% 83% 0.01~0.02 13% 16% $\geqslant 0.02$ 2% 1% 本实验重建阶段实质上是神经网络的推理过程,该推理过程花销的时间为66.9 us。实验使用的计算机处理器为CPU为Intel(R) Core(TM) i7-10750H CPU @ 2.60GHz,内存为64 GB,编译环境为Visual Studio 2019。
通过重建的效果图来看,实验二重建的一些位置出现部分偏差,但是从误差统计表来看实验二的重建总体上不弱于实验一,因为工程上要求的精度是距离控制在0.02 m以内。实验二在关键位置即等离子体位形左端、右端、上端、下端有较好的拟合效果,这对等离子体位形控制有着重要的作用。实验一和实验二总体上都可以满足精度要求,但是就数据集制作的工作量和难度上实验一都要远大于实验二。两组实验也同时证明了全连接神经网络可用于目标重建的可行性,也证明了全连接神经网络可用于等离子体位形实时重建的工作。同时该算法的时间开销为66.9 us,为实现系统实时性的要求提供了基础。
Boundary Reconstruction of Tokamak Plasma Based on Deep Neural Networks
-
摘要:
目的 为了实现托卡马克在放电过程中对等离子体位形的实时重建,在对相机标定算法分析的基础上,提出一种基于全连接神经网络的可见光边缘重建算法。 方法 该算法的作用是建立像素坐标系和托卡马克坐标系的对应关系进而实现等离子体可见光边缘重建。 结果 在该算法的基础上引入小样本学习,来对全连接神经网络重建算法做进一步改进。 结论 实验结果表明该算法可以精确地对等离子体可见光边缘进行重建,同时也满足系统对实时性的要求。 Abstract:Introduction In order to realize the real-time reconstruction of plasma shape and position in tokamak, a visible light edge reconstruction algorithm based on fully connected neural network is proposed based on the analysis of camera calibration algorithm. Method The function of the algorithm was to establish the corresponding relationship between the pixel coordinate system and the tokamak coordinate system, and then realize the plasma visible light edge reconstruction. Result On the basis of the algorithm, few-shot learning is added to further improve the reconstruction algorithm of fully connected neural network. Conclusion Experimental results show that the algorithm can accurately reconstruct the plasma visible light edge, and also meet the real-time requirements of the system. -
表 1 不同实验的误差统计表
Tab. 1. Error statistics table for different experiments
距离/m 实验一 实验二 0~0.01 85% 83% 0.01~0.02 13% 16% $\geqslant 0.02$ 2% 1% -
[1] 李芳著, 高庆弟, 张锦华, 等. 托卡马克垂直不稳定性控制 [J]. 核聚变与等离子体物理, 1995, 15(3): 6-11. DOI: 10.16568/j.0254-6086.1995.03.002. LI F Z, GAO Q D, ZHANG J H, et al. Tokamak vertical instability control [J]. Nuclear Fusion and Plasma Physics, 1995, 15(3): 6-11. DOI: 10.16568/j.0254-6086.1995.03.002. [2] 明玥. 托卡马克等离子体中的极向流及其在磁流体不稳定性研究中的应用 [D]. 合肥: 中国科学技术大学, 2018. MING Y. Polar flow in tokamak plasma and its application to the study of magnetic fluid instability [D]. Hefei: University of Science and Technology of China, 2018. [3] DICKINSON D, ROACH C M, SAARELMA S, et al. Microtearing modes at the top of the pedestal [J]. Plasma Physics and Controlled Fusion, 2013, 55(7): 074006. DOI: 10.1088/0741-3335/55/7/074006. [4] ABDULLAEV S S. Stable and unstable manifolds, and the structure of magnetic footprints [J]. Nuclear Fusion, 2014, 54(6): 064004. DOI: 10.1088/0029-5515/54/6/064004. [5] ZHANG X X, CAI H S, WANG Z X. Influence of deeply trapped energetic ions on tearing modes [J]. Physics of Plasmas, 2019, 29(6): 062505. DOI: 10.1063/1.5058733. [6] FELIX I P, MICHAEL B. Intrinsic rotation in tokamaks: theory [J]. Plasma Physics and Controlled Fusion, 2015, 57(4): 045002. DOI: 10.1088/0741-3335/57/4/045002. [7] DENG W, LIN Z, HOLOD I. Gyrokinetic simulation model for kinetic magnetohydrodynamic processes in magnetized plasmas [J]. Nuclear Fusion, 2012, 52(2): 023005. DOI: 10.1088/0029-5515/52/2/023005. [8] SAMADDAR D, CASPER T A, KIM S H, et al. Time parallelization of advanced operation scenario simulations of ITER plasma [J]. Journal of Physics:Conference Series, 2013, 410(1): 012032. DOI: 10.1088/1742-6596/410/1/012032.