基于迁移学习的小样本OFDM目标增强识别方法
A Few-Shots OFDM Target Augmented Identification Method Based on Transfer Learning
通讯作者: 张 伟,男,高级工程师,电话(Tel.):028-87550717;E-mail:zhanggwei1103@163.com.
责任编辑: 孙伟
收稿日期: 2022-02-25
基金资助: |
|
Received: 2022-02-25
作者简介 About authors
唐泽宇(1988-),男,重庆市人,硕士生,从事辐射源识别技术研究.
在非合作场景所导致的小样本条件下,稳健提取通信辐射源目标特征并准确识别目标是当前研究的难点和热点.针对正交频分复用通信辐射源的小样本个体识别问题,文章在相位域、时域翻转的数据增强和源领域实例迁移的基础上,提出一种非合作通信辐射源个体识别方法.采用不同域翻转的数据增强方法扩充数据集,结合改进的残差网络,达到提高正交频分复用通信辐射源个体识别准确率的目的,并引入迁移学习以增强识别模型的泛化能力.实验结果表明:数据增强策略提升了小样本下的正交频分复用通信辐射源个体识别准确率,迁移学习方法的引入加快了模型的收敛速度,小幅度提高模型识别准确率并提升了鲁棒性.
关键词:
Under the few-shots condition caused by non-cooperative scenes, robust extraction of communication emitter features and accurate identification of targets are the difficulties and hotspots of current research. Aimed at the problem of emitter identification under the few-shots condition of orthogonal frequency division multiplexing (OFDM) signals, this paper proposes a non-cooperative target identification method based on phase/time domain flipping data augmentation and source domain instance-based transfer learning. The data set is expanded by different domain flipping data augmentation methods, and the improved residual network is applied to achieve the purpose of promoting the identification rate of the OFDM emitter. Then, transfer learning is introduced to strengthen the generalization ability of the identification model. The experimental results show that the data augmentation method can significantly improve the OFDM emitter identification rate under the few-shots condition. Furthermore, the transfer learning method accelerates the convergence speed, slightly increases the recognition rate, and improves robustness of the model.
Keywords:
本文引用格式
唐泽宇, 邹小虎, 李鹏飞, 张伟, 余佳奇, 赵耀东.
TANG Zeyu, ZOU Xiaohu, LI Pengfei, ZHANG Wei, YU Jiaqi, ZHAO Yaodong.
通信辐射源受制造、工艺、加工等影响,同一批次出厂的同型号设备的元器件也会存在个体差异,从而导致其发射信号中携带与硬件相关的细微特征,且这些特征不受信号具体传输的内容影响.基于此,采用通信辐射源个体识别技术,通过对电磁信号所携带的辐射源硬件特征进行分析,判断电磁信号来源,以确定其用途、型号、威胁等信息,这是有针对性地跟踪、监视和干扰重要目标最基础、最关键的环节,在公共安全管理和国防军事应用中具有重要意义[1].同时,由于正交频分复用(OFDM)技术被广泛应用于4G/5G移动通信网络、无线局域网、数字音频/视频广播、军民用无线通信链路、军民用无人机控制信号链路等领域,所以对OFDM通信辐射源的个体识别研究具有广泛的应用意义.
然而实际应用中,信号采集方无法主动控制信号背景的电磁环境或被采辐射源,使得目标电磁信号质量差、难截获.在这种非合作条件下,可标注和可训练的数据有限,容易造成过拟合导致分类精度下降,难以形成有效的识别模型,因此需要结合数据增强和小样本识别方法,对通信辐射源个体目标进行识别[13⇓⇓⇓-17].Liu等[18]针对辐射源个体识别可能会受到不稳定特征干扰的问题,利用数据增强方法在训练网络时对数据进行扩充,降低预处理的复杂度,同时抑制功率变化、频率偏移、相位偏移和信道噪声的干扰.Zhou等[19]将生成对抗网络引入电磁信号分类领域,利用生成对抗网络的样本增强能力构建半监督学习框架,直接处理电磁信号的IQ数据,一定程度上解决了电磁信号类型分类和辐射源个体识别中的过拟合问题.一个神经网络若能够对不同状态下的目标进行稳健的分类,就被称为具有不变性的属性,更具体地说,卷积神经网络(CNN)对移位、旋转、缩放、翻转等操作具有不变性,这是数据增强的前提.为解决过拟合问题,可以采用数据增强的方式,通过少量可用的信号样本生成更多的样本,对训练样本进行扩充.
同时,针对数据不易获取导致模型训练难、泛化性差的问题,可采用在资源充足环境中学到的知识辅助另一领域的学习策略,即迁移学习的思想.大部分数据或任务都存在相关性,因此迁移学习将某个领域或任务上学习到的知识或模式应用到相关的领域或问题中,把训练好的模型参数(也可理解为模型学到的知识)分享给新模型,从而避免网络从零学习,加快并优化模型的学习效率[20-21].Feng等[22]利用迁移学习方法筛除源域与目标域不同的部分,使源域的分布向目标域分布靠近,生成能够支撑后续分类方法的新数据集, 解决了复杂电磁环境所导致的雷达辐射源目标域样本标签不足的问题.Kuzdeba等[23]针对环境、频道、调试样式、信号类型等因素导致的辐射源信号源域与目标域分布存在差异和样本标签缺失的问题,通过对网络模型参数的迁移,实现对不同辐射源的个体识别.Liu等[24]针对辐射源细微特征会随着时间、地点和条件的不同而变化,继而使得训练样本和测试样本分布不同的问题,通过迁移学习有效利用和转移已标记源域数据中的知识,提高了通信辐射源的个体识别性能.由此可见,迁移学习可以更好地探索数据结构信息,将有价值的知识从源域转移到目标域,在目标域样本不足以支撑模型训练的条件下,提高识别正确率.
针对小样本条件下产生OFDM信号通信辐射源的目标识别问题,提出了基于相位、时域翻转的数据增强和源领域实例迁移的方法,通过翻转的数据增强方法扩充数据集,并引入迁移学习以强化识别模型的泛化能力,提高了个体目标的识别准确率.
1 小样本OFDM目标增强识别方法
以通信辐射源产生的OFDM信号为研究对象,研究在小样本情况下的通信辐射源目标识别问题,实验数据来源于最易获取的手机OFDM信号,通过判断当前发射OFDM信号的手机属于华为畅享Z、小米Play4或vivo Y70s等中的哪个型号,进一步判定手机个体是属于5部华为畅享Z或是5部小米Play4手机中的哪一部.对手机的个体识别有助于识别不法分子在频繁更换用户识别(SIM)卡的情况下使用的手机,进而对其身份进行判别,在公共安全管理方面有一定的应用价值.同时,手机的个体识别方法在同样使用OFDM技术的无人机、数字广播、通信电台等领域中存在一定的共通性.
图1给出了基于迁移学习的小样本OFDM目标增强识别方法的总体流程.其中,(1, 2)表示步长,即每次卷积后,卷积核在纵向移动1个位置,横向移动2个位置;1×7和3×3为卷积核的尺寸;64和128为该层输出的通道数,即卷积核的个数;全连接层中的5表示输出的维度,即识别模型最终输出一个5维向量.首先通过数据预处理,对预先采集的手机OFDM信号进行分段筛选、归一化和双通道数据提取;其次,根据OFDM信号多载波的特点,修改卷积核结构,对残差网络进行适应性调整;再次,利用数据增强的方法,对数据样本进行扩充;最后,在上述实验基础上采用迁移学习方法,利用源域数据训练出旧模型,并使用旧模型的参数初始化新模型,从而构建目标域识别模型,完成目标识别任务,最终达到知识迁移的目的.
图1
图1
OFDM信号目标识别方法总体流程
Fig.1
Overall process of OFDM target identification method
1.1 OFDM信号预处理
在对OFDM信号的采集中,每个数据文件采集时长100 ms.如图2所示,每1 ms时长的数据包括14个OFDM符号和1个时隙号,数据分两个时隙传出,14个OFDM符号依次为3个有效信号、1个参考信号、6个有效信号、1个参考信号、3个有效信号.每个OFDM符号包含108个子载波,每个子载波由IQ两路表示(2个short数据类型).
图2
数据预处理分为数据分段筛选、归一化和双通道数据生成3部分.首先对每100 ms数据进行分割,每个数据文件中的信号分成有效信号、参考信号、时隙,选取其中有效信号;然后,由于辐射源个体指纹特征与信号的发射功率无关,为避免信号功率差异造成影响,对数据样本进行归一化处理;最后,将处理后的每100 ms数据分别按频谱图、IQ两路实部和实部加虚部、IQ两路模长单通道和模长加相位双通道共5种方式,各生成一个信号数据样本.
1.2 基于适应性调整的残差网络分类方法
残差网络(ResNet)是一种卷积神经网络,通过使用残差模块,可以解决卷积神经网络深度增加引起的性能退化问题.其包含一个新的网络块,网络块输入为x,输出为Q(x),这个网络块将输入特征x映射为Q(x)-x,将Q(x)-x记作F(x),即该网络块计算原映射Q(x)与输入特征x的差值F(x),称作“使得该网络块学习原网络块Q(x)与输入特征x的残差”,网络块结构如图3所示.其中,ReLU为修正线性单元.
图3
残差块结构不再让权重层只输出最终的特征图,而是让权重层输出最终特征图和输入特征的差值F(x), 再将F(x)与输入特征x进行元素级别加法操作得到最终特征图.图3的结构可表示为
式中:
以ResNet-18(17个卷积层和1个全连接层的残差网络)作为基础模型,其结构根据预处理后的数据进行调整.OFDM信号数据被预处理为3种形式:① 三通道的二维像素点的形式,对于这种数据形式,往往使用卷积神经网络建立模型;② 单通道一维数据形式,保存的数据为完整的IQ信号模长;③ 双通道二维数据形式,增加了I路信号和Q路信号之间的相位信息,最大化保留了对分类有用的信息.对于后两种数据形式,首先需要调整网络输入层,将原本支持彩色图像RGB三通道的残差网络输入层修改为能支持以幅值和相位双通道数据作为输入,同时对前两个通道的权重进行拷贝,保证初始化权重与残差网络一致.然后,针对OFDM符号包含108子载波的特殊性质,对网络结构进行适应性调整,优化残差网络特征提取的方式,将原第一卷积层的卷积核由7×7降维至1×7,使其更加关注同一子载波所展现的特征.最终确定残差网络结构如图4所示.
图4
损失函数用来判定预测值和真实值的接近程度,有助于优化神经网络的参数,因此采用交叉熵作为损失函数,衡量实际输出与期望输出的差值.此外,通过softmax分类器,让分类预测值的和为1.损失函数定义如下:
式中:p为标签值;q为预测值.
梯度下降法(SGD)是机器学习中常用优化方法,采用小批量SGD方法,提升训练速度,提高内存利用率并减少迭代次数.SGD优化方法设置动量参数为0.9,学习速率为0.01,批量大小为16,训练迭代次数为100.
1.3 基于相位域和时域翻转的数据增强方法
为了在小样本条件下对辐射源信号进行个体识别,需要获得更多的样本数据,因此对现有的数据集进行微小的改变,如旋转、移位、翻转等,以对样本数据进行增强.针对OFDM信号的时频域特征,结合信号的周期性特征,提出一种在相位域和时域上翻转来进行数据增强的方法.
在相位域上,Hilbert变换是信号处理中一种常用的手段,通过对原信号的相位反转,展现出信号不同的角度.采用Hilbert变换的方法,对信号进行卷积来构建目标的时频解析信号,从而实现增强效果.
假设现有信号
由上式可知,
式中:j为虚数单位;ω为角频率.
因此,
引入欧拉公式
由上式可知,当频率大于0时,相位向左移90°,反之,向右移90°,因而实现了在相位域上的信号翻转.
在时域上,针对信号具有周期性特征,对 100 ms 原始信号数据中每个子载波所包含的 1 200个OFDM有效信号进行水平翻转,并将翻转后的子载波重新组合成包含108子载波的OFDM信号,形成新的训练样本,扩充训练集,提升整体性能,从而达到数据增强目的.
1.4 基于源领域实例的迁移学习方法
电磁信号难以截获,导致采集的信号较难覆盖数量繁多的辐射源目标,因此当面对新目标信号出现时,需要对已有的个体识别模型进行迁移.为了更快实现模型迁移,达到较好的识别效果,通常需要大量的标注数据,在小样本条件下,充分利用已有的标注数据改进迁移模型的学习效果是必要的.因此,提出一种通过源领域数据进行基于实例的迁移学习方法.
采集同品牌同型号的5部手机样本数据,在拟定分类识别方法下完成模型训练.在出现了不同品牌或同品牌同型号的新手机样本后,利用已训练完成的模型,初始化新手机识别任务的模型参数,即从源领域中选出与目标域相似的数据作为新任务预训练模型的训练集.因此,新旧识别任务的数据来源有一定相似性,相当于扩充了新任务训练集,充分利用了电磁信号数据特征.该方法提高了模型的鲁棒性、加快了网络参数拟合速度,能够更快达到较好的识别准确率.
如图5所示,利用同源的旧数据在共享网络上训练出旧模型,再利用旧模型的模型参数初始化目标任务的训练,从而达到知识迁移的目的.
图5
2 实验
实验数据采集自共用一张SIM卡的手机个体目标的联通4G OFDM信号,共有5个品牌的30部手机,且每个品牌下的手机型号相同.随机选取其中5部手机作为目标域样本,包含2部华为、2部iqoo和1部小米,每部手机为识别模型中的一类,各部手机有效信号样本数分别为62、54、60、60、49,将5部手机的信号样本按照4∶1划分为训练集和验证集,用于训练实验中进行适应性调整后的残差网络模型.利用剩余手机目标数据构建2个源域,每个源域5部同品牌同型号手机,每部手机为识别模型中的一类,有效信号样本40~60个,保持与目标域一致,作为迁移学习旧模型的训练数据.每组实验均重复训练10次,计算平均识别准确率和标准差.其中,识别准确率定义为:
实验通过对手机个体目标识别结果的对比,依次分析不同数据输入方式、数据增强方法以及迁移学习方法对识别模型的影响,从而研究小样本下OFDM通信辐射源目标识别的效果.
2.1 数据输入的影响
在数据预处理中将数据保存为单通道和双通道的形式,单通道数据的维度为(108, 1200, 1),双通道数据的维度为(108, 1200, 2).分别用图像、单通道实部、双通道实部及虚部、单通道幅值和双通道幅值及相位共5种输入方式的数据,训练修改通道数后的残差网络,实验结果如图6.
图6
图6
5种数据输入方式的单次训练结果对比
Fig.6
Comparison of single training results of 5 data input methods
表1 5种数据输入方式比较
Tab.1
数据输入方式 | 平均识别准确率 ± 标准差 |
---|---|
图像 | 32.23±2.78 |
实部 | 51.39±3.25 |
实部和虚部组合 | 51.57±3.34 |
幅值 | 66.16±3.45 |
幅值和相位组合 | 67.28±2.80 |
在幅值和相位组合双通道输入的基础上,调整了残差网络的结构,以改变其特征提取的方式,将卷积核降至一维,同时修改步长,与原残差网络进行对比实验,实验结果如图7所示.
图7
图7
网络结构调整前后单次训练结果对比
Fig.7
Comparison of single training results before and after network structure adjustment
表2 网络结构调整前后比较
Tab.2
卷积核结构 | 平均识别准确率±标准差 |
---|---|
7×7原卷积核 | 67.28±2.90 |
1×7调整后卷积核 | 69.83±1.48 |
2.2 数据增强方法的对比
以上一节调整后的残差网络结果为基线,进行4种数据增强方法效果对比实验:① 子载波调序的数据增强,生成9组0~108的随机序列,调整各个原始样本中子载波的顺序,扩充训练集为原来的10倍;② 添加高斯噪声,设定方差系数为0.01.在每一轮中,随机为1/4的数据添加高斯噪声;③ 相位域翻转,将时域信号实部进行Hilbert变换,构建解析信号,将复数结果幅值和相位作为双通道输入;④ 时域翻转,对每一个训练集样本中所有子载波进行水平翻转,合成新的样本,扩充训练集为原来的2倍.训练结果如图8.
图8
图8
小样本数据增强单次训练结果对比
Fig.8
Comparison of single training results of data augmentation methods for few-shot learning
表3 小样本数据增强方法比较
Tab.3
数据增强方法 | 平均识别准确率±标准差 |
---|---|
无数据增强 | 69.83±1.48 |
子载波调序 | 77.30±2.24 |
添加高斯噪声 | 77.69±2.38 |
相位域翻转 | 78.48±2.14 |
时域翻转 | 79.35±1.26 |
2.3 迁移学习加入的作用
通过对比实验,研究模型加入迁移学习的效果,以上述实验的5部手机(包含华为、iqoo、小米)数据作为目标域,再利用剩余手机目标中5部小米同型号手机和5部vivo同型号手机的数据分别构建2个源域,用源域目标样本数据做预训练,生成2个源域识别模型,并在各自向目标域进行迁移时,使用源域模型的参数对目标域的模型训练进行初始化.
图9
表4 迁移学习加入前后的比较
Tab.4
迁移学习作用对比 | 平均识别准确率±标准差 |
---|---|
无迁移学习 | 79.35±1.26 |
有迁移学习(源域为5部小米手机) | 77.76±2.06 |
有迁移学习(源域为5部vivo手机) | 76.60±1.94 |
3 结语
针对非合作条件下,通信辐射源信号数据稀缺难以有效进行目标识别的问题,利用双通道方式提取子载波信号复杂特征,采用翻转的数据增强方法扩充数据样本集,再基于适应性调整的残差网络和实例的迁移学习方法,对通信辐射源目标进行识别和模型构建,实现了小样本条件下通信辐射源的模型迁移和目标识别.实验结果表明,以幅值及相位双通道方式作为输入能更好地保留信号数据特征,结合相位域、时域翻转等数据增强方法,能够一定程度解决样本稀缺的问题,显著提升适应性调整后的残差网络的识别性能.此外,迁移学习方法能够加快网络参数拟合速度,利用少量数据快速构建可适应新目标的识别模型,在不降低分类性能的条件下,有效提高模型鲁棒性和泛化性.
在实际应用中,待识别辐射源目标不仅存在样本稀缺的问题,甚至没有任何数据,对这类未知辐射源目标的识别将是下一阶段的研究方向.
参考文献
辐射源识别技术发展研究
[J]. ,
Research on the development of specific emitter identification
[J]. ,
基于深度学习的通信电台个体识别技术
[J]. ,
Individual identification technique of communication transmitters based on deep learning
[J]. ,
基于IQ图特征的通信辐射源个体识别
[J]. ,
Specific emitter identification of communication radiation source based on the characteristics IQ graph features
[J]. ,
一种基于射频指纹的通信个体识别方法
[J]. ,
A communication individual recognition method based on radio frequency fingerprint
[J]. ,
Over-the-air deep learning based radio signal classification
[J]. ,DOI:10.1109/JSTSP.2018.2797022 URL [本文引用: 1]
基于深度强化学习的区域化视觉导航方法
[J]. ,
A regionalization vision navigation method based on deep reinforcement learning
[J]. ,
Deep residual learning for image recognition
[C],
基于深度残差适配网络的通信辐射源个体识别
[J]. ,
Communication transmitter individual identification based on deep residual adaptation network
[J]. ,
Specific emitter identification based on deep residual networks
[J]. ,DOI:10.1109/ACCESS.2019.2913759 [本文引用: 1]
Specific emitter identification (SEI) enables the discrimination of individual radio emitters with the external features carried by the received waveforms. This identification technique has been widely adopted in military and civil applications. However, many previous methods based on hand-crafted features are subject to the present expertise. To remedy these shortcomings, this paper presents a novel SEI algorithm using deep learning architecture. First, we perform Hilbert-Huang transform on the received signal and convert the resulting Hilbert spectrum into a grayscale image. As a signal representation, the Hilbert spectrum image has high information integrity and can provide abundant information about the nonlinear and non-stationary characteristics of signals for identifying emitters. Thereafter, we construct a deep residual network for learning the visual differences refiected in the Hilbert spectrum images. By using the residual architectures, we effectively address the degradation problem, which improves efficiency and generalization. From our analysis, the proposed approach combines high information integrity with low complexity, which outperforms previous studies in the literature. The simulation results validate that the Hilbert spectrum image is a successful signal representation, and also demonstrate that the fingerprints extracted from raw images using deep learning are more effective and robust than the expert ones. Furthermore, our method has the capability of adapting to signals collected under various conditions.
一种基于复数残差网络的通信辐射源个体识别方法
[J]. ,
A method of personal identification of communication radiation source based on complex-valued residual network
[J]. ,
Bag of tricks for image classification with convolutional neural networks
[C].
卷积神经网络的正交性特征提取方法及其应用
[J]. ,
Orthogonal features extraction method and its application in convolution neural network
[J]. ,
Generalizing from a few examples
[J]. ,
小样本条件下的通信辐射源半监督特征提取
[J]. ,
Semi-supervised feature extraction of communication emitter under small sample condition
[J]. ,
Few-shot electromagnetic signal classification: A data union augmentation method
[J/OL]. (
Small sample identification for specific emitter based on adversarial embedded networks
[C/OL]. (
基于隐变量后验生成对抗网络的不平衡学习
[J]. ,
Unbalanced learning of generative adversarial network based on latent posterior
[J]. ,
Specific emitter identification against unreliable features interference based on time-series classification network structure
[J]. ,DOI:10.1109/ACCESS.2020.3035813 URL [本文引用: 1]
Generative adversarial network-based electromagnetic signal classification: A semi-supervised learning framework
[J]. ,Generative adversarial network (GAN) has achieved great success in many fields such as computer vision, speech processing, and natural language processing, because of its powerful capabilities for generating realistic samples. In this paper, we introduce GAN into the field of electromagnetic signal classification (ESC). ESC plays an important role in both military and civilian domains. However, in many specific scenarios, we can’t obtain enough labeled data, which cause failure of deep learning methods because they are easy to fall into over-fitting. Fortunately, semi-supervised learning (SSL) can leverage the large amount of unlabeled data to enhance the classification performance of classifiers, especially in scenarios with limited amount of labeled data. We present an SSL framework by incorporating GAN, which can directly process the raw in-phase and quadrature (IQ) signal data. According to the characteristics of the electromagnetic signal, we propose a weighted loss function, leading to an effective classifier to realize the end-to-end classification of the electromagnetic signal. We validate the proposed method on both public RML2016.04c dataset and real-world Aircraft Communications Addressing and Reporting System (ACARS) signal dataset. Extensive experimental results show that the proposed framework obtains a significant increase in classification accuracy compared with the state-of-the-art studies.
A survey of transfer learning for convolutional neural networks
[C].
A survey of transfer learning
[J]. ,DOI:10.1186/s40537-015-0036-x URL [本文引用: 1]
Radar emitter identification under transfer learning and online learning
[J]. ,DOI:10.3390/info11010015 URL [本文引用: 1]
Transfer learning with radio frequency signals
[C].
Communication specific emitter identification based on transfer learning
[J]. ,DOI:10.1088/1742-6596/1626/1/012027 URL [本文引用: 1]
/
〈 | 〉 |