田口 法 預測

摘要：

频谱预测是认知无线电网络中一种很有前途的技术，它可以减少频谱感知过程中所消耗的大量时间和能量。许多频谱预测算法都取得了很好的性能，但大多数浅层结构的算法都不能很好地捕捉到频谱数据的内在相关性。长期短期记忆(LSTM)神经网络在深度学习中具有很强的求解时间序列问题的能力。本文针对两个真实的频谱数据集，提出了一种基于深度学习的频谱预测框架。对于第一组预测信道占用率的数据集，首先采用田口方法确定某一频谱点的最佳神经网络优化配置，然后分析各设计参数对信道占用率的影响。然后，建立了基于回归和分类的LSTM神经网络用于频谱预测。对于第二个预测信道质量的数据集，我们比较了LSTM神经网络和传统多层感知器(MLP)神经网络的预测性能。对这两个数据集的预测结果表明，预测性能随频带的不同而变化。从统计学角度看，LSTM神经网络比MLP神经网络具有更好的预测性能和更好的稳定性。此外，我们还发现，在我们的第一个数据集中，具有分类视角的LSTM神经网络的性能略优于使用回归视角的LSTM神经网络。

1、引言

随着通信业务发展，频谱需求增加，传统静态分配策略频带利用率低，认知无线电网络被提出，它允许未经许可的用户在空闲时隙内进行通信，而不会对许可用户造成有害干扰，频谱感知和频谱预测是探索CRN中频谱接入机会的两种方法。频谱感知使用各种信号检测方法确定当前无线频谱状态(Rss)它消耗了大量的时间和能量，而频谱预测则利用固有的相关性和/或规律，从历史上已知的/测量的光谱数据中推断出未来可能是未知的/未测量的RSS。频谱预测可以缓解频谱感知中的处理延迟和能量消耗。在未来的无线网络中有着广泛的应用，如crn、协作中继网络，和5G网络。

最近，我们对频谱预测进行了一些有趣的研究，并在我们的工作中发现了最近的一项综合调查。然而，现有的大多数研究都是基于传统的统计技术或浅层结构模型来预测信道质量或状态。近年来，随着计算能力的发展和大数据时代的到来，深度学习引起了工业界和学术界的广泛关注。其深厚的结构和巧妙的结构设计使深度学习具有更好的建模和解决某些问题的能力，长短时记忆(LSTM)网络是RNN的一个改进版本，它克服了长期依赖的缺点，在单个神经元中引入多个门以更好地协调历史信息和当前信息。在本文中，这些观察促使我们考虑利用LSTM网络进行深度学习，以开发强大的频谱预测方案。

2、主要工作

a、开发了一个基于深度学习的频谱预测框架，这是第一次对真实世界功率谱密度(PSD)值进行预测。

b、设计了几个主要的试验，利用田口方法-折叠交叉验证，确定优化结构，并分析各设计参数对神经网络的影响。有效地降低了时间消耗和计算资源的要求。

c、根据现实世界的频谱数据得到实验结果。有几个有趣的见解如下：神经网络的超参数有不同程度的影响，网络深度更显著；LSTM网络比多层感知器(MLP)网络更稳定；具有回归和分类视角的LSTM网络的性能均优于MLP网络，而具有分类视角的LSTM网络的性能略好于另一种LSTM网络。

3、系统模型与问题描述

用于预测的单光谱点的数据集构造，q0,q1,……,q7参考时隙中的可选信道测量值。测量数据可以随着时间的推移被接收，因此数据集是通过滑动一个固定长度的窗口来构造的。对于单个频谱点，其长度设置为5的固定窗口不断向前移动一个时隙，以构造数据集中的多个样本。Sj为输入。Lj表示相应的标签。利用监督学习进行频谱预测，并对神经网络进行训练，得到预测值。Lj尽可能接近实际价值。首先对整个数据集进行预处理，然后将其分为训练集和测试集，以避免样本分布的不平衡。

4、网络模型与评价方法

采用MLP与LSTM两种模型，网络性能评价指标为均方误差RMSE与分类精度CA，公式如图

其中Ntest 是测试样本数量， Qt 和Qˆ t 是实际与预测值。

回归时神经网络的输出应是连续的值。因此，将输出层的激活设置为线性，调整网络参数，优化目标函数均方误差。而神经网络的输出在分类上应该是离散的类别。此外，样本的标签必须转换为一热编码。输出层的激活设置为softmax，能够将输出转换为概率分布。交叉熵函数常作为分类任务的优化目标。交叉熵的数学表达式如下：

其中n为训练样本数量，y(t)与y^(t)为分别表示真实类别和预测类别的概率分布。

5、基于田口方法的超参数优化

所考虑超参数如表

参数组合与结果如下表

田口方法与交叉验证相结合流程如下

6、实验结果

a、实验1

数据集为亚琛大学频谱测量运动的频谱数据，采用频谱数据从频率1820.0MHz到1875.5MHz，13天rss的演化轨迹，即测量的psd值。原始数据过大，在此我们进行采样处理

以分类角度的频谱点1863.6MHz为例，首先将训练集分为三个子集:xtrain,0, xtrain,1, xtrain,2。对表2中各主要试验进行3次交叉验证，其预测精度见表2。由于模型是分类模型，因此表中只显示了分类精度。最后一列列出了每次试验交叉验证的平均准确度。我们可以看到，准确率最高的两个是通过第一次和第二次试验获得的，其平均准确率分别为0.7139和0.7134。所有的设置考虑hyper-parameters是粗体当神经网络达到最佳性能和如下:隐藏层神经元的10，层的数量是2,学习速率应该是0.005,激活函数选择Sigmoid ，初始化符合 Glorot uniform分布 。通过优化超参数设置，测试集精度达到0.7145。

接下来，我们分析了单一设计超参数对预测性能的影响，仍然使用了以上的实验结果。由于每个试验设计超参数的组合正交于，因此可以分离各设计超参数的影响。各设计超参数在各水平上的影响由表2中相应的平均值计算。如设计超参数iii的3级在第3、8、9、14次主要试验中，平均精度为0.7069。在这里，我们引入范围分析来找出设计超参数对谱点的灵敏度。一个设计超参数的灵敏度表示最大平均精度与最小平均精度之差，结果如表3所示。各设计超参数在四个层次上的作用如图4所示。我们发现在这些设计超参数中，学习率对预测性能的影响最大。网络深度对网络性能的影响大于网络宽度对网络性能的影响。初始化器和激活函数对单谱点的预测性能影响不大。因此，当我们设计LSTM网络对GSM1800下行链路上的所有谱点进行频谱预测时，更注重学习速率和神经网络的深度。神经网络的深度应在一层或两层之间，学习率应小于0.005。

由于初始化时神经网络的参数不同，每次实验的结果也会不同。进一步比较了三种神经网络的稳定性。LSTM CA模型从分类角度表示LSTM网络，LSTM线性模型从回归角度表示网络。MLP线性模型是一种传统的基线模型。根据上述设计超参数的优化组合，确定了三种模型的构型，并在上述谱点共进行了10次实验。实验结果和统计结果如图5所示，分别显示了各实验结果和统计稳定性。从图中可以看出，两种LSTM模型的预测性能都比MLP模型更高，更稳定。

如上所述，RSS随频谱点的不同而不同。有些谱点没有很明显的潮汐效应，而有些谱点则始终是平稳的，PSD值基本不变。可以认为，各谱点的预测性能可能不一致。图6为三种型号在GSM1800下行链路相同测试装置上的精度性能。对于总谱点，MLP网络的预测性能略优于LSTM网络，这可能是由于初始值或优化目标不同造成的。在某些谱点上，性能差异很大，而在另一些谱点上，性能相差不大。这与RSS的特性有关，可以进一步研究。从统计学角度看，CA性能的累积分布函数(CDF)曲线如图7所示。我们还可以得出，分类方面的LSTM网络比回归方面的LSTM网络稍好一些。

b、实验2

从回归的角度来做频谱预测。这部分实验使用的频谱数据不是开放源码的，而是从卫星收集的。共有86个频段，其带宽全部为20 MHz，每个频段被划分为32个频点。卫星测量运动从2017-12-01开始，到2017-12-11结束，可以在0.8s内扫描整个频带。由于测量设备的存在，整个波段的频谱数据丢失发生在一定的时间周期内，因此将一个频谱点的平均值填充到该点的空白槽中。从回归的角度对频谱数据进行预测，本文的RMSE函数是单调递减的。换句话说，某些频率点的预测误差越大，相应的RMSE值就越小。

利用LSTM线性网络和MLP线性网络对5270 MHz到5290 MHz进行了预测。图8显示了这32个频率点的预测性能，图9显示了相应的PDF曲线。如图所示图8LSTM线性网络在某些频率点的性能优势明显，而其它频率点的预测性能与MLP线性网络相似，甚至更差。与案例研究一样，这两种网络的性能差异与频点的使用规律和网络的初始化值有关。图9对于90%的频率点，LSTM线性网络的RMSE小于15.2，MLP线性网络的RMSE小于11.8。在此数据集上，从回归的角度，进一步验证了LSTM网络的优越性。

总结

本文提出了一种基于深度学习的频谱预测框架。通过LSTM神经网络和传统的MLP神经网络来预测真实世界的频谱数据。采用田口法代替网格搜索法，在设计神经网络优化配置时，减少了时间消耗和计算资源。对于第一个数据集，从分类和回归两个方面构建了LSTM网络，以评价预测精度。对于第二个数据集，通过回归构造LSTM网络来评估预测误差。

实验结果表明，LSTM网络在时间序列问题上具有一定的优势，比MLP网络具有更好的预测性能。对于两个LSTM网络，具有分类方面的网络性能略好于具有回归方面的网络。

原文献：

Ling Y , Jin C , Guoru D , et al. Spectrum Prediction Based on Taguchi Method in Deep Learning with Long Short-Term Memory[J]. IEEE Access, 2018:1-1.