Key signal detection system and method

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供了一种重点信号检测系统，参照图1，图1为本发明重点信号检测系统第一实施例的示意图。

本发明实施例提出的一种重点信号检测系统，该重点信号检测系统包括卫星信号采集模块10、卫星信号特征分析模块20和重点信号检测模块30。

需要说明的是，所述卫星信号采集模块10获取卫星信号，所述卫星信号包括历史卫星信号和待检测卫星信号；所述卫星信号特征分析模块20提取历史卫星信号和待检测卫星信号的卫星信号特征矩阵；所述重点信号检测模块30利用待检测卫星信号的卫星信号特征矩阵进行深度强化学习模型训练，并利用历史卫星信号的卫星信号特征矩阵进行决策分类树训练，以检测卫星信号是否具有重点信号的出现或者消失。

其中，卫星信号采集模块10负责对卫星信号进行采集；卫星信号特征分析模块20负责对所采集信号的特征进行分析并生成预测数据；重点信号检测模块30负责对重点信号进行发现，检测当前信号段中是否出现或者消失了重点信号。

在优选的实施例中，所述卫星信号特征分析模块20，具有：提取单元和编码单元。

需要说明的是，所述提取单元提取历史卫星信号和待检测卫星信号的卫星信号特征；所述编码单元对提取的卫星信号特征中的非浮点特征进行编码。

其中，卫星信号采集模块10采集的卫星信号数据表示为，卫星信号特征分析模块20会对进行特征分析。特征分析具体包括：提取单元提取中的卫星信号特征，编码单元对提取的卫星信号特征中的非浮点特征进行编码。

在实际应用中，卫星信号特征可以包括：载波频率、符号率、带宽、脉冲宽度、信号功率、极化方式、调制方式、帧结构、数据速率、自动增益控制的状态、跳频模式、多普勒效应、接收到的信号噪声比、误码率、频偏、信道类型、信号幅度调制指数、信号频率调制指数、相位偏移、时延以及时间。

在实际应用中，对非浮点数据进行编码时，可采用LabelEncoder对分类型特征值进行编码，即对不连续的数值或文本进行编码，如特征：信道类型。

在优选的实施例中，所述卫星信号特征分析模块20，还具有：卫星信号特征组构建模块和卫星信号特征矩阵构建模块。

需要说明的是，所述卫星信号特征组构建模块根据提取的卫星信号特征，构建每个时间特征对应的卫星信号特征组；所述卫星信号特征矩阵构建模块根据构建的卫星信号特征组，构建包括每个卫星信号特征组的卫星信号特征矩阵，卫星信号特征矩阵中的卫星信号特征组按其对应的时间特征排序。

在实际应用中，卫星信号特征组构建模块构建的卫星信号特征组，可以表示为：

。

在实际应用中，卫星信号特征矩阵构建模块构建的卫星信号特征矩阵，可以表示为：

其中，由按照单位时间顺序组成，，为卫星信号采集模块10的采集步长。

在优选的实施例中，所述重点信号检测模块30，具有：深度强化学习单元。

需要说明的是，所述深度强化学习单元根据获取的待检测卫星信号的卫星信号特征矩阵进行深度强化学习模型训练，将卫星信号特征矩阵中的每一个卫星信号特征组作为状态输入，获得卫星信号特征矩阵的动作执行向量组；所述动作执行向量组包括对应于每一个卫星信号特征组的动作执行向量，所述动作执行向量包括动作action1和动作action2。

本实施例中，深度强化学习单元的深度强化学习模型采纳了深度Q神经网络（DQN）的思想，DQN基于传统的RL方法Q学习，使用深度神经网络表示Q函数。避免了传统RL在面对连续动作或大状态空间时应用不好的情况。Q学习是RL中基于值函数的算法的代表。对于马尔科夫决策过程（MDP），Agent学习策略是。值函数Q表示Agent期望在事件结束时通过根据状态中的学习策略执行行动获得累积奖励，学习策略的Q函数可以表示为：

 （1）

其中，和分别表示当前状态和当前动作，表示从时刻到获得的累计奖励，表示如下：

 （2）

其中，为折扣因子，为观测奖励函数，奖励函数表示状态从变为所得到的奖励。对于式子（1），可以用Bellman最优方程表示Q函数的迭代过程：

 （3）

其中，为状态集合，为下一状态，为最优动作，为通过变为的Q函数值，表示当前状态和当前动作。的更新过程可以表示为：

 （4）

其中，是学习速率，算法在连续更新Q函数后获得最优Q函数。由于卫星每一时刻的信号都可以作为一个状态，因此采用传统Q学习存在无法存储的问题，因为传统Q学习是使用一张Q表进行表示的。为解决这一问题使用深度神经网络表示Q函数，该深度神经网络为一个末端为全连接层的卷积神经网络，全连接层的输出为对每一个动作的打分，神经网络的输入为状态，输出值越大代表在当前状态下执行该动作使得状态变为是更优的。DQN的意义在于使用Q学习的思想对深度神经网络进行参数更新，本实施例定义损失函数如下：

 （5）

其中，和为训练过程中的网络参数。

在本实施例中，对于深度强化学习模型的训练以中的每一条数据为输入，即每一个都为一个状态，动作有两种，一种是判断状态为重点信号action1，另外一种是非重点信号action2，通过非重点信号经过action1进入重点信号或通过重点信号经过action2进入非重点信号，奖励值为1，其他为0。

在优选的实施例中，历史卫星信号的卫星信号特征矩阵具有标注字段，所述标注字段表征当前历史卫星信号的卫星信号特征矩阵是否具有重点信号出现消失交替的动作。

在实际应用中，历史卫星信号可以表示为：，其中标注字段为人工标注的ground-truth，即在中是否有重点信号出现消失交替（出现为1，未出现为0）。

在此基础上，所述重点信号检测模块30，还具有：决策分类树单元。

需要说明的是，所述决策分类树单元利用历史卫星信号的卫星信号特征矩阵进行决策分类树训练，并利用训练完成的决策分类树判断待检测卫星信号的卫星信号特征矩阵是否具有重点信号出现消失交替的动作。

在实际应用中，上述深度强化学习单元可以判断信号的出现或者消失，但还无法判断信号的消失和出现同时出现的情况。在本实施例中，结合了HPC对模型进行加强，HPC选用决策分类树。使用对决策分类树进行训练，分类结果为是否有重点信号出现消失出现交替（出现为1，未出现为0）。

在优选的实施例中，所述重点信号检测模块30，还具有：重点信号出现和消失判断单元。

需要说明的是，所述重点信号出现和消失判断单元在待检测卫星信号的卫星信号特征矩阵具有重点信号出现消失交替的动作时：判断卫星信号特征组的动作执行向量中是否具有动作action1，当具有动作action1时，重点信号在第一个动作action1时出现，在最后一个动作action1时消失；所述重点信号出现和消失判断单元在待检测卫星信号的卫星信号特征矩阵不具有重点信号出现消失交替的动作时：判断第一个动作action1的前一个动作是否为动作action2，若是，重点信号出现；若否，且卫星信号特征组的动作执行向量中具有动作action2，重点信号消失。

在实际应用中，深度强化学习模型最后输出的结果为的动作执行向量。通过结合HPC的分类结果对重点信号的出现和消失进行判断。当为1时，判断中是否有action1，当有action1时表明出现重点信号在第一个action1时出现了，在最后一个action1消失了。当为0时，通过判断动作前后关系对出现和消失进行判断，当第一个action1前一个动作为action2时，代表重点信号出现；当第一个action1前一个动作为action1且存在action2时，则重点信号消失。

在优选的实施例中，还可通过中包含的时间信息，还有通过动作发生的位置对时间信息进行提取，方便工作人员对重点信号出现规律进行分析。

本实施例提供一种重点信号检测系统，该系统利用了DQN的思想对重点信号的出现或者消失进行识别，在此基础上，结合HPC对重点信号“出现消失”这个交替过程也进行了识别。在另一方面，使用了非图像的方法，仅仅使用常见的信号特征通过深度强化学习模型进行识别，提高了推理速度。并且由于采用的信号特征中包含了时间，因此可以通过动作发生的位置对时间信息进行提取，方便工作人员对重点信号出现规律进行分析。

本发明实施例提供了一种重点信号检测系统，参照图2，图2为本发明重点信号检测系统第二实施例的示意图。

本发明实施例提出的一种重点信号检测系统，在前述实施例的基础上，本实施例的重点信号检测系统，还具有：人工校验模块40。

需要说明的是，所述人工校验模块40根据重点信号检测模块30的检测结果生成矫正数据，利用矫正数据在重点信号检测模块30中执行决策分类树训练。

其中，人工校验模块40会对分析结果进行检验，并对错误数据进行矫正，使用人工校验过的数据作为矫正数据对模型进行进一步训练。

本实施例提供一种重点信号检测系统，通过人工校验模块40的加入能够利用矫正数据对重点信号检测模块30中的决策分类树单元进行矫正训练，提高模型检测的正确率。

本发明实施例提供了一种重点信号检测方法，参照图3，图3为本发明重点信号检测方法实施例的流程示意图。

如图3所示，本发明实施例提出的重点信号检测方法基于上述任意实施例提供的重点信号检测系统，该重点信号检测方法，包括如下步骤：

S100：获取卫星信号，卫星信号包括历史卫星信号和待检测卫星信号；

S200：提取历史卫星信号和待检测卫星信号的卫星信号特征矩阵；

S300：利用待检测卫星信号的卫星信号特征矩阵进行深度强化学习模型训练，并利用历史卫星信号的卫星信号特征矩阵进行决策分类树训练，以检测卫星信号是否具有重点信号的出现或者消失。

本实施例提出一种重点信号检测方法，该方法通过提取的待检测卫星信号和历史卫星信号的卫星信号特征矩阵进行深度强化学习模型训练和决策分类树训练，对重点信号的出现或者消失进行了识别，解决了目前的重点信号检测对硬件和算法要求较高、误差较大、推理速度慢等技术问题。

本发明重点信号检测方法的其他实施例或具体实现方式可参照上述各系统实施例，此处不再赘述。

本发明实施例提供了一种重点信号检测方法，参照图4，图4为本发明重点信号检测方法第二实施例的流程示意图。

本发明实施例提出的一种重点信号检测方法，在前述实施例的基础上，本实施例的重点信号检测方法，还包括如下步骤：

S400：根据重点信号检测模块的检测结果生成矫正数据，利用矫正数据在重点信号检测模块中执行决策分类树训练。

本实施例提出一种重点信号检测方法，通过人工校验模块的加入能够利用矫正数据对重点信号检测模块进行矫正训练，提高模型预测与识别的正确率。

本发明重点信号检测方法的其他实施例或具体实现方式可参照上述各系统实施例，此处不再赘述。

在本发明的实施例的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“坚直”、“水平”、“中心”、“顶”、“底”、“顶部”、“底部”、“内”、“外”、“内侧”、“外侧”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。其中，“里侧”是指内部或围起来的区域或空间。“外围”是指某特定部件或特定区域的周围的区域。

在本发明的实施例的描述中，术语“第一”、“第二”、“第三”、“第四”仅用以描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”、“第四”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

在本发明的实施例的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“组装”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

在本发明的实施例的描述中，具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

在本发明的实施例的描述中，需要理解的是，“-”和“~”表示的是两个数值之同的范围，并且该范围包括端点。例如:“A-B”表示大于或等于A，且小于或等于B的范围。“A~B”表示大于或等于A，且小于或等于B的范围。

在本发明的实施例的描述中，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。