Text generation type steganography method based on context relation

具体实施方式

下面将结合附图和实施例对本发明作进一步的详细说明。

为了详细说明本发明的特点和优越之处，下面将从训练到应用的全流程对本发明作实际应用说明。

现有循环神经网络可以利用自身良好的序列化建模特点，基于编码器-解码器架构，在大量文本载体上进行训练，完成后自动生成嵌入秘密信息二进制比特流的隐写文本。本发明以此为基础，考虑到Transformer中的注意力机制，设计了基于上下文语境联系的文本生成式隐写方法，可以对文本进行隐写，自动生成嵌入有秘密信息二进制比特流的隐写文本，并能高质量地提取。

如图1所示，本发明基于上下文语境联系的文本生成式隐写方法，分如下五个步骤说明。

步骤一、从公开网络中搜集得到中文歌词数据集，并进行预处理，使得每首歌均以歌名、歌手、歌词的格式保存在字典中。

本发明实施例中，中文歌词数据集从网络上选取公开的流行华语乐曲，为便于隐写模型的训练，需要确保数据集中文本格式一致；如果不满足上述要求，则需要进行数据预处理以达到要求。

步骤二、从预处理后的中文歌词数据集中随机选择多首歌曲中的包含歌名和歌词在内的共k个文本载体，其中每个文本载体为一句歌词或者一首歌的歌名，将文本载体以序列方式输入文本隐写网络模型中，经过编码器和解码器重构出后移的k个序列化文本。

如图2和图3所示，本发明的文本隐写网络模型，可称为T-GRU网络模型，包括编码端网络E和解码端网络D。在训练过程中，将第i个文本载体输入编码端网络E，将第i+1个文本载体输入解码端网络D，生成对应于编码端输入文本的重构后的移位输出文本，通过比较重构文本与解码端输入文本的差异，使用交叉熵损失函数计算损失值进而反向传播梯度，不断训练，减小二者直接的差异。在测试过程中，除了梯度不反向传播外，其他步骤均与训练过程保持一致，最后经过损失函数计算得到损失值。

如图3所示，本发明的文本隐写网络模型的编码端网络E包括嵌入层和门限递归单元(Gated Recurrent Unit，GRU)，解码端网络D包括嵌入层、GRU、注意力模块、线性拼接层、线性层和Softmax输出。本发明的创新之处在于将RNN变体GRU与Seq2Seq序列模型进行融合，构建了新的模型，同时还在模型中提出了注意力模块，在生成隐写文本时不仅考虑句内单词对后续生成的影响，更考虑了上下文句子间的联系，使得隐写文本隐蔽性更强。

如图4所示，为本发明网络模型的网络参数。

步骤201，按顺序取k个文本载体，并分别进行分词处理，形成序列信号；

第i个文本载体的序列信号如下：

f_i＝(f_i(1),…,f_i(t),…,f_i(L)),i＝1,…,k；

L表示序列化后预先设定的固定长度，N表示编码端中该段文本所包含的单词数量。若N<L，则后续L-N个位置处填充为0；若N≥L，则取前L个单词。f_i(t)表示第t个单词在语料库词汇表中对应的ID。

本发明方法将输入的中文文本载体进行分词处理，对于分词后的每个单词在语料库词汇表中查询其对应的ID，将单词替换为数字ID，得到文本载体对应的数字化序列信号。

步骤202，将k个序列信号分别经过编码端的word2vec词嵌入层后，得到k个文本载体的序列信号矩阵；

第i个文本载体的序列信号矩阵c_i，获取过程如下：

首先，加载在大规模语料库上预训练完的word2vec词嵌入矩阵其中n为语料库的单词数量，d为每个单词对应的向量化维度，即嵌入维度。

然后，对于序列信号f_i中的每一个单词f_i(t)，在词嵌入矩阵C中寻找对应的d维词向量，得到序列信号f_i对应的序列信号矩阵

步骤203，将序列信号矩阵输入到编码端的门限递归单元GRU层，得到各自对应的编码端输出向量和解码端GRU层的初始隐状态。

第i个文本载体的编码端输出向量E_i,o以及解码端GRU层的初始隐状态E_i,h，获取过程如下：

首先，根据GRU的内部构造得到理论计算公式：

z_t＝σ(W_z[h_t-1,x_t]),

r_t＝σ(W_r[h_t-1,x_t]),

其中，x_t为t时刻的输入向量，h_t-1和h_t分别为t-1时刻和t时刻更新门计算的隐状态向量，表示基于重置门计算的隐状态向量。z_t为更新门输出，r_t为重置门输出，分别为更新门z_t、重置门r_t、向量训练时的习得参数。长期依赖记忆能力通过重置门r_t、更新门z_t来保证。

令c_i＝(x₁,…,x_t,…,x_L)，对应包含L个时刻的输入，初始h₀置为0，据此，可得到编码端输出向量以及解码端GRU层的初始隐状态E_i,h＝h_L；E_i,o＝(h₁,…,h_t,…,h_L)；其中，d_h为经过GRU层后的输出维度，h_L为GRU层中L时刻的隐状态输出。

步骤204，与上述步骤类似，在解码端输入第i+1个文本载体的序列信号，经过GRU层后得到输出向量D_i,o；

获取过程如下：

首先，对解码端输入的第i+1个文本载体分词处理，与步骤201相同，得到序列化输入信号：

f_i+1＝(f_i+1(1),…,f_i+1(t),…,f_i+1(L)),i＝1,…,k；

经过word2vec词嵌入层，与步骤202相同，得到第i+1个文本载体的序列信号矩阵c_i+1。

然后，在经过解码端的GRU层时，此时的初始隐状态h₀并非置为0，而是置为E_i,h，据此，可得到解码端GRU层的输出向量

步骤205，将编码端输出向量和解码端经过GRU层后的输出向量输入到注意力模块，得到考虑到句内不同词权重影响的修正输出向量。

获取过程如下：

已知第i个文本载体经过编码端后的输出向量可表示为E_i,o＝(h₁,…,h_t,…,h_L)，第i+1个文本载体经过解码端GRU层后的输出向量可表示为D_i,o＝(h^′₁,…,h^′_t,…,h^′_L)。因此，对于D_i,o中的第t个信号，可以得到其与编码端输出向量的相关系数e_t：

e_t＝[a(h^′_t,h₁),a(h^′_t,h₂),..,a(h^′_t,h_L)]

a(h^′_t,h_i)＝tanh(W₁h_i+W₂h^′_t)

其中，a为一个线性层函数，权重参数矩阵

经过softmax激活函数后，得到相关系数e_t中每一个维度对应的权重系数然后，通过融合E_i,o及其权重系数得到新向量c_t。

最后，得到与D_i,o维数相同的带有影响权重的矩阵向量D^′_i,o＝(c₁,…,c_t,…,c_L)。

在图4里面，注意力模块中包括分数计算层、分数融合层和Dropout层。

步骤206，新的输出向量与原有输出向量经过拼接层、线性层以及softmax激活函数后，得到隐写文本序列信号。

第i+1个输入文本载体的序列信号对应的D^′_i,o和D_i,o直接拼接，得到重构向量D_i,concat：

接着，将D_i,concat经过全连接线性层来实现降维处理，再经过softmax激活函数得到重构后的第i+1个文本载体的移位输出序列f^′_i＝(f_i(2),…,f_i(t),…,f_i(L)),i＝1,…,k。

对k个文本载体顺序输入文本隐写网络模型，经过编码器和解码器处理，输出移位的序列信号，进一步可转换获取对应的文本。

步骤三、通过利用数据集不断训练网络模型，使得移位后的输出序列f^′_i与原始解码端的移位输入序列f^′_i+1＝(f_i+1(2),…,f_i+1(t),…,f_i+1(L)),i＝1,…,k达到误差范围阈值，反向更新编码器网络和解码器网络的参数。

训练所用的损失函数为交叉熵损失函数：

单个样本的交叉熵损失函数为：

其中，y为真实标签，为预测标签。

在此，需要对原始解码端的移位输入序列f^′_i+1＝(f_i+1(2),…,f_i+1(t),…,f_i+1(L)),i＝1,…,k与经过网络模型后的输出序列f^′_i＝(f_i(2),…,f_i(t),…,f_i(L)),i＝1,…,k进行交叉熵损失函数计算，计算得到每一单个样本的损失值后进行叠加求和处理得到总的损失值。

步骤四、使用训练完成的网络模型，根据输入文本载体、预设嵌入比特数以及秘密信息二进制比特流B＝"01110000101001…"，得到候选池，并构建二叉树选取对应单词作为输出。

随机选取一首歌曲，初始在编码端输入内容为歌名的文本载体，解码端输入句首标识符，经过网络模型后，得到一个d_o维输出向量，按照一定的编码规则选取符合b中比特串所对应的单词，作为嵌入秘密信息的隐写文本。

使用训练完成的网络模型得到输出单词的过程包括如下：

(4.1)首先，得到的d_o维输出向量中元素为概率从高到低排序完成的，每一维度元素代表语料库中的一个单词，根据预先设定的嵌入比特数b，选取前K＝2^b维向量所对应的单词构建候选池CP＝[m₁,…,m_K]；

(4.2)然后，对候选池中的单词构建完全二叉树或考虑概率差异的哈夫曼树，每个叶子节点对应一个单词；从候选池中选取对应的单词作为输出，是指根据秘密信息比特流中的比特串选定二叉树中对应的单词作为最终输出。

步骤五、将输出单词重新输入到解码端，不断重复，得到符合要求的嵌入秘密信息的隐写文本。

将步骤四选取得到的单词添加到解码端的输入序列中，重新输入网络模型，编码端输入不变，重复上面过程，经网络模型选取下一个单词，直到选取的单词为句尾标识符，则得到一句完整的隐写文本。

将整句隐写文本作为编码端的输入部分，句首标识符作为解码端输入，重新输入网络模型，重复上述步骤四和五，得到新的隐写文本，并不断重复，直到自动得到一首完整的歌曲或达到预先设定好的歌词总句数。

进行秘密信息提取时，将生成载密文本的关键句以及句首标识符输入到文本隐写网络模型中，重构出秘密信息二进制比特流，完成提取过程。

实施例：

本发明实验时使用了一个中文歌词数据集。该数据集由从公开网络中搜集到的流行华语乐曲组成，主要用来研究自然语言处理领域的文本生成问题；该数据集包含有代表性的40位歌手(男女歌手各20位)的7259首歌曲作品，共计223042句歌词，1189292个歌词。将所有歌曲按照9：1划分构建训练集和测试集的文本数据。

在本实验中，对于该数据集中的中文歌词，首先采用jieba分词进行处理，采用基于Pytorch的Python实现，同时，用GeForce RTX 3090GPU和CUDA11.2加速训练过程。模型的编码端和解码端均将每个词映射到一个200维向量，GRU层均为两层，每层包含200个GRU单元，GRU单元内部采用tanh作为非线性激活函数σ。在模型训练时，为加强正则化，避免过拟合，加入dropout机制及采用Adam优化方法。

一轮训练流程：从训练集中随机选择多首歌曲中的包含歌名和歌词在内的共k个文本载体，其中每个文本载体为一句歌词或者一首歌的歌名，将文本载体以序列方式输入网络模型中，经过编码器和解码器重构出后移的k个序列化文本。

完成重构后，对于第i个文本载体，用交叉熵损失函数计算移位后的输出序列f^′_i与原始解码端的移位输入序列f^′_i+1之间的误差。

最后根据误差计算编码器网络和解码器网络的参数梯度，根据Adam优化器和学习率更新参数值。同样，在每轮训练过程中，用测试集对模型进行测试，在测试过程中，无需更新网络参数梯度。

训练多个epoch，直到测试集的损失值不再降低，则完成训练过程，导出模型，可以进行秘密信息嵌入与提取操作。

在嵌入过程中，对于每次输出的d_o维向量，构建候选池，并根据构建的二叉树选择秘密信息二进制比特流b＝”01110000101001…”对应的单词输出，不断重复生成隐写文本，实现秘密信息的嵌入。

在进行提取过程时，将生成载密文本的关键句以及句首标识符输入到网络模型中，重构出秘密信息二进制比特流。

如图5所示，为利用本发明方法所生成的隐写文本，从人类感觉系统来看，本发明考虑到了文本的序列化特点、文本间的上下文语境联系、文本载体的统计特性和语义特性等，使得生成的嵌入秘密信息的隐写文本与原始文本之间的统计差异性和语义差异性都较小，对于人类来说实际上也是区分性不大。

如图6所示，为本发明的文本隐写方法与RNN方法的对比效果。本发明采用的基于上下文语境联系的文本生成式隐写方法生成隐写文本时，隐藏效率要低于RNN，但这是由于网络模型更为复杂，因此训练和嵌入过程需要花费更多的时间。但本发明使用的网络模型在不可感知性和隐藏容量方面均要优于RNN的性能，可知，本发明具有一定的创新性，在实际中存在一定的使用价值。

除说明书所述的技术特征外，均为本专业技术人员的已知技术。本发明省略了对公知组件和公知技术的描述，以避免赘述和不必要地限制本发明。上述实施例中所描述的实施方式也并不代表与本申请相一致的所有实施方式，在本发明技术方案的基础上，本领域技术人员不需要付出创造性的劳动即可做出的各种修改或变形仍在本发明的保护范围内。