(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210676451.1 (22)申请日 2022.06.15 (71)申请人 哈尔滨理工大 学 地址 150080 黑龙江省哈尔滨市南岗区学 府路52号 (72)发明人 王爱丽　赵英卉　杨林林　 (51)Int.Cl. G06F 11/36(2006.01) G06F 21/60(2013.01) G06F 21/62(2013.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于联邦强化学习的异构软件缺陷预 测算法研究 (57)摘要 本发明为一种基于联邦强化学习的异构软 件缺陷预测方法； 该方法首先使用主成分分析法 (Principal  Component  Analysis， PCA)进行数 据降维。 中心服务器初始化全局参数发送给所有 参与方， 参与方将该全局参数作为本地强化学习 dueling Deep Q Network(dueling  DQN)模型的 初始参数。 所有参与方使用降维数据和上轮全局 参数来更新本地dueling  DQN模型， 中心服务器 随机选择参与方， 选中的参与方将 本地模型参数 加入高斯噪声进行差分隐私加密。 使用K ‑means 对选中的参与方进行聚类， 通过本地聚合与全局 聚合形成全局模 型发送给所有参与方。 当通信次 数到达最大通信轮次或本地dueling  DQN模型已 经收敛， 输出预测结果。 本发明在保证数据隐私 安全前提下通过结合多 方数据模 型， 有效的提高 了异构软件缺陷的预测效果。 权利要求书2页 说明书7页 附图3页 CN 115061909 A 2022.09.16 CN 115061909 A 1.一种基于联邦强化学习的异构软件缺陷预测方法， 其特 征在于， 包括以下步骤： 步骤a、 使用PCA对数据进行降维来去除冗余信息； 步骤b、 中心服务器初始化神经网络模型的参数发送给所有参与 方， 参与方将收到的全 局参数作为本地强化学习预测模型的初始模型参数； 步骤c、 所有参与方使用本地降维后的数据集和上轮全局模型参数来更新本地强化学 习预测模型； 步骤d、 中心服 务器随机 选择参与方参与到 本轮训练中； 步骤e、 选中的参与方将本地训练完成后的本地模型参数加入高斯噪声进行差分隐私 加密； 步骤f、 通过K ‑means对选定的参与方进行聚类。 每个集群内使用权重平均进行本地聚 合形成专 业模型， 专 业模型在中心 服务器上进行全局聚合， 形成全局模型， 全局模型将发送 给所有参与方； 步骤g、 当通信次数到达最大通信 轮次或本地强化学习预测模型已经收敛， 输出预测结 果。 2.根据权利要求1所述的一种基于联邦强化学习的异构软件缺陷预测方法， 其特征在 于， 步骤a中所述使用PCA对数据进行降维， 具体为： 使用X＝{x1,...,xn}∈Ra×d作为输入数 据的矩阵， 数据集X包括测试数据和训练数据， xi表示训练数据第i个样本， 1≤i≤n， Ra×d表 示实数空间， a是测试数据和训练数据的总数量， d是每个样本的维度， 代表中心 矩阵， a＝n +m且Q表示大小为a ×a的全1矩阵， n表 示训练数据数量， m表 示测试数据数量， I为 大小是a×a的单位矩阵； PCA学习的目 的就是找到一个 适配矩阵A∈Rd×k以最大化以下问题： Rd×k表示d×k的实数空间， k是一个小于a的参数； tr(·)表示矩阵的迹， 上标T表示转置， XHXTA＝AΦ,Φ＝diag(φ1,...,φk)∈Rk×k,Rk×k 表示实数空间； 其中， φ1,...,φk是前k个最大的特征值， Φ就是由φ1,...,φk作为对角线 元素所构造的矩阵， 除对角线外其他元素为0； 然后得到最优的低维特征表示Z:Z＝ [z1,...,za]＝ATX。 3.根据权利要求1所述的一种基于联邦强化学习的异构软件缺陷预测方法， 其特征在 于， 步骤c具体为： 强化学习采用dueling  DQN算法。 对于每个参与方， 降维数据特征 [z1,...,za]、 数据标签和奖励函数构 成一个动态环境， 策略网络使用两个结构相同的神经 网络(一个主网络和一个目标网络)进行预测。 当[z1,...,za]输入策略网络时， 主网络选择 预测动作。 然后将预测动作和标签输入到奖励函数中， 以获得奖励。 动作和奖励以及 [z1,...,za]作为存储数据。 当存储数据为输入策略网络时， 主网络用于选择动 作， 目标网络 用于生成所选操作的Q值。 在训练过程中， 通过Q值计算每个动作的损失函数。 目标网络的权 重是固定的， 只会定期更新为主网络的权重。 策略网络结构依次为： 卷积层 →卷积层→平均 池化层→全连接层 →全连接层； 在该层之后我们将输出分为价值分支与优势分支， 价值分 支结构依次为： 全连接层 →全连接层； 优势分支结构为全连接层 →全连接层， 全连接层输出 与其输出平均值做差； 最后将价 值分支与优势分支组合成一个输出进行 预测。权　利　要　求　书 1/2 页 2 CN 115061909 A 24.根据权利要求1所述的一种基于联邦强化学习的异构软件缺陷预测方法， 其特征在 于， 步骤e 具体为： 在参与本轮训练中的参与方将本地训练完成后的本地模型参数发送到中心服务器之 前， 通过加入高斯噪声来进行差分隐私加密。 对于数据集D， 和一个任意域的函数f， 和一个 随机化机制 适当加入高斯随机噪声来混淆f( ·)： IM是单位矩阵， N( ε, σ2IM)是均值为ε， 方差为σ2的多元高斯噪声， 按要求噪声方差应该 为： σ2＝2(Δf)2ln(1.25/ δ )/ ε2 5.根据权利要求1所述的一种基于联邦强化学习的异构软件缺陷预测方法， 其特征在 于， 步骤f具体为： 利用K‑means， 在不共享隐私的情况下， 根据随机选择的参与方的局部梯度对其进行聚 类， 对于某个集群c， 在第t轮， 通过使用权 重平均来形成一个专业模型。 权 重平均被定义 为： 结合专业模型构建新的全局模型。 在第t+1轮， 新的全局模型为： 是联邦集群空间。权　利　要　求　书 2/2 页 3 CN 115061909 A 3