(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210688797.3 (22)申请日 2022.06.17 (71)申请人 山东云海国创云计算装备产业创新 中心有限公司 地址 250000 山东省济南市中国 （山 东） 自 由贸易试验区济南片区浪潮路1036号 浪潮科技园S01楼3 5层 (72)发明人 王小伟　张旭　吴睿振　孙华锦　 王凛　 (74)专利代理 机构 北京连和连知识产权代理有 限公司 1 1278 专利代理师 张涛　赵翠清 (51)Int.Cl. G06F 21/60(2013.01) G06F 21/62(2013.01) (54)发明名称 增强隐私保护的多中心联邦学习方法及计 算机设备 (57)摘要 本发明公开了一种增强隐私保护的多中心 联邦学习方法， 该方法包括： 客户端接收由服务 器生成Paillier算 法密钥{n,g,λ}中的公钥 {n, g}； 客户端接收由服务器建立的全局参数模型， 对客户端归类， 并对归类信息和模 型参数进行加 密发送到服务器进行计算和解码； 对客户端分 组， 由客户端接收模型参数并调整归类， 然后对 归类信息和梯度参数或者模型参数进行加密， 并 在组内在密文上进行初步聚合后发送至服务器， 由服务器解密后做进一步聚合， 得出新一轮的模 型参数。 该方法将Paillier加密方法和保密的欧 几里得距离计算方法推广到实数范围， 并通过对 模型参数或者梯度参数以及类别信息进行加密 并在密文上进行计算的方式增强隐私保护。 权利要求书4页 说明书19页 附图1页 CN 115062323 A 2022.09.16 CN 115062323 A 1.一种增强隐私保护的多中心联邦学习方法， 其特 征在于， 包括： 客户端接收由服 务器生成Pai llier算法密钥{n， g， λ } 中的公钥{n， g }； 客户端接收由服务器建立的全局参数模型， 根据本地训练结果对客户端归类， 并对归 类信息和模型参数进 行加密发送到服务器， 由服务器进行计算和解码以得出多中心联邦学 习算法模型参数的初始值； 以及 对客户端分组， 由客户端接收模型参数， 根据所属类别训练对应的模型， 并调整归类， 然后对归类信息和梯度参数或者模型参数进 行加密， 并在组内采用梯度 平均或者模型平均 的方法在密文上进行初步聚合后， 将结果发送至服务器， 由服务器对初步聚合结果解密后 做进一步聚合， 得 出新一轮的模型参数。 2.根据权利要求1所述的增强隐私保护的多中心联邦学习方法， 其特征在于， 客户端接 收由服务器建立的全局 参数模型， 根据本地训练结果对客户端归类， 并对归类信息和模型 参数进行加密发送到服务器， 由服务器进 行计算和解码以得出多中心联邦学习算法模型参 数的初始值包括： 向客户端发送由服 务器建立的全局参数模型， 且 全局参数模型的模型参数为 在每个客户端 进行模型训练， 得到每 个客户端初步的模型参数 从全部客户端中 随机选取k个客户端， 设定k个客户端的索引为i1，…， ik， 根据其他客户 端的模型参数与k个客户端模型参数的保密的欧几里 得距离对客户端归类； 在其他客户端中选取一个客户端， 采用保密的欧几里得距离计算方法， 计算选取的客 户端与第i1，…， ik客户端模型参数的距离， 若选取的客户端与第it个客户端模型参数的距 离最小， 就将选取的客户端归到第t类， 并将所属的类别信息以及与第it个客户端模型参数 的距离发送至第it个客户端； 对其他客户端中其 余的客户端采用同样的方法完成归类； 分别取t＝1， …， k， 执行下面的操作： 第it个客户端统计属于第t类的客户端的个数Mt， 将其发送至属于第t类的客户端， 并记 录第it个客户端与第t类 内其他客户端的最大距离dist， 其中第t类的客户端的索引集合为 Lt； 每个第t类的客户端用模型参数 除以对应类别的客户端个数Mt， 将其加密后的结果 发送给第it个客户端； 第it个客户端将第t类内所有的加密结果相乘得到 将 和dist发送至服 务器进行解密， 得到 获取本轮dist， t＝1，…， k中的最大值dist； 重复上述 步骤， 选择dist最小一轮的结果作为多中心联邦学习算法的初始值。 3.根据权利 要求2所述的增强隐私保护的多中心联邦学习方法， 其特征在于， Paillier 算法的加密过程包括： 选择两个素数p， q， 设n＝pq， λ＝lcm(p ‑1， q‑1)， 且满足gcd( λ， n)＝1， 其中， lcm(p ‑1， q‑ 1)表示p‑1和q‑1的最小公倍数， gcd( λ， n)表示 λ和n的最大公约数； 选择g使其满足gcd(L(gλmodn2)， n)＝1， (n， g)作为公钥， λ作为私钥；权　利　要　求　书 1/4 页 2 CN 115062323 A 2对任意的 选择随机数 进行加密， 得到密文： c＝gmrnmodn2， 其中， 表示集合{0， 1，…， n‑1}， 表示集合 中与n互素 元素的集合； 对任意的 进行解密， 得到明文： 其中， 对于集合Sn＝ {u＜n2|u＝1modn}， 定义Sn上的函数L 为 E(m)表示对明文m的加密， D(c)表示对密文c的解密； 根据同态 原理， 如果 则D(E(m1)…E(mk))＝m1+…+mk。 4.根据权利要求3所述的增强隐私保护的多中心联邦学习方法， 其特征在于， 进一步包 括将加密的Paillier 算法的应用范围从正整数扩展到实数， 将加密的Paillier算法的应用 范围从正整数扩展到实数包括： 加密前将数据统一乘以某一 倍数S以将数据转 化为整数； 选取足够大的n， 使转 化为整数后的数据和的绝对值 不超过n/2； 对小于0的数据加上n， 将所有的数据转 化为自然数， 使用所述的Pai llier算法加密； 在Paillier算法解密后， 如果数据大于n/2， 给其减去n， 然后除以S， 如果小于n/2， 直接 除以S即可得到最终的解密结果， 其中， E0(m)表示扩展到实数范围对明文m的加密， D0(c)表 示扩展到实数 范围对密文c的解密。 5.根据权利要求2所述的增强隐私保护的多中心联邦学习方法， 其特征在于， 保密的欧 几里得距离的计算方法包括： 将保密正整数向量X＝(x1，…， xn)输入第一客户端并将保密正整数向量Y＝(y1，…， yn) 输入第二 客户端， 以输出f1(X， Y)＝f2(X， Y)＝|x1‑y1|+…+|xn‑yn|； 向第一客户端发送由第二 客户端生成的Pai llier密钥{N， g， λ } 中的公钥{N， g }； 向第一客户端发送由第二 客户端对数据x1，…， xn加密得到的E(x1)，…， E(xn)； 通过第一客户端计算E(x1)E(y1)‑1，…， E(xn)E(yn)‑1并将其置换顺序后发送到服务器， 其中E(yi)‑1指的是E(yi)在乘法群 中的乘法逆元； 将客户端发送的每一项通过服务器进行解密， 若得到的结果为z1，…， zn， 若zi＞N/2， 则 z′i＝N‑zi， 否则z′i＝zi， 然后求所有z ′i平方和的算数平方根， 得出X和Y之间的欧几里得距 离。 6.根据权利要求5所述的增强隐私保护的多中心联邦学习方法， 其特征在于， 进一步包 括将保密的欧几里得距离的应用范围从正整 数向量扩展到实数向量， 将保密的欧几里得距 离的应用范围从正整数向量扩展到实数向量包括： 在应用计算方法前将数据统一乘以某一 倍数S以将数据转 化为整数； 选取足够大的n， 使转 化为整数后的数据的绝对值 不会超过n/8； 对所有数据加上n/8以转 化为0到n/4范围内的自然数； 对转化后的数据使用以上算法求出欧几里得距离后再除以S， 得到的结果即是原始两 实数向量之间的欧几里 得距离。 7.根据权利要求2所述的增强隐私保护的多中心联邦学习方法， 其特征在于， 对客户端 分组， 由客户端接收模型参数， 根据所属类别训练对应的模型， 并调整归类， 然后对归类信权　利　要　求　书 2/4 页 3 CN 115062323 A 3