(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210698600.4 (22)申请日 2022.06.20 (71)申请人 深圳前海微众 银行股份有限公司 地址 518052 广东省深圳市前海深港合作 区前湾一路1号A栋201室 (72)发明人 黄安埠　 (74)专利代理 机构 北京派特恩知识产权代理有 限公司 1 1270 专利代理师 刘晖铭　蒋雅洁 (51)Int.Cl. G06F 21/60(2013.01) G06F 21/62(2013.01) G06N 20/00(2019.01) (54)发明名称 基于联邦学习的数据交互方法、 装置、 设备 及存储介质 (57)摘要 本申请提供了一种基于联邦学习的数据交 互方法、 装置、 设备、 存储介质及程序产品， 所述 方法包括： 服务端设备接收客户端设备发送的携 带有主任务数据交互请求； 根据加密特征生成伪 任务， 加密特征是由参与联邦学习的至少一个客 户端设备持有的本地特征进行加密处理得到的； 基于主任务和 伪任务构建并训练初始模型， 得到 全局模型； 将 全局模型发送至发送请求的目标客 户端设备， 以使目标客户端设备从全局模型中去 除伪任务对应的伪任务子模型， 得到主任务子模 型。 通过加入伪任务， 改变训练模型结构， 能够实 现提高模型的安全性， 防止模型被 反向攻击导致 私有数据泄露， 从而提高客户端私有数据的保密 性。 权利要求书3页 说明书19页 附图6页 CN 114996741 A 2022.09.02 CN 114996741 A 1.一种基于联邦学习的数据交互方法， 其特征在于， 应用于服务端设备， 所述方法包 括： 接收客户端设备发送的数据交 互请求， 所述请求携带有 主任务； 根据加密特征生成伪任务， 所述加密特征是由参与 联邦学习的至少一个客户端设备持 有的本地特 征进行加密处 理得到的； 基于所述主任务和所述伪任务， 构建并训练初始模型， 得到全局模型； 将所述全局模型发送至目标客户端设备， 以使所述目标客户端设备从所述全局模型中 去除所述伪任务对应的伪任务子模型， 得到主任务子模型， 所述 目标客户端设备为发送所 述请求的客户端设备。 2.根据权利要求1所述的方法， 其特征在于， 所述基于所述主任务和所述伪任务， 构建 并训练初始模型， 得到全局模型， 包括： 根据所述主任务和所述伪任务， 构建多任务的初始模型， 所述初始模型的特征和/或参 数， 不同于基于所述主任务构建的模型的特 征和/或参数； 将所述初始模型发送至参与联邦学习的各客户端设备， 以使所述各客户端设备分别对 所述初始模型进行训练， 得到训练好的本地模型； 接收所述各客户端设备发送的训练好的本地模型， 并对各训练好的本地模型进行聚合 处理， 得到中间模型； 当所述中间模型符合预设收敛 条件时， 将所述中间模型确定为全局模型。 3.根据权利要求2所述的方法， 其特征在于， 所述基于所述主任务和所述伪任务， 构建 并训练初始模型， 得到全局模型， 还 包括： 当所述中间模型不符合预设收敛条件时， 将所述中间模型发送至所述各客户端设备， 以使所述各客户端设备分别对所述中间模型进行训练， 得到更新后的本地模型； 接收所述各客户端设备发送的更新后的本地模型， 并对各更新后的本地模型进行聚合 处理， 得到更新后的中间模型。 4.一种基于联邦学习的数据交互方法， 其特征在于， 应用于客户端设备， 所述方法包 括： 根据获得的主任务 生成并发送数据交 互请求至服 务端设备； 获取所述服务端设备基于所述主任务和伪任务训练得到的全局模型， 所述伪任务是根 据加密特征生成的， 所述加密特征由参与联邦学习的至少一个客户端设备持有的本地特征 进行加密处 理得到； 从所述全局模型中去除所述伪任务对应的伪任务子模型， 得到主任务子模型； 利用所述主任务子模型对所述主任务进行处 理， 得到处 理结果。 5.根据权利要求4所述的方法， 其特征在于， 所述获取所述服务端设备基于所述主任务 和伪任务训练得到的全局模型， 包括： 接收所述服务端设备发送的初始模型， 所述初始模型是由所述服务端设备根据 所述主 任务和所述伪任务构建得到的多任务的模型， 所述初始模型的特征和/或参数， 不同于基于 所述主任务构建的模型的特 征和/或参数； 利用本地数据对所述初始模型进行训练， 得到训练好的本地模型； 将所述训练好的本地模型发送至所述服务端设备， 以使所述服务端设备基于所述训练权　利　要　求　书 1/3 页 2 CN 114996741 A 2好的本地模型确定全局模型； 接收所述 服务端设备发送的全局模型。 6.根据权利要求5所述的方法， 其特征在于， 所述将所述训练好的本地模型发送至所述 服务端设备， 以使所述 服务端设备基于所述训练好的本地模型确定全局模型， 包括： 将所述训练好的本地模型发送至所述服务端设备， 以使所述服务端设备对参与 联邦学 习的各客户端设备发送的训练好的本地模型进行聚合处理， 得到中间模型； 当所述中间模 型不符合预设收敛 条件时， 将所述中间模型发送至所述各客户端设备； 接收所述 服务端设备发送的所述中间模型； 利用所述本地数据对所述中间模型进行训练， 得到更新后的本地模型； 将所述更新后的本地模型发送至所述服务端设备， 以使所述服务端设备基于所述更新 后的本地模型确定更新后的中间模型， 直至达到预设收敛条件， 将达到预设收敛条件时的 中间模型确定为全局模型。 7.根据权利要求 4所述的方法， 其特 征在于， 所述方法还 包括： 获取所述伪任务对应的伪任务子模型； 其中， 所述获取 所述伪任务对应的伪任务子模型， 包括： 根据所述本地特 征构建初始子模型； 利用本地数据对所述初始子模型进行训练， 得到训练好的子模型； 将所述训练好的子模型确定为所述伪任务对应的伪任务子模型。 8.根据权利要求4所述的方法， 其特征在于， 所述从所述全局模型中去除所述伪任务对 应的伪任务子模型， 得到主任务子模型， 包括： 将所述全局模型和所述伪任务子模型的差值， 确定为主任务子模型； 或者， 将所述全局模型和所述伪任务子模型的差值， 确定为主任务初始子模型； 利用本地数据对所述主任务初始子模型进行训练， 得到主任务子模型。 9.一种基于联邦学习的数据交互装置， 其特征在于， 应用于服务端设备， 所述装置包 括： 接收模块， 用于 接收客户端设备发送的数据交 互请求， 所述请求携带有 主任务； 第一生成模块， 用于根据加密特征生成伪任务， 所述加密特征是由参与联邦学习的至 少一个客户端设备持有的本地特 征进行加密处 理得到的； 训练模块， 用于基于所述主任务和所述伪任务， 构建并训练初始模型， 得到全局模型； 第一发送模块， 用于将所述全局模型发送至目标客户端设备， 以使所述目标客户端设 备从所述全局模型中去除所述伪任务对应的伪任务子模型， 得到主任务子模型， 所述 目标 客户端设备为发送所述请求的客户端设备。 10.一种基于联邦学习的数据交互装置， 其特征在于， 应用于客户端设备， 所述装置包 括： 第二生成模块， 用于根据获得的主任务 生成数据交 互请求； 第二发送模块， 用于发送所述请求至服 务端设备； 第一获取模块， 用于获取所述服务端设备基于所述主任务和伪任务训练得到的全局模 型， 所述伪任务是根据加密特征生成的， 所述加密特征 由参与联邦学习的至少一个客户端权　利　要　求　书 2/3 页 3 CN 114996741 A 3