(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210677979.0 (22)申请日 2022.06.16 (71)申请人 北京工业大 学 地址 100124 北京市朝阳区平乐园10 0号 (72)发明人 武铮　姜楠　陈圣泉　翟锦龙　 (74)专利代理 机构 北京思海天达知识产权代理 有限公司 1 1203 专利代理师 刘萍 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/46(2022.01) G06V 10/82(2022.01) G06F 21/60(2013.01) G06F 21/62(2013.01) G06N 3/04(2006.01)G06N 3/08(2006.01) H04L 9/00(2022.01) (54)发明名称 基于同态加密的人脸表情识别方法 (57)摘要 人脸面部表情识别在人类行为分析、 智能人 机交互等领域有广泛的应用。 近年来， 随着深度 网络、 卷积神经网络的发展， 基于深度卷积神经 网络的面部表情识别取得了巨大的成功。 然而现 有的基于云计算的神经网络会直接获得用户的 人脸信息， 这给用户的隐私数据带来了潜在的风 险。 本发明提出一种基于同态加密的隐私保护人 脸识别算法。 该方法采用基于层次的同态加密方 案， 结合传统特征提取方法和卷积神经网络。 使 用同态加密技术可以实现对加密后的数据做计 算且不影 响其结果， 将加密后的人脸数据送入服 务端进行表情识别； 在同态加密之前对人脸表情 图像进行关键点特征提取和筛选， 解决了同态加 密算法计算开销巨大而导致计算时间长的问题。 本发明不仅保持了人脸表情加密之后分类的准 确性， 同时大大降低了同态加密识别的计算开 销， 实现了对用户人脸数据的隐私保护， 有效提 升了同态加密的人脸表情识别的实际应用体验。 权利要求书4页 说明书8页 附图3页 CN 114937304 A 2022.08.23 CN 114937304 A 1.基于同态加密的人脸表情识别方法， 其特 征在于： 步骤1： 在客户端对人脸表情图像进行面部关键点特征提取， 形成人脸关键点特征图； 步骤2： 对人脸关键点特征图进行预处理， 首先对人脸关键点划分， 之后计算特征的互信息 并筛选； 步骤3： 使用未加密的明文数据进行训练和测试， 将模型参数发送给服务端； 步骤4： 客户端对处理后的特征信息进行加密， 将加密后的特征信息与加密参数一起发送给服务 端， 服务端进 行密文识别预测； 步骤5： 服务端将加密后的结果 发送回客户端， 客户端进 行解 密得到最终识别结果。 2.根据权利要求1所述的方法， 其特 征在于： 步骤1在客户端对人脸表情图像进行面部关键点特征提取， 形成人脸关键点特征图具 体如下： 对表情图片先进行面部关键点的提取； 采取现有的边界感知人脸对齐算法进行人脸关 键点定位， 输入原始表情图片后会得到一个包含98个关键点的人脸关键点特征图， 图片大 小归一化为256×256， 关键点部分用彩色表示， 其 余部分用黑色。 3.根据权利要求1所述的方法， 其特 征在于： 步骤2对人脸关键点特 征图进行 预处理具体如下： 步骤2.1： 人脸关键点划分 对98个人脸关键点进行划分， 分为眉毛、 眼睛、 眼球、 鼻梁、 鼻翼、 内嘴唇、 外嘴唇、 轮廓8 个关键特征， 用不同颜色表示； 对人脸关键点特征图中的像素点计算RGB三通道颜色相似 度， 根据颜色分类后， 保留RGB三通道的颜色值 都大于230的像素点， 将保留的像素点转换为 灰度值， 构成20 ×20的特征点图像； 步骤2.2： 计算特 征的互信息并筛 选 即使这样， 每个像素点对于识别结果的影响还存在许多不同， 使用互信息来衡量这400 个像素对于识别结果的影响并进行筛 选； 将一个像素点称为一个特征， 那么有特征集合F＝{f1,f2,…,f400}， 其中特征fi的值在 0‑255之间； 表情分类标签共有k种， 用集合L＝{l1， l2，…， lk}表示； 假设一个数据集中， 有n 个图片， 每个图片的分类结果都包括在L中； 可以得到特征fi与分类标签之间的条件概率 为： 表示n张图片中， 在满足特征fi＝0的情况下， 标签为l1的图片数量； 代表n 张图片中特 征fi＝0的图片数量； 特 征fi与分类标签的联合 概率为：权　利　要　求　书 1/4 页 2 CN 114937304 A 2表示同时满足特征fi＝0和标签为l1的图片数量； 然后， 可以得到条件熵 进一步得到平均互信息I(L； fi)＝H(L) ‑H(L|fi)， 其中 平均互信息的大小表示了每 个特征与标签之间的相互依赖程度； 对计算出互信息值的400个特征进行筛选， 设定阈值l， 对于互信息值小于l的特征选择 舍弃， 仅保留互信息值大于l的特征点， 将保留的特征点作为神经网络的输入进 行训练和测 试； 选择2 25个特征作为分类神经网络的输入进行训练和 测试。 4.根据权利要求1所述的检测方法， 其特 征在于： 步骤3使用未加密的明文数据进行训练和测试， 其中的用来进行训练和测试的网络具 体如下： (1)卷积层： 输入是一个15 ×15的矩阵； 卷积核大小为1 ×3×3， 步长为1， 卷积核个数为 3， 输入通道数为1， 得到 3个输出通道； 因此， 这 一层的输出尺寸 为15×15×3； (2)激活层： 输入是前一层的15 ×15×3矩阵； 采用平方函数作 为激活函数， 因此输出与 输入具有相同的维数； (3)平均池化层： 用一个大小为2 ×2×1的窗口和步长为2来执行， 因此输出的尺寸为8 ×8×3； (4)卷积层： 使用8个大小为3 ×3×3的核， 步长为1； 输入有3个通道， 输出为8个通道； 这 里的输出尺寸是8 ×8×8； (5)平均池化层： 使用大小为2 ×2×1的窗口和步长为2再次执行平均池化； 因此输出的 尺寸为5×5×8； (6)全连接层： 5 ×5×8矩阵被扁平化为长度为200 的数组； 全连接层是通过200 ×64的 权重矩阵进行矩阵乘法来实现的； 因此， 输出 是一个长度为64的数组； (7)激活函数： 这一层对上一层的每个节点的值进行平方操作； 因此， 输出还是一个长 度为64的数组； (8)全连接层： 这一层将传入的64个节点连接到k个输出节点， 每个节点对应于k个类 中 的每一个； 它是通过将长度为64的数组乘以一个64 ×k的权值矩阵来实现的； (9)softmax层： 在k个输出节点上应用Softmax， 它给出每个节点的概率值； 得到概率最 高的节点， 对应的节点的索引为预测； 利用Softmax交叉熵函数计算由Softmax层得到结果 后的损失； 计算softmax层的向量输出与训练输入得到的标签之间的交叉熵； 两个向量之间权　利　要　求　书 2/4 页 3 CN 114937304 A 3