(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210682605.8 (22)申请日 2022.06.16 (71)申请人 中新国际联合研究院 地址 510700 广东省广州市黄埔区中新智 慧一街7号A-1栋 (72)发明人 刘振　陈星如　黄德峰　陈土培　 (74)专利代理 机构 广州粤高专利商标代理有限 公司 44102 专利代理师 江裕强 (51)Int.Cl. G06V 20/40(2022.01) G06V 40/10(2022.01) G06V 10/764(2022.01) G06V 10/766(2022.01) G06V 10/774(2022.01)G06V 10/82(2022.01) G08B 21/04(2006.01) G06F 21/62(2013.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于视频实时人体跌倒检测及报警的 方法和装置 (57)摘要 本发明提供了一种基于视频实时人体跌倒 检测及报警的方法和装置。 所述方法包括以下步 骤： 在公开的人体检测数据集的基础上， 增添对 跌倒状态下人体图像信息， 建立跌倒检测数据 集； 对YOLOv2 ‑Tiny网络进行剪枝改造， 搭建跌倒 检测模型， 基于自行建立的跌倒数据集对跌倒检 测模型进行训练； 通过对人体 跌倒前后的图像长 宽比α和重心点偏移量d的敏感程度赋予不同的 阈值， 获得新的对跌倒的判定参数， 实现对跌倒 的判断； 获取 实时视频作为跌倒检测的视频流传 入跌倒检测模 型， 跌倒检测模型先对输入的视频 处理得到的帧图像进行人体目标检测， 再对识别 到的人体目标进行跌倒检测和报警。 本发明可应 用于容易发生跌倒人群和场所， 提高对跌倒人群 的救助效率。 权利要求书3页 说明书6页 附图7页 CN 115082825 A 2022.09.20 CN 115082825 A 1.一种基于 视频实时人体跌倒检测及报警的方法， 其特 征在于， 包括以下步骤： S1、 在公开的人体检测数据集的基础上， 增添对跌倒 状态下人体图像信息， 建立跌倒 检 测数据集； S2、 对YOLOv2 ‑Tiny网络进行剪枝改造， 搭建跌倒检测模型， 基于自行建立的跌倒数据 集对跌倒检测模型进行训练； S3、 通过对人体跌倒前后的图像长宽比α和重心点偏移量d的敏感程度赋予不同的阈 值， 获得新的对跌倒的判定参数， 实现对跌倒的判断； S4、 获取实时视频作为跌倒检测的视频流传入跌倒检测模型， 跌倒检测模型先对输入 的视频处理得到的帧图像进行人体目标检测， 再对识别到的人体目标进行跌倒检测和报 警。 2.根据权利要求1所述的一种基于视频实时人体跌倒检测及报 警的方法， 其特征在于， 步骤S1中， 对公开的人体检测数据集进 行初步筛选， 剔除无用数据， 无用数据是指图像中只 有局部的手和腿， 没有人体躯干特征 的图像， 人体部位特征有80％出现在画面的图像为有 用数据； 收集和拍摄多段人体跌倒视频， 对人体跌倒视频进行帧截取， 每秒截取多帧， 人为筛选 出处于站立状态与摔倒在地状态之间的图片， 获得具有人体跌倒姿态的数据集， 并对筛选 出的图片进行 数据标注， 将筛 选出的图片都标注为perso n标签； 对具有人体跌倒姿态的数据集进行数据增强， 将具有人体跌倒姿态的数据集中的图片 通过图像处理操作生成多张数据增强图片， 包括旋转、 平移和拉伸， 得到数据增强后的具有 人体跌倒姿态的数据集； 将数据增强后的具有人体跌倒姿态的数据集与筛选后的公开的人体检测数据集进行 合并， 建立跌倒检测数据集。 3.根据权利要求1所述的一种基于视频实时人体跌倒检测及报 警的方法， 其特征在于， 步骤S2中， 对Y OLOv2‑Tiny网络模型原有的权重进行权重稀 疏化训练， 即通过在每一个通道 都引入一个引入BN层的缩放因子γ， 与通道的输出相乘； 接着训练权重和缩放因子， 将小的 缩放因子的通道剪去， 微调剪枝后的网络， 达 到了权重稀疏化的目的； 其中， 通道剪枝和微调具体如下： 引入缩放因子L1正则项之后， 得到的模型中的缩放因子都会趋于0； 然后先对缩放因子 的绝对值排序， 取从小到大排序的缩放因子中80％的位置的缩放因子为阈值， 剪掉阈值以 下小的缩放因子γ对应的通道， 得到Prune ‑YOLOv2‑Tiny网络模型； 将Prune ‑YOLOv2‑Tiny网络模型中的检测层中的类别C改成单类， 即1； 同时使用K ‑ means算法针对跌倒检测数据集更新检测层中的5个anchors的值， anchors的值是预测框的 宽和高； Prune ‑YOLOv2‑Tiny网络模型中的最后一层卷积层中的卷积核个数R采用公式(1) 计算， 修改成对应的3 0， 具体如下： R＝Anchors*(5+C)    (1) 其中， Anchor s为Prune ‑YOLOv2‑Tiny网络模型中 的预测框的数量， 数量为5， 得到的R是 输出的通道大小， 用于得到预测输出的张量， 生成目标框； 从而得到跌倒检测模型。 4.根据权利要求3所述的一种基于视频实时人体跌倒检测及报 警的方法， 其特征在于， 步骤S2中， 通过数据集在跌倒检测模型上进行训练， 得到跌倒检测模型中的权重， 具体如权　利　要　求　书 1/3 页 2 CN 115082825 A 2下： 将数据集按照1:9比例划分成测试集和训练集， 训练集中的每张训练图片在载入预训 练权重的跌倒检测模型上计算模型预测结果与真实标签的IOU损失、 分类损失和坐标损失， 其中， 预训练权 重为现有的权 重； 当跌倒检测模型达到拟合 时， 保存跌倒检测模型的权重， 并调整学习率， 开启下一轮训 练。 5.根据权利要求4所述的一种基于视频实时人体跌倒检测及报 警的方法， 其特征在于， 在同一测试集下， 通过对比不同轮次训练得到的跌倒检测模型的权重， 比较不同权重在测 试集上的准确率和召回率的得分， 选择得分最高的权重作为最后的跌倒检测模型中的人体 检测权重。 6.根据权利要求1所述的一种基于视频实时人体跌倒检测及报 警的方法， 其特征在于， 步骤S3中， 跌倒检测模型中， 长 宽比α 采用公式(2)计算， 具体如下： 其中， αt为第t帧时图像检测出的人体长宽比， ht第t帧时图像检测出的人体的长， 为wt 第t帧时图像 检测出的人体的宽； 重心点偏移量d采用公式(3)计算， 具体如下： dt+1＝Pt‑Pt+1   (3) 其中， dt+1为第t+1帧时图像检测出的人体与前一帧图像检测出的人体的重心偏移量， Pt 和Pt+1分别是第t帧和第t+1帧时图像检测出的人体的重心点位置， 包括纵坐标和横坐标的 位置信息； 通过长宽比和重心点偏移量结合赋予不同的阈值， 获得新的对跌倒的判定参数， 从而 实现对检测到的人体是否发生跌倒进行判断， 具体如下： 当αt≥1.1且dt+1≥0.08*wt时， 判断为跌倒； 另一种情况就是当连续两帧图像检测出的人体长宽比都大于一个阈值， 即αt≥1.5且 αt+1≥1.5时， 也判断为跌倒； 以上的两个阈值都是 经过大量跌倒数据比对测试 得出的。 7.根据权利要求1～6任一项所述的一种基于视频实时人体跌倒检测及报 警的方法， 其 特征在于， 步骤S4中， 获取实时视频作为跌倒检测的视频流输入跌倒检测模型， 跌倒检测模 型先对输入的视频处理得到的帧图像进行人体目标检测， 再对识别到的人体目标进行跌倒 检测， 若判定实时视频中有人体发生跌倒则进行报警。 8.一种基于视频实时人体跌倒检测及报 警的装置， 其特征在于， 包括摄像头、 视频解码 编码装置和边沿计算芯片； 其中， 摄像头用于影像采集， 视频解码编码装置用于对摄像头采集的影像进行解码和 编码， 边沿计算芯片用于训练跌倒检测模型， 并实时判断视频中是否存在人体跌倒。 9.根据权利要求8所述的一种基于视频实时人体跌倒检测及报 警的装置， 其特征在于， 所述视频解码编码装置为专业型Smart  IP Camera SoC： Hi3516DV300， 将摄像头采集的影 像处理成1920x1080@3 0fps的视频流传入到边沿计算芯片。 10.根据权利要求8所述的一种基于视频实时人体跌倒检测及报警的装置， 其特征在 于， 边沿计算芯片中， 根据公开的人体 检测数据集训练得到跌倒检测模型；权　利　要　求　书 2/3 页 3 CN 115082825 A 3