(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211372839.9 (22)申请日 2022.11.04 (71)申请人 暨南大学 地址 510632 广东省广州市天河区黄埔大 道西601号 (72)发明人 林舒源　陈晓　郭榆　黄斐然　 支庭荣　 (74)专利代理 机构 广州汇盈知识产权代理事务 所(普通合伙) 44603 专利代理师 邓有才 (51)Int.Cl. G06K 9/62(2022.01) G06V 10/74(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06F 16/55(2019.01) G06F 16/35(2019.01) (54)发明名称 一种虚假新闻检测方法、 装置、 电子设备及 存储介质 (57)摘要 本发明实施例涉及信息检测技术领域， 公开 了一种虚假新闻检测方法、 装置、 电子设备及存 储介质， 一种虚假新闻检测方法， 其特征在于， 包 括： 提取新闻中的图像和文本的特征， 形成图像 特征序列 和文本特征序列 ； 对图像特征序 列 进行判别， 得到图像预测值 ； 对文本特征 序列 进行判别， 得到文本预测 值 ； 融合图像 特征序列 和文本特征序列 ， 得到多模态特 征序列 ； 对多模态特征序列 进行判别， 得 到多模态预测值 ； 融合图像特征预测值 、 文本特征预测值 和多模态特征预测 值 ， 得 到最终的预测值 ； 通过对图像特征序列 与 文本特征序列 进行计算， 得到相似度 ； 优化特征提取参数。 本发明能检测同时含有图像与文 本的虚假 新闻。 权利要求书2页 说明书9页 附图8页 CN 115423050 A 2022.12.02 CN 115423050 A 1.一种虚假 新闻检测方法， 其特 征在于， 包括： 步骤S1： 提取新闻中的图像和文本的特征， 使用自注意力机制提取全局信息， 形成图像 特征序列 和文本特 征序列 ； 步骤S2： 对图像特征序列 进行判别， 得到 图像预测值 ； 对文本特征序列 进行判 别， 得到文本预测值 ； 步骤S3： 采用交叉注意力机制融合图像特征序列 和文本特征序列 ， 得到多模态特 征序列 ； 对多模态特 征序列 进行判别， 得到多模态预测值 ； 步骤S4： 融合图像特征预测值 、 文本特征预测值 和多模态特征预测值 ， 得到最 终的预测值 ， 通过最终的预测值 判断得到真实新闻与虚假 新闻； 步骤S5： 通过对图像特征序列 与文本特征序列 进行计算， 得到相似度 ； 对比真实 新闻与虚假 新闻的相似度 结果， 优化特 征提取参数。 2.如权利要求1所述的虚假 新闻检测方法， 其特 征在于， 所述 步骤S1包括： 步骤S1.1： 通过 预训练的ResNet5 0深度神经网络提取新闻 中图像的局部信息； 步骤S1.2： 通过多头注意力机制提取新闻 中图像的全局信息， 得到图像的特 征序列 ； 步骤S1.3： 对新闻 中的文本进行词嵌入； 步骤S1.4： 通过LSTM 长短期记 忆网络提取新闻文本的信息； 步骤S1.5： 利用自注意力机制提取新闻文本的信息， 得到文本的特 征序列 。 3.如权利要求2所述的虚假 新闻检测方法， 其特 征在于， 所述 步骤S2包括： 步骤S2.1： 将图像的特 征序列 通过全连接层得到图像预测值 ； 步骤S2.2： 将文本的特 征序列 通过全连接层得到文本的预测值 。 4.如权利要求3所述的虚假 新闻检测方法， 其特 征在于， 所述 步骤S3包括： 步骤S3.1： 将图像特征序列 和文本特征序列 通过交叉自注意力机制进行融合， 得 到包含文本信息的图像特 征序列 和包含图像信息的文本特 征序列 ； 步骤S3.2： 拼接包含文本信息的图像特征序列 和包含图像信息的文本特征序列 ， 得到多模态特 征序列 ； 步骤S3.3： 将多模态特 征序列 通过全连接层得到多模态特 征预测值 。 5.如权利要求 4所述的虚假 新闻检测方法， 其特 征在于， 所述 步骤S4包括： 步骤S4.1： 计算总预测值； 设置图像预测值 的权重参数为 ， 设置文本预测值 的权重参数为 ； 计算总预测 值 ； 当新闻中只有图像时， 所述总预测值 ； 当新闻中只有文本时， 所述总预测值 ； 当输入数据同时含有图像和文本时， 所述总预测值权　利　要　求　书 1/2 页 2 CN 115423050 A 2。 6.如权利要求5所述的虚假 新闻检测方法， 其特 征在于， 所述 步骤S4还 包括： S4.2： 计算分类； 根据S4.1得到的总预测值 以0.5为分类阈值得到最终的分类 ； 当 大于等于0.5时， 新闻分类结果 为虚假新闻， 当 小于0.5时， 新闻分类结果 为真实新闻。 7.如权利要求2所述的虚假 新闻检测方法， 其特 征在于， 所述 步骤S5包括： 步骤S5.1： 将图像特征序列 通过两个共享参数的全连接层， 得到图像特征 ； 将文 本特征序列 ， 通过两个共享 参数的全连接层， 得到文本特 征 ； 步骤S5.2： 计算图像特 征 与文本特 征 之间的余弦相似度 。 8.一种虚假 新闻检测预测的装置， 其特 征在于， 包括： 图像特征提取与检测模块： 用于提取图像特 征及对图像特 征序列进行判别； 文本特征提取与检测模块： 用于提取文本特 征及对文本特 征序列进行判别； 多模态对比学习模块： 用于将图像特 征序列和文本特 征序列进行对比学习； 多模态特征融合与检测模块： 用于融合图像特征序列和文本特征序列与对多模态特征 序列进行判别； 后期融合模块： 用于 融合图像特征预测值、 文本特征预测值和多模态特征预测值， 输出 检测结果。 9.一种电子设备， 其特征在于， 包括： 存储有可执行程序代码的存储器； 与所述存储器 耦合的处理器； 所述处理器调用所述存储器中存储的所述可执行程序代码， 用于执行权利 要求1至7任一项所述的虚假 新闻检测方法。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质存储计算机程 序， 其中， 所述计算机程序使得计算机执 行权利要求1至7任一项所述的虚假 新闻检测方法。权　利　要　求　书 2/2 页 3 CN 115423050 A 3