(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210245104.3 (22)申请日 2022.03.14 (71)申请人 广东工业大 学 地址 510000 广东省广州市越秀区东 风东 路729号 (72)发明人 吴衡　胡新瑞　赵艮平　程良伦　 (74)专利代理 机构 佛山市君创知识产权代理事 务所(普通 合伙) 44675 专利代理师 张燕玲 (51)Int.Cl. G06T 5/00(2006.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/80(2022.01)G06V 10/82(2022.01) (54)发明名称 一种基于多尺度混合注意力的太赫兹图像 去噪方法 (57)摘要 本发明公开了一种基于多尺度混合注意力 的太赫兹图像去噪方法， 包括： 获取含噪的太赫 兹图像； 构建与太赫兹图像分辨率相同的噪声水 平图； 将太赫兹图像作为噪声 图像， 与构建的噪 声水平图输入到训练好的去噪模 型中， 输出最终 的去噪图像； 去噪模型包括依次连接的输入特征 图融合处理单元、 特征提取单元和监督去噪单 元， 其中： 输入特征图融合处理单元用于融合输 入的噪声图像和噪声水平图， 特征提取单元学习 深层和浅层的多尺度特征信息， 监督去噪单元进 行自适应监督图像去噪与增强图像细节， 得到阶 段恢复的去噪图像和噪声预测图； 对噪声预测图 进行均衡处理得到的去噪图像。 本发 明解决了传 统太赫兹成像系统成像质量差、 高频细节少、 噪 声严重等问题。 权利要求书3页 说明书7页 附图3页 CN 114581330 A 2022.06.03 CN 114581330 A 1.一种基于多尺度混合注意力的太赫兹图像去噪方法， 其特 征在于， 包括： 获取含噪的太赫兹图像； 构建与所述太赫兹图像分辨 率相同的噪声水平图； 将所述太赫兹图像作为噪声图像， 与构建的噪声水平图输入到训练好的去噪模型中， 输出最终的去噪图像； 所述去噪模型包括依次连接的输入特征图融合处理单元、 特征提取单元和监督去噪单 元， 其中： 输入特征图融合处理单元用于融合输入的噪声图像和噪声水平图， 同时进行通道调 整， 得到第一特征图； 特征提取单元用于针对第一特征图学习深层和浅层的多尺度特征信 息， 得到第二特征图； 监督去 噪单元用于根据所述第二特征图以及噪声图像进行自适应监 督图像去 噪与增强 图像细节， 得到阶段恢复的去噪图像和噪声预测图； 对噪声预测图进行 均衡处理得到所述的去噪图像。 2.根据权利要求1所述的基于多尺度混合注意力的太赫兹图像去噪方法， 其特征在于， 所述输入特征图融合处理单元用于融合输入的噪声图像和噪声水平图， 同时进行通道调 整， 得到第一特 征图， 包括： 将噪声图像、 与噪声图像分辨率相同的噪声水平图输入到特征融合处理单元； 其中， 所 述噪声水平图是由设定的噪声水平拉伸成的噪声水平映射； 将噪声图像与噪声水平图进行拼接融合得到输入特征图， 之后通过一个卷积层对输入 特征图提升维度信息， 得到第一特 征图。 3.根据权利要求1所述的基于多尺度混合注意力的太赫兹图像去噪方法， 其特征在于， 所述特征提取单元用于针对第一特征图学习深层和浅层的多尺度特征信息， 得到第二特征 图， 包括： 第一步， 对第一特 征图进行两次编码， 得到编码特 征图Ij(j＝1,2)； 第二步， 利用级联密集块FLC  Block0对第一特征图I0进行特征学习， 得到特征学习后的 强化图 利用级联密集块FLC  Block1、 FLC Block2分别对编码特征图Ij(j＝1,2)进行特 征 学习， 得到特征学习后的强化图 对级联密集块FLC  Block2输出的强化图 进 行解码重构， 得到解码特 征图 第三步， 将解码重构的特征图 与级联密集块FLC  Block1输出的强化图 一起经过解 码注意力模块输出凸显局部特 征的注意力增强特 征图IA； 注意力增强特 征图IA经过一个卷积块处 理后， 输出 特征图IB； 特征图IB再经过另一个解码单元进行解码， 解码后的特征图与经过级联密集块FLC   Block0输出的强化图 通过另一个解码注意力模块后， 再经过卷积块处理后输出 即为 特征提取单元最终输出的第二特 征图。 4.根据权利要求3所述的基于多尺度混合注意力的太赫兹图像去噪方法， 其特征在于， 所述对第一特 征图进行两次编码， 得到编码特 征图， 包括： 待编码的第一特征图I0并联经过4个步长为2、 扩张率分别 为1、 2、 4、 8的空洞卷积以及 1 个池化块操作构成的5层金字塔结构； 其中， 所述的池化块操作包括平均池化和一个卷积权　利　要　求　书 1/3 页 2 CN 114581330 A 2层； 金字塔的每一层再分别通过带泄露修正线性单元激活后相融合， 得到多尺度融合特征 图， 最后经 过一个卷积层恢复通道特 征， 得到编码特 征图Ij。 5.根据权利要求3所述的基于多尺度混合注意力的太赫兹图像去噪方法， 其特征在于， 所述第二步中的级联密集块FLC  Block0、 FLC Block1、 FLC Block2中残差密集块的数量依次 递减； 在每一个残差密集块中， 输入的特征图依次通过3个基本块RDB并经过缩放系数β 的缩 放后与输入的特征图叠加输出； 其中基本块的输入M1首先经过一个卷积层和一个非线性激 活层输出M2， M2与M1按通道数叠加后经过一个卷积层和一个非线性激活层后输出M3， 再将M3、 M2与M1按通道数叠加经过一个卷积层和一个非线性激活层LeakyReLU后输出M4， 按相同操作 得到M5； M5、 M4、 M3、 M2与M1按通道数叠加后经过卷积恢复与M1相同的通道数， 并经过缩放系数 β 的缩放后与M1叠加输出， 完成一个基础块的处理； 随后， 处理后的特征图被传入后续的其 他基础块进行相同的处 理。 6.根据权利要求3所述的基于多尺度混合注意力的太赫兹图像去噪方法， 其特征在于， 将解码重构的特征图 与级联密集块FLC  Block1输出的强化图 一起经过解码注意力模 块输出凸显局部特 征的注意力增强特 征图IA， 包括： 和 分别经过卷积层和批量归一化后融合， 融合后的特征图依次经过线性整流层、 卷积层、 批量归一化和Sigmo d层得到注意力权值分布， 最后将注意力权值分布与 作乘并 与 叠加后输出注意力增强特 征图IA。 7.根据权利要求1所述的基于多尺度混合注意力的太赫兹图像去噪方法， 其特征在于， 特征提取单元输出的第二特征图 与噪声图像Si为监督注意力模块的输入， 的第二特征图 经过卷积层降维得到残差图像IS， 将IS加入到噪声图像Si， 得到阶段恢复的去噪图像即第 三特征图 作为去噪模型的输出用于预估损失； 第三特征图 经过一个卷积层与 Sigmod激活后得到注意力权重， 将 注意力权重的分布与第二 特征图 经过一个卷积层处理 后的结果作乘引导特征路径， 得到注意力 分布的特征图， 最后将注意力 分布的特征图与第 二特征图 叠加输出注意增强特 征图ISAM； 最后， 注意力增强特征图ISAM经过一个卷积块处理后得到噪声预测图MP， MP作为第四特 征图与第三特 征图 一起由监督去噪单 元输出。 8.根据权利要求1所述的基于多尺度混合注意力的太赫兹图像去噪方法， 其特征在于， 对噪声预测图进行均衡处 理得到所述的去噪图像， 包括： 利用去噪模型在训练过程中监督损失函数的权值λ 以及太赫兹图像Wv对输出的噪声预 测图Hv进行均衡处 理， 输出最终的去噪图像Pv， 其数学模型表示如下： 其中， Uv表示监督去噪单 元输出的阶段恢复的去噪图像。 9.一种终端设备， 包括存储器、 处理器以及存储在所述存储器中并可在所述处理器上 运行的计算机程序， 其特征在于， 处理器执行计算机程序时实现根据权利要求1至8中任一权　利　要　求　书 2/3 页 3 CN 114581330 A 3