(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210147765.2 (22)申请日 2022.02.17 (71)申请人 华南理工大 学 地址 510641 广东省广州市天河区五山路 381号 申请人 广东微步智能科技有限公司 (72)发明人 史景伦　李显惠　胡晨晨　王骁行　 (74)专利代理 机构 广州嘉权专利商标事务所有 限公司 4 4205 专利代理师 郑宏谋 (51)Int.Cl. G06T 3/40(2006.01) G06K 9/62(2022.01) G06V 10/80(2022.01) (54)发明名称 一种图像超分辨 率重建方法及装置 (57)摘要 本发明公开了一种图像超分辨率重建方法 及装置， 其中方法包括： 对低分辨率输入图像进 行浅层特征的提取； 将浅层特征通过m个由多尺 度级联注意力残差模块组成的级联残差组和全 局跳连接组成的主干网路， 进行特征提取、 融合 以及增强， 得到深层特征； 使用亚像素卷积对深 层特征进行上采样； 利用所得的特征对图像进行 重建， 得到更高分辨率的图像。 本发明采用多尺 度级联注意力残差模块， 通过从感受野、 宽度与 注意力等角度对多种特征进行提取、 增强与融 合； 通过跳跃连接与级联残差， 绕过低频信息， 整 合网络深度上不同层次的特征， 从而得到更为丰 富的细节； 通过本发明的方法， 可 以重建出细节 更丰富， 质量更高的图像， 可广泛应用于图像超 分辨率重建领域。 权利要求书3页 说明书8页 附图2页 CN 114581300 A 2022.06.03 CN 114581300 A 1.一种图像超分辨 率重建方法， 其特 征在于， 包括以下步骤： 对低分辨 率输入图像进行浅层特 征的提取； 将浅层特征通过m个由多尺度级联注意力残差模块组成的级联残差组和全局跳连接组 成的主干网路， 进行 特征提取、 融合以及增强， 得到深层特 征； 使用亚像素 卷积对深层特 征进行上采样； 利用上采样所 得的特征对图像进行重建， 得到更高分辨 率的图像。 2.根据权利要求1所述的一种图像超分辨率重建方法， 其特征在于， 所述对低分辨率输 入图像进行浅层特 征的提取， 包括： 定义由一个卷积层组成的特征提取组件， 从低分辨率输入图像中提取原始特征， 具体 如下式所示： F0＝HSFE(ILR)    (1) 其中， HSFE(·)表示为应用于低分辨率特征提取的卷积 运算， ILR表示低分辨率的输入图 像， F0表示通过卷积提取的浅层特 征。 3.根据权利要求1所述的一种图像超分辨率重建方法， 其特征在于， 所述级联残差组包 括n个多尺度级联注意力残差模块、 n个特征拼接单元、 n个特征压缩单元、 n个 短跳跃连接和 1个局部跳跃连接， 所述特 征压缩单 元由一个1x1的卷积组成。 4.根据权利要求3所述的一种图像超分辨率重建方法， 其特征在于， 所述级联残差组 的 公式表达式如下： Fm， 1＝HMCRAB(Fm‑1)    (2) Fm， 2＝HMCRAB(w1×1*[Fm， 1， Fm‑1]+b)    (3) … Fm， n＝HMCRAB(w1×1*[Fm， n‑1， Fm， n‑2]+b)    (4) Fm＝Fm， n+Fm‑1         (5) 其中， Fm， n表示第m个级联残差组中第n个多尺度 级联注意力残差模块的输出特征， HMCRAB 表示多尺度级联注意力残 差模块的操作， Fm表示第m个级联残 差组的输 出特征， []表示特征 拼接， w1×1表示1x1卷积的权 重， b表示卷积核的偏差 。 5.根据权利要求3所述的一种图像超分辨率重建方法， 其特征在于， 所述多尺度级联注 意力残差模块包括注意力残差单 元、 误差反馈融合单 元、 跳跃连接以及级联操作； 多尺度级联注意力残差模块的公式表达式如下： F3×3， in1＝w1×1*Fm， n‑1+b    (6) F3， 1＝HRAB， 3×3(F3×3， in1)+F3×3， in1    (7) F3×3， in2＝w1×1*[F3， 1， F3×3， in1]+b    (8) F3， 2＝HRAB， 3×3(F3×3， in2)+F3×3， in2    (9) F3×3_in3＝w1×1*[F3， 2， F3， 1， F3×3， in1]+b    (10) F5×5， in1＝w1×1*Fm， n‑1+b    (11) F5， 1＝HRAB， 5×5(F5×5， in1)+F5×5， in1    (12) F5×5， in2＝w1×1*[F5， 1， F5×5， in1]+b    (13) F5， 2＝HRAB， 5×5(F5×5， in2)+F5×5， in2    (14) F5×5， in3＝w1×1*[F5， 2， F5， 1， F5×5， in1]+b    (15)权　利　要　求　书 1/3 页 2 CN 114581300 A 2Fm， n＝HConfusion(F3×3， in3， F5×5， in3)+Fm， n‑1    (16) 其中， F3×3， in1、 F3×3， in2、 F3×3， in3分别表示尺度为3x3时不同阶段的输入特征， F3， 1、 F3， 2分 别表示尺度为3x3时的中间特征， F5×5， in1、 F5×5， in2、 F5×5， in3分别表示尺度为5x5时不同阶段的 输入特征， F5， 1、 F5， 2分别表示尺度为5x5时的中间特征， HRAB， 3×3、 HRAB， 5×5分别表示卷积核为 3x3和5x5的注意力残差单元， HConfusion表示误差 反馈融合单元， Fm， n表示第m个级联残差组中 第n个多尺度 级联注意力残差模块的输出特征， []表示特征拼接， w1×1表示1x1卷积的权重， b表示卷积核的偏差 。 6.根据权利要求5所述的一种图像超分辨率重建方法， 其特征在于， 所述注意力残差单 元采用宽激活的方式， 在参数量不变的情况下， 获得更宽的通道特征， 同时采用通道注意力 模块增强激活前 的通道特征， 并在最后采用空间注意力单元对残差做空间特征增强， 其中 两种注意力机制均采用了平均池化与最大池化相结合的方式； 所述注意力残差单 元的公式表达式如下： y＝ τ(HCA(wk×k*x+b))    (17) Fr＝HSA(wk×k*y+b)    (18) 其中， x、 y分别表示输入特征与输出特征， τ表示非线性激活函数ReLU， wk×k表示kxk卷积 的权重， HCA表示通道注意力单元， HSA表示通道注意力单元， 其中各注意力单元的公式表达 式如下： HCA＝σ(HFC( τ(HFC(PAvg(x)+PMax(x)))))*x    (19) HSA＝σ(w7×7*[(PAvg(x)， PMax(x)]+b))*x    (20) 其中， σ表示非线性激活函数Sigmoid， w7×7为7x7卷积的权重， PAvg表示平均池化操作， PMax表示最大池化操作， HFC表示全连接层。 7.根据权利要求5所述的一种图像超分辨率重建方法， 其特征在于， 所述误差反馈 融合 单元的公式表达式如下： ffeedback_3＝ τ(w3×3*F3×3， in3+b)‑τ(w3×3*F5×5， in3+b)    (21) F3×3＝ τ(w3×3*ffeedback_3+b)+F3×3， in3    (22) ffeedback_5＝ τ(w3×3*F5×5， in3+b)‑τ(w3×3*F3×3， in3+b)    (23) F5×5＝ τ(w3×3*ffeedback_5+b)+F5×5， in3    (24) Fconfusion＝w3×3*[F3×3， F5×5]+b    (25) 其中， ffeedback_3、 ffeedback_5分别表示不同尺度之间的误差反馈； F3×3， F3×5分别表示误差 反馈后的融合特征， τ表示非线性激活函数ReLU， w3×3为3x3卷积的权重， Fconfusion表示多尺度 残差融合特 征。 8.根据权利要求1所述的一种图像超分辨率重建方法， 其特征在于， 所述将浅层特征通 过m个由多尺度级联注意力残差模块组成的级联残差组和全局跳连接组成的主干网路， 进 行特征提取、 融合以及增强， 得到深层特 征， 包括： 将浅层特征通过由m个级联残差组， 以及由1个3x3卷积串联的残差特征提取主干与全 局跳连接组成的主干网络， 获得深层特 征； 具体的公式如下： Fm＝Hcrir， m(Fm‑1)＝Hcrir， m(Hcrir， m‑1(…(Hcrir， 1(F0)…))    (26) FRes＝ τ(w3×3*Fm+b)    (27) FDF＝F0+FRes    (28)权　利　要　求　书 2/3 页 3 CN 114581300 A 3