威尼斯人棋牌-威尼斯欢乐娱人城-首页

一种基于级联网络的轻量图像超分辨率重建方法与流程

文档序号:24897656发布日期:2021-04-30 15:59
一种基于级联网络的轻量图像超分辨率重建方法与流程

技术领域:

本发明属于图像处理技术领域,主要是涉及一种基于级联网络的轻量图像超分辨率重建方法。



背景技术:

一般而言,对于一张图像而言,更高的分辨率代表具备更多、更丰富的图像细节。但是受限于成像设备体积、成本等因素的影响,最终呈现出来的图像往往达不到人们的实际需求。在这样的背景下,通过低分辨率的图像重建出高分辨率图像的图像超分辨率重建技术受到了学术界的广泛的关注,并广泛的应用于视频监控、医学等领域。因此,研究适用范围广、重建质量高的超分辨率重建算法具备重要的理论价值和实际意义。

大多数超分辨率重建方法都是通过不断堆叠网络的深度来提升重建的效果,虽然这些算法往往能够取得比较好的效果,但是由于网络体积较大,计算量大,难以应用到实际应用中。常规上进行特征提取一般是用常规卷积,随着网络模型的发展,深度可分离卷积和分组卷积等技术在深度学习领域取得了突出的成果。现有的图像超分辨率重建领域的轻量网络主要从几个角度解决问题:设计有效的上采样方式和特征提取模块,减少网络的深度。虽然都在比较轻量的情况下取得了比较好的效果,但是还具备进一步的提升空间。本文设计了一种基于级联网络的轻量图像超分辨率重建,首先设计轻量的多尺度特征提取模块,随后使用注意力机制对不同的特征进行加权。最后使用级联机制融合不同级别的通道特征。基于本方案设计的超分辨率重建网络能够满足实时性的需求,同时质量优于同级别网络复杂度超分辨率重建网络。



技术实现要素:

本发明提出一种基于级联网络的轻量图像超分辨率重建方法,针对现有超分辨率重建方法体积大且难以在实际中应用的问题,提出一种无监督的超分辨率重建方法,并通过金字塔生成对抗网络对重建结果进行优化,从而得到符合图像特征的超分辨率重建网络,该方法在有效减少训练时间的同时提升了重建图像的感知质量。

本发明的技术方案如下:

s1:图像获取。获取div2k数据集,将.png数据转换成.npy数据格式。

s2:在s1基础上,对.npy数据进行裁剪,裁剪大小为128×128的高分辨率图像hr,随后下采样得到低分辨率图像lr,形成高低分辨率图像对。

s3:在s2基础上,使用卷积设计低层特征提取网络进行特征提取,提取到的特征表示为fl。

fl=conv2d3x3(lr,3,64)

其中conv2d3x3表示卷积核大小为3的常规卷积,通过这种方式来提取网络的浅层特征。式中3和64分别表示输入和输出通道数。

s4:将s3中取得的特征fl作为深度特征提取网络的输入,通道1通过如图1所示的fe模块进行特征提取,最后使用卷积核大小为1的标准卷积进行通道降维:

ffe1=conv1x1(σ(gconv4(dwconv3x3(f,3,64),64,64)),64,32)

其中dwconv3x3表示卷积核大小为3的深度卷积,gconv4则表示分组数为4的分组卷积,σ表示relu激活函数。conv1x1表示卷积核大小为1的常规卷积。

通道2首先通过通道1的特征提取方式进行特征提取之后,进行通道重组,再通过fe模块进行二次的特征提取。随后同样使用1x1卷积进行通道的降维。

ffe2=conv1x1(σ(gconv4(dwconv3x3(shufle(σ(gconv4(dwconv3x3(fl,3,64),64,64))),3,64),64,64)),64,32)

随后将通道1和通道2的输出的特征进行拼接扩展到64通道特征图,并使用relu进行激活,增加网络的非线性。表示为

fdf1=σ(concat(ffe1+ffe2))

在dgsa中,引入如图2所示的增强型通道注意力机制网络。首先,确认通道描述符。把f(f∈iw×h×c,w、h、c为特征图的宽、高和通道数)进行全局平均池化,得到1×1×c的特征图,将池化结果作为该通道的描述符z,第c个通道的描述符表示为:

随后,通道关系建模,用wk去学习通道注意力,表示如下:

wc=σ(wkz)

其中k表示为计算的邻近通道的数量,wk表示为:

wk=[ω1,ω2,l,ωc]t

其中,表示k个邻近通道的集合。通道参数共享可以进一步缩减参数量,ωi可表示为:

最终通过卷积核大小为k的一维卷积来实现通道之间的信息交互,表示为:

ω=σ(conv1dkxk(z))

其中k根据通道数进行自适应选择,表示为:

c=φ(k)=22k-1

将学习到的通道注意力机制加权到输入特征中,得到最终的特征图:

fout=z*f

最终dgsa模块可以表示为图3所示。同时将不同层次的特征进行级联,并送入卷积核大小为1的常规卷积进行特征信息交互和通道降维。

fcon=conv1x1(concat(f1,f2,...),inputchannel,64)

式中inputchannel代表各个输入特征图通道数之和。

s5:经过s4中进行特征提取之后的特征fcon,特征送入上采样模块,如图4所示。上采样模块首先需要将通道进行扩张。

fup=conv3x3(fcon,64,64*r*r)

fup_f=ps(fup,64*r*r,64)

其中r代表需要重建的倍数,ps表示pixelshuffle操作。如果放大四倍,则需进行两次上述操作,其中r为2。

s6:使用l1损失作为网络训练的损失函数,adam优化器作为网络的优化器,计算sr和hr之间的误差进行反向传播,训练100个epoch。进行参数的更新。

s7:训练结束之后,固定好模型的参数,将待重建的图像作为网络的输入,选择重建尺度,输出则是目标的超分辨率图像。

附图说明

图1fe模块

图2注意力机制网络

图3网络模型

图4上采样模块

图5重建效果对比图

具体实施过程:

一种基于级联网络的轻量图像超分辨率重建方法,网络模型如图3所示,首先进行数据预处理,随后构建超分辨率重建网络。接着设置训练参数和条件对网络进行训练,调整网络参数。最终利用训练好的模型进行超分辨率重建。

下面通过一个实施实例对本发明进行进一步说明,其目的仅在于更好地理解本发明的研究内容而非限制本发明的保护范围。具体步骤如下:

步骤s1:本实例采用set5、set14、bsd100和urban100四个图像超分辨率重建数据集,set5包含5对高低分辨率图像对,set14扩展到了14张,bsd100和urban100分别包含100张多样特征的高低分辨率图像对。本实例选择放大四倍作为参考标准。将低分辨率图像进行下采样,得到超低分辨率图像对。

步骤s2:本实施实例将低分辨率图像直接作为网络的输入。

步骤s3:确认训练环境及策略。实验设备的处理器为i99900k,显卡为rtx2080ti,pytorch环境下进行,使用cuda10.0和cudnn7.1加速模型训练。

本文提出的网络在每个尺度训练的epoch为100,生成器和判别器的学习率设置为0.001,每隔30个epoch学习率下降为原来的10%,特征提取过程中特征图像尺度保持不变。

步骤s4:本实例选取set5、set14和bsd100中的低分辨率图像作为重建对象。将待重建的低分辨率图像作为输入,直接输入网络进行计算。

本实例将本文所提出的算法与现有的无监督图像超分辨率重建算法进行2、3、4倍重建指标的比较,主要比较了峰值信噪比(psnr)和结构相似性(ssim)两个指标。以4倍重建为例,实验结果如图5和表1所示。

观察上述的图表可知,本方法在两项指标上面优于对比算法,重建图像质量也有一定的提升。

表1重建指标对比表

再多了解一些
当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1

威尼斯人棋牌|威尼斯欢乐娱人城

XML 地图 | Sitemap 地图