(12)发明专利申请
(10)申请公布号 CN 111325733 A(43)申请公布日 2020.06.23
(21)申请号 202010112724.0(22)申请日 2020.02.24
(71)申请人 清华大学深圳国际研究生院
地址 518055 广东省深圳市南山区西丽街
道深圳大学城清华校区A栋二楼(72)发明人 刘玉涛 李秀
(74)专利代理机构 深圳新创友知识产权代理有
限公司 44223
代理人 王震宇(51)Int.Cl.
G06T 7/00(2017.01)G06N 3/08(2006.01)
权利要求书3页 说明书5页 附图1页
(54)发明名称
结合低层视觉与高层视觉统计特征的图像质量评价方法(57)摘要
本发明提供了一种结合低层视觉与高层视觉统计特征的图像质量评价方法，包括如下步骤：S1，将图像进行局部归一化，提取低层视觉统计特征；S2，将图像进行稀疏表示，计算表示残差，提取高层视觉统计特征；S3，训练人工神经网络，学习从步骤S1和步骤S2提取的图像特征到图像质量的映射模型，以预测图像质量。本发明借助低层人类视觉的特性与高层大脑的活动来提取低层和高层的特征，得到图像特征到图像质量的映射模型，可以有效地度量图像感知质量的损失，准确地评价图像的质量。CN 111325733 ACN 111325733 A
权 利 要 求 书
1/3页
1.一种结合低层视觉与高层视觉统计特征的图像质量评价方法，其特征在于，包括如下步骤：
S1，将图像进行局部归一化，提取低层视觉统计特征；S2，将图像进行稀疏表示，计算表示残差，提取高层视觉统计特征；S3，训练人工神经网络，学习从步骤S1和步骤S2提取的图像特征到图像质量的映射模型，以预测图像质量。
2.根据权利要求1所述的结合低层视觉与高层视觉统计特征的图像质量评价方法，其特征在于，所述步骤S1中，利用图像局部的均值和方差对图像进行局部的归一化，得到归一化系数图像，然后截取归一化系数分布中的一段分布，作为描述图像质量变化的低层视觉特征向量。
3.根据权利要求2所述的结合低层视觉与高层视觉统计特征的图像质量评价方法，其特征在于，所述步骤S1具体包括：对图像进行局部归一化，得到局部归一化系数；图像的归一化系数可以被计算为：
其中，I为输入图像，(x,y)表示位置信息，表示归一化系数图像，μ(x,y)，σ(x,y)为以(x,y)为中心局部的均值和方差，归一化系数即为原始图像局部去掉均值，并利用局部均值进行归一化，μ(x,y)和σ(x,y)的计算方法如下：
其中，ω＝{ωs,t|s＝-S,...,S；t＝-T,...,T}代表对称的高斯滤波器，局部图像块的宽度为2S,高度为2T，S和T取值都为16；然后，将区间[-2,2]平均分为20个子区间，步长为0.2，然后取落在每一个子区间的归一化系数的数量，构成一个20维的低层视觉特征向量。
4.根据权利要求1至3任一项所述的结合低层视觉与高层视觉统计特征的图像质量评价方法，其特征在于，所述步骤S2中，将输入图像进行稀疏表示，然后计算表示残差，截取残差分布中的一段分布，作为描述图像质量变化的高层视觉特征向量。
5.根据权利要求4所述的结合低层视觉与高层视觉统计特征的图像质量评价方法，其特征在于，所述步骤S2具体包括：首先对图像进行稀疏表示，对于图像I，首先提取其中一个图像块进行稀疏表示，假设为
其大小为
该过程表示为：
xk＝Rk(I)
其中，Rk(·)为图像块提取算子，提取在位置k的图像块，k＝1,2,3,....,n，n表示图像块的总数；
对于图像块xk，它在字典
上的稀疏表示是指求一个稀疏向量
2
αk中
CN 111325733 A
权 利 要 求 书
2/3页
大多数元素为0或者接近于0，满足：
其中，第一项为保真度项，第二项稀疏约束项，λ为常数，用来平衡两项的比重，p取值为0或1，优选将p设置为1，上式变为凸优化问题的求解，利用正交匹配追踪算法(OMP)求解上式，得到图像块xk的稀疏表示系数
则xk稀疏表示为
整幅图像I的稀疏表示为：
其中，I′表示图像I的稀疏表示；然后计算稀疏表示残差，在区间[-50,50]上，将区间分为100个相等的子区间，每个区间间隔为1，然后取表示残差的值落在每个子区间里的个数作为特征，得到一个100维的高层视觉特征向量。
6.根据权利要求1至5任一项所述的结合低层视觉与高层视觉统计特征的图像质量评价方法，其特征在于，所述步骤S3中，设计一个四层结构的人工神经网络，包括三个隐含层和一个线性回归层，然后对该网络进行训练，得到一个图像特征到图像质量的映射模型，以利用该模型来预测图像的质量。
7.根据权利要求6所述的结合低层视觉与高层视觉统计特征的图像质量评价方法，其特征在于，所述步骤S3具体包括：设计包含四层的神经网络，三个隐藏层和一层线性回归层，网络的底层输入为提取的图像特征f1,f2,...fn，网络输出图像质量；每层隐含层的大小分别是200,40,6；
分三个步骤对设计的网络进行训练，第一步通过无监督的方法对每个隐含层进行预训练，把每个隐含层当成稀疏自编码器进行训练，利用L-BFGS算法训练每一个稀疏自编码器，迭代次数设置为1000，sigmoid函数作为激活函数，训练每一层用到的损失函数为：
其中，
和
其中，W表示网络权值，b表示隐含层偏置，hw,b(·)隐含层每个神经元的输出，ρ表示平均激活值，表示预期的平均激活值，ρ设置为0.1，β设置为3，λ是指权值衰减参数，设置为
3
CN 111325733 A
权 利 要 求 书
3/3页
0.0001；线性回归层的训练损失函数为：
其中，Y表示线性回归层的输出，Label表示图像的主观分数；训练完成之后，对于一幅新的图像，提取特征，输入到网络中，网络输出它的质量分数。
8.一种结合低层视觉与高层视觉统计特征的图像质量评价装置，包括计算机可读存储介质和处理器，所述计算机可读存储介质存储有可执行程序，其特征在于，所述可执行程序被所述处理器执行时，实现如权利要求1至7任一项所述的结合低层视觉与高层视觉统计特征的图像质量评价方法。
9.一种计算机可读存储介质，所述计算机可读存储介质存储有可执行程序，其特征在于，所述可执行程序被处理器执行时，实现如权利要求1至7任一项所述的结合低层视觉与高层视觉统计特征的图像质量评价方法。
4
CN 111325733 A
说 明 书
1/5页
结合低层视觉与高层视觉统计特征的图像质量评价方法
技术领域
[0001]本发明涉及图像处理技术领域，具体地，涉及一种结合低层视觉与高层视觉统计特征的图像质量评价方法。
背景技术
[0002]二十一世纪以来，随着互联网技术、数字媒体技术以及通信技术的快速发展，数字图像成为人们信息交流的重要方式。近年来，数码相机、智能手机、平板电脑等数字设备的大规模普及为图像的采集和视频的获取提供了极大的便利。然而，数字图像在获取、压缩、存储、传输等一系列过程中很容易受到不同种类失真的干扰，其质量不可避免地受到一定程度的影响。比如，在图像的拍摄过程中，机械抖动和不聚焦会导致采集到的图像出现模糊；在图像传输过程中，有可能会引入噪声等等。因此，准确地评价图像的质量对于数字图像工业应用具有重要意义。
[0003]在图像质量评价指标方面，Wang,Z.等人在《IEEE Trans.Image Process》第13卷第4期第600页至第612页发表的论文“Image quality assessment:from error visibility to structural similarity”中提出的结构相似性方法(SSIM)通过衡量图像的结构相似性来判断图像的质量。D.M.Chandler等人在《IEEE Trans.Image Process》第16卷第9期第2284页至第2298页发表的论文“VSNR:A Wavelet-Based Visual Signal-to-Noise Ratio for Natural Images”中设计了视觉信噪比(Visual Signal-to-Noise Ratio，VSNR)算法，此算法分为两步进行，第一步是通过视觉掩蔽效应判断失真对人眼是否可见，如果不可见则算法认为图像具有最好的视觉质量，如果可见，算法通过计算视觉系统低层次的对比度失真与中层次的图像边缘失真来估计图像的质量。Zhang,L.等人在《IEEE Trans.Image Process》第23卷第10期第4270页至第4281页发表的论文“VSI:A Visual Saliency-Induced Index for Perceptual Image Quality Assessment”中提出了基于视觉显著性指标(Visual Saliency-based Index，VSI)，在VSI中，首先，图像失真导致的视觉显著性改变被研究，然后，视觉显著性被用作图像质量的特征来反应图像的失真程度，最后视觉显著性特征和梯度幅度特征结合起来预测图像的失真。[0004]Liu,Y.等人在《IEEE Trans.Multimedia》第20卷第2期第379页至391页发表的论文“Reduced-Reference Image Quality Assessment in Free-Energy Principle and Sparse Representation”中计算稀疏表示残差的信息熵来评价图像的质量。Liu,A.等人在《IEEE Trans.Image Process》第21卷第4期第1500页至第1512页发表的论文“Image Quality Assessment Based on Gradient Similarity”中设计了梯度相似度指标(Gradient Similarity Index，GSI)[127]，该方法首先计算原图和失真图之间的梯度幅度相似性，然后基于人类视觉系统的掩蔽特性，改进梯度幅度的相似性计算，最后通过自适应地池化亮度、对比度和结构来对图像的质量做出估计。Moorthy等人在《IEEE Trans.Image Process》第20卷第12期第3350页至3364页发表的论文“Blind Image Quality Assessment:From Natural Scene Statistics to Perceptual Quality”中建立了基于失
5
CN 111325733 A
说 明 书
2/5页
真判别的图像真实性与完整性评价指标(Distortion Identification-based Image Verity and INtegrity Evaluation，DIIVINE)。Wu,J.等人在《IEEE Trans.Image Process》第22卷第1期第43页至54页发表的论文“Perceptual Quality Metric With Internal Generative Mechanism”中提出了自生成模型算法(Internal Generative Mechanism，IGM)，自由能原理假设在大脑内部有一个生成模型，负责对图像进行理解与推断并生成相应的预测图像，然后利用自回归模型(Autoregressive Model，AR)来模拟大脑内部的产生式模型，把图像分解为两个部分，分别是可预测的部分和不可预测的部分，可预测的部分利用SSIM预测其质量，不可预测部分利用PSNR预测其质量，然后综合这两部分的质量对图像的质量进行预测。
发明内容
[0005]本发明的主要目的是提供一种结合低层视觉与高层视觉统计特征的图像质量评价方法和装置，以有效地度量图像感知质量的损失，准确地评价图像的质量。[0006]为实现以上目的，本发明提供一种结合低层视觉与高层视觉统计特征的图像质量评价方法，所述方法包括以下步骤：[0007]S1，将图像进行局部归一化，提取低层视觉统计特征；[0008]S2，将图像进行稀疏表示，计算表示残差，提取高层视觉统计特征；[0009]S3，训练人工神经网络，学习从步骤S1和步骤S2提取的图像特征到图像质量的映射模型，以预测图像质量。[0010]优选地，所述步骤S1中，利用图像局部的均值和方差对图像进行局部的归一化，得到归一化系数图像，然后截取归一化系数分布中的一段分布，作为描述图像质量变化的低层视觉特征向量。[0011]优选地，所述步骤S2中，将输入图像进行稀疏表示，然后计算表示残差，截取残差分布中的一段分布，作为描述图像质量变化的高层视觉特征向量。[0012]优选地，所述步骤S3中，设计一个四层结构的人工神经网络，包括三个隐含层和一个线性回归层，然后对该网络进行训练，得到一个图像特征到图像质量的映射模型，利用该模型来预测图像的质量。
[0013]一种结合低层视觉与高层视觉统计特征的图像质量评价装置，包括计算机可读存储介质和处理器，所述计算机可读存储介质存储有可执行程序，所述可执行程序被所述处理器执行时，实现所述的结合低层视觉与高层视觉统计特征的图像质量评价方法。[0014]一种计算机可读存储介质，所述计算机可读存储介质存储有可执行程序，所述可执行程序被处理器执行时，实现所述的结合低层视觉与高层视觉统计特征的图像质量评价方法。
[0015]本发明的有益效果：
[0016]本发明提供了一种结合低层视觉与高层视觉统计特征的图像质量评价方法。在该方法中，分别提取图像低层视觉与高层视觉的统计特征，然后利用神经网络学习提取的图像特征到图像质量的映射模型，利用该模型来预测图像的质量。图像的质量是由人类低层视觉特性和高层视觉特性共同决定，本发明借助低层人类视觉的特性与高层大脑的活动来提取低层和高层的特征，利用神经网络学习视觉特征到图像质量的映射，得到图像特征到
6
CN 111325733 A
说 明 书
3/5页
图像质量的映射模型，进行图像质量的估计，该方法可以有效地度量图像感知质量的损失，准确地评价图像的质量，具有显著的应用价值。附图说明
[0017]通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
[0018]图1为本发明结合低层视觉与高层视觉统计特征的图像质量评价方法的一实施例的原理图。
具体实施方式
[0019]下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
[0020]本发明提供了一种结合低层视觉与高层视觉统计特征的图像质量评价方法。在该方法中，分别提取图像低层视觉与高层视觉的统计特征，然后利用神经网络学习提取的图像特征到图像质量的映射模型，利用该模型来预测图像的质量。
[0021]图1为本发明结合低层视觉与高层视觉统计特征的图像质量评价方法的一实施例的原理图。如图1所示，本发明实施例提供一种结合低层视觉与高层视觉统计特征的图像质量评价方法，所述方法包括以下步骤：S1，将图像进行局部归一化，提取低层视觉统计特征；S2，将图像进行稀疏表示，计算表示残差，提取高层视觉统计特征；S3，训练人工神经网络，学习从步骤S1和步骤S2提取的图像特征到图像质量的映射模型，用以预测图像质量。图像的质量是由人类低层视觉特性和高层视觉特性共同决定，本发明借助低层人类视觉的特性与高层大脑的活动来提取低层和高层的特征，利用神经网络学习视觉特征到图像质量的映射，得到图像特征到图像质量的映射模型，进行图像质量的估计，该方法可以有效地度量图像感知质量的损失，准确地评价图像的质量，具有显著的应用价值。[0022]在一些实施例中，上述的结合低层视觉与高层视觉统计特征的图像质量评价方法，具体实施过程和详细细节如下：
[0023]本发明实施例首先对图像进行局部归一化，得到归一化系数，图像的归一化系数可以被计算为：
[0024][0025]
其中，I为输入图像，(x,y)表示位置信息，表示归一化系数图像，μ(x,y)，σ(x,y)
为以(x,y)为中心局部的均值和方差，归一化系数即为原始图像局部去掉均值，并利用局部
均值进行归一化，μ(x,y)和σ(x,y)的计算方法如下：
[0026]
7
CN 111325733 A
说 明 书
4/5页
[0027]
这里，ω＝{ωs,t|s＝-S,...,S；t＝-T,...,T}代表对称的高斯滤波器，局部图像
块的宽度为2S,高度为2T，S和T取值都为16。然后，将区间[-2,2]平均分为20个子区间，步长为0.2，然后取落在每一个子区间的像素数量，构成一个20维的特征向量。[0029]然后，对图像进行稀疏表示(生理学研究表明，人类视觉系统采用稀疏感知的方式来感知外部的视觉信号)，对于输入图像I，首先提取其中一个图像块进行稀疏表示，假设为
其大小为
[0030]
[0028]
该过程可以表示为：
xk＝Rk(I)[0031]其中，Rk(·)为图像块提取算子，提取在位置k的图像块，k＝1,2,3,....,n，n表示图像块的总数。
[0032]
对于图像块xk，它在字典上的稀疏表示是指求一个稀疏向量
(αk中大多数元素为0或者接近于0)满足：
[0033][0034]
其中，第一项为保真度项，第二项稀疏约束项，λ为常数，用来平衡两项的比重，p取
值为0或1，如果p取值为0时，稀疏项表示系数中非0的个数，与我们要求的稀疏性一致，然而，0范数的优化问题是非凸的，求解比较困难，替代的解决方案是将p设置为1，这样，上式就变为凸优化问题的求解。因此，p设置为1。利用正交匹配追踪算法(OMP)求解上式，得到图像块xk的稀疏表示系数
则xk可以稀疏表示为
整幅图像I的稀疏表示可以写为：
[0035]
其中，I′表示图像I的稀疏表示。然后计算表示残差，在残差区间[-50,50]上，将区间分为100个相等的子区间，每个区间间隔为1，然后取落在每个子区间里像素的个数作为特征，得到一个100维的特征向量。
[0037]设计一个包含四层的人工神经网络，三个隐藏层和一层线性回归层，网络的底层输入为提取的图像特征f1,f2,...fn，网络输出图像质量。每层隐含层的大小分别是200,40,6。
[0038]分三个步骤对设计的网络进行训练，第一步通过无监督的方法对每个隐含层进行预训练，把每个隐含层当成稀疏自编码器进行训练，利用L-BFGS算法训练每一个稀疏自编码器，迭代次数设置为1000，sigmoid函数作为激活函数，训练每一层用到的损失函数为：
[0039][0040]
[0036]
其中，
8
CN 111325733 A
说 明 书
5/5页
[0041]
[0042][0043][0044]
和
这里，W表示网络权值，b表示隐含层偏置，hW,b(·)隐含层每个神经元的输出，ρ表
示平均激活值，表示预期的平均激活值，ρ设置为0.1，β设置为3，γ是指权值衰减参数，设置为0.0001。线性回归层的训练损失函数为：
[0045][0046]
其中，Y表示线性回归层的输出，Label表示图像的主观分数。训练完成之后，对于
一幅新的图像，提取特征，输入到网络中，网络输出它的质量分数。[0047]以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。
9
CN 111325733 A
说 明 书 附 图
1/1页
图1
10
因篇幅问题不能全部显示，请点此查看更多更全内容