本文作者:kaifamei

一种超高清视频失真优化编码方法与流程

更新时间:2025-12-21 23:53:14 0条评论

一种超高清视频失真优化编码方法与流程



1.本发明涉及图像编码领域,具体涉及一种超高清视频失真优化编码方法。


背景技术:



2.超高清视频具有非常强的临场感和实物感,实现列对现实场景有最为细腻逼真的还原,实现极为真切的人眼视觉感知,但是,超高清视频给观众带来良好的视觉效果是基于极大的数据量,因此,对超高清视频的视频编码的性能具有较高的要求。
3.视频编码的性能主要体现在比特率和失真率两个方面,失真率用于评价编码前后视频的质量变化程度,视频失真优化是提升视频编码性能的重要环节。在视频失真优化时,使用均方误差、峰值信噪比等客观指标作为失真度量来评价视频编码的失真率,然而,图像质量评价研究己经证明,由于人眼视觉对于图像的变化的敏感度并不是绝对的,其感知结果会受到许多因素的影响而产生变化,因此,均方误差、峰值信噪比等客观指标无法和人眼视觉感知的图像质量完全一致,不适合用于视频编码的失真率的度量。
4.如何结合人眼视觉感知特性获得视频编码的失真率,使得视频编码的质量与人眼视觉的感受一致。


技术实现要素:



5.为了解决上述问题,本发明提供一种超高清视频失真优化编码方法,所述方法包括:获取视频训练集,构建自编码网络;计算像素点编码前的邻域亮度和编码后的邻域亮度,根据编码前后像素点的亮度的差值以及编码前后像素点的邻域亮度的差值,获得像素点的空域亮度变化程度;结合颜宽容度计算像素点的空域度变化程度;根据像素点编码前的亮度变化幅度和编码后的亮度变化幅度,获得像素点在每帧图像中的时域亮度变化程度;根据相邻帧图像的权值,将像素点在相邻帧图像中的时域亮度变化程度的加权结果记为像素点的时域亮度变化程度;根据两帧图像中的两个像素点编码前对应的两个颜点组成的第一向量,以及两帧图像中的两个像素点编码后对应的两个颜点组成的第二向量,获得像素点的度幅值差异度;将像素点在相邻帧图像中的度幅值差异度的加权结果记为像素点的时域度变化程度;将所有帧图像的所有像素点的空域亮度变化程度、空域度变化程度、时域亮度变化程度以及时域度变化程度的加权结果的和作为失真率损失函数,将自编码网络中所有特征图的比特量与所有帧图像的比特量的比值作为比特率损失函数;将失真率损失函数和比特率损失函数作为自编码网络的损失函数,根据视频训练集对自编码网络进行训练,得到训练完成的自编码网络;将待压缩视频输入到训练完成的自编码网络中得到特征图作为待压缩视频的视频编码结果。
6.进一步地,所述计算像素点编码前的邻域亮度和编码后的邻域亮度的步骤包括:对于任意一个像素点,将以该像素点为中心像素点的预设大小的区域作为该像素点的邻域,将邻域内的所有像素点记为该像素点的邻域像素点,获得预设大小的高斯滤波核,通过高斯滤波核对邻域内的所有邻域像素点编码前的亮度进行加权求和,获得该像素点编码前的邻域亮度,通过高斯滤波核对邻域内的所有邻域像素点编码后的亮度进行加权求和,获得该像素点编码后的邻域亮度。
7.进一步地,所述获得像素点的空域亮度变化程度的步骤包括:对于图像中坐标为的像素点,空域亮度变化程度的计算公式为:式中,表示像素点的空域亮度变化程度,表示像素点编码前的亮度,表示像素点编码后的亮度,表示编码前后像素点的亮度的差值,表示像素点编码前的邻域亮度,表示像素点编码后的邻域亮度,表示编码前后像素点的邻域亮度的差值,表示取绝对值,表示反正切函数。
8.进一步地,所述结合颜宽容度计算像素点的空域度变化程度的步骤包括:对于图像中坐标为的像素点,分别根据像素点的编码前的颜值和编码后的颜值,分别获得编码前的颜点和编码后的颜点,获取编码前的颜点的颜宽容度,即颜点的3阶麦克亚当椭圆,获取颜点与颜点的连线与颜点的3阶麦克亚当椭圆的交点,将交点在cie-xyz颜系统中对应的颜点记为;如果交点在颜点与颜点之间,则像素点的空域度变化程度,式中,表示像素点的空域度变化程度,表示颜点与颜点的欧式距离,表示颜点与颜点的欧式距离,表示反正切函数;如果交点不在颜点与颜点之间,则像素点的空域度变化程度。
9.进一步地,所述根据像素点编码前的亮度变化幅度和编码后的亮度变化幅度,获得像素点在每帧图像中的时域亮度变化程度的步骤包括:视频的第帧图像中像素点的时域亮度变化程度的计算公式为:
式中,表示第帧图像中像素点的时域亮度变化程度,表示第帧图像中像素点编码前的亮度变化幅度,,其中,表示第帧图像中像素点编码前的亮度,表示第帧图像中像素点编码前的亮度,表示第帧图像中像素点编码后的亮度变化幅度,,其中,表示第帧图像中像素点编码后的亮度,表示第帧图像中像素点编码后的亮度。
10.进一步地,所述获得像素点的度幅值差异度的步骤包括:第帧图像中像素点的度幅值差异度的获取方法为:对于第帧图像中像素点,分别根据该像素点的编码前的颜值和编码后的颜值,获取该像素点编码前的颜点和编码后的颜点,对于第帧图像中像素点,分别根据该像素点的编码前的颜值和编码后的颜值,获取该像素点编码前的颜点和编码后的颜点,获得颜点和颜点对应的向量,以及颜点和颜点对应的向量,将向量和向量的余弦相似度,作为第帧图像中像素点度差异度。
11.进一步地,所述帧图像的权值的步骤包括:对于第帧图像,与该帧图像相邻的第帧图像的权值为,表示取绝对值。
12.本发明上述方法至少具有如下有益效果:本发明根据人眼视觉感知特性在空间域表现为对一个区域的感知结果会受到其周围邻域的影响,计算像素点的空域亮度变化程度和空域度变化程度,根据人眼视觉感知特性在时间域表现为对于运动剧烈区域的感知较为敏感,计算像素点的时域亮度变化程度和时域度变化程度,结合所有帧图像的所有像素点的空域亮度变化程度、空域度变化程度、时域亮度变化程度以及时域度变化程度的加权结果构建失真率损失函数,结合失真率损失函数和比特率损失函数构建自编码网络的损失函数,保证了视频编码结果在空间域和时间域上都符合人眼视觉感知特性,使得视频编码的质量与人眼视觉的感受一致,同时使视频编码的少,提高视频编码的性能。
附图说明
13.为了更清楚地说明本发明实施例或现有技术中的技术方案和优点,下面将对实施
例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
14.图1为本发明一个实施例提供的一种超高清视频失真优化编码方法的步骤流程图;图2为本发明一个实施例提供的自编码网络结构;图3为本发明一个实施例提供的编码前后的颜点的一种关系;图4为本发明一个实施例提供的编码前后的颜点的一种关系。
具体实施方式
15.为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的一种超高清视频失真优化编码方法,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
16.除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
17.下面结合附图具体的说明本发明所提供的一种超高清视频失真优化编码方法的具体方案。
18.请参阅图1,其示出了本发明一个实施例提供的一种超高清视频失真优化编码方法的步骤流程图,该方法包括以下步骤:s001,获得视频训练集,构建自编码网络。
19.获取所有待编码视频,随机选取其中个视频组成视频训练集,构建自编码网络,自编码网络采用encoder-decoder的结构,自编码网络的具体内容如下:自编码网络结构示意图如图2所示,自编码网络的输入为待压缩视频,自编码网络的输出为重构视频,encoder层的输入为待压缩视频,encoder层的输出为特征图,decoder层的输入为特征图,输出为重构视频。
20.在自编码网络中,encoder层利用卷积、池化操作对输入视频进行下采样得到特征图,特征图相对于输入视频来说比特量小,因此将特征图作为输入的待压缩视频的压缩结果。
21.获得视频训练集中所有视频的所有帧图像,帧图像均为彩图像,每个像素点的颜值为,分别表示红通道分量、蓝通道分量和绿通道分量,根据像素点的颜值获得像素点的亮度。
22.s002,根据编码前后像素点的亮度的差值和邻域亮度的差值计算像素点的空域亮度变化程度,根据颜宽容度计算像素点的空域度变化程度。
23.需要说明的是,本发明结合人眼视觉感知特性获得视频编码的失真率,使得视频编码的质量与人眼视觉的感受一致。人眼能够感受的最直接的特征为亮度特征和度特
征,且人眼对度的敏感度低于亮度,人眼视觉感知特性体现在空间域和时间域两个方面,在空间域表现为人眼对一个区域的感知结果会受到其周围邻域的影响;在时间域表现为人眼对于运动剧烈区域的感知较为敏感。
24.因此,本发明基于亮度特征和度特征在空间域的空域亮度变化程度和空域度变化程度,以及亮度特征和度特征在时间域的时域亮度变化程度和时域度变化程度,获得视频编码的失真率。
25.在本实施例中,对于任意一帧图像中的任意一个像素点,将该像素点的坐标记为,将坐标为的像素点记为像素点,计算该像素点的空域亮度变化程度和空域度变化程度的具体步骤为:1、根据编码前后像素点的亮度的差值和邻域亮度的差值计算像素点的空域亮度变化程度。
26.需要说明的是,人眼视觉感知特性在空间域表现为:人眼对一个区域的感知结果会受到其周围邻域的影响,因此,本发明在计算像素点的空域亮度变化程度,不仅需要结合编码前后像素点的亮度的差值,还需要结合编码前后像素点的邻域亮度的差值。
27.在计算像素点的邻域亮度时,对于该像素点的邻域内的所有邻域像素点,由于人眼的观察角度有限,因此,并不是所有邻域像素点都被用来计算该像素点的邻域亮度,且不同的邻域像素点对于该像素点的邻域亮度的影响不同,邻域内距离该像素点越近的邻域像素点对该像素点的影响越大,邻域内距离该像素点越远的邻域像素点对该像素点的影响越小,因此,本发明结合高斯滤波核对该像素点的周围邻域内所有像素点的亮度的进行加权,进而获得该像素点的邻域亮度。
28.在本实施例中,计算像素点的空域亮度变化程度的步骤为:(1)计算像素点编码前的邻域亮度和编码后的邻域亮度,具体计算公式为:编码前的邻域亮度和编码后的邻域亮度,具体计算公式为:式中,表示像素点编码前的邻域亮度,表示像素点的邻域内坐标为的像素点的权值,表示像素点的邻域内坐标为的像素点编码前的亮度,表示像素点编码后的邻域亮度,表示像素点的邻域内坐标为的像素点编码后的亮度。
29.本发明根据高斯滤波核获得像素点的权值,其中,高斯滤波核的大小为,高
斯滤波核对应的高斯模型为二维高斯模型,二维高斯模型中两个维度的均值分别为和,两个维度的方差均为。
30.(2)结合编码前后像素点的亮度的差值以及编码前后像素点的邻域亮度的差值,计算像素点的空域亮度变化程度,具体计算公式为:式中,表示像素点的空域亮度变化程度,表示像素点编码前的亮度,表示像素点编码后的亮度,表示编码前后像素点的亮度的差值,表示像素点编码前的邻域亮度,表示像素点编码后的邻域亮度,表示编码前后像素点的邻域亮度的差值,表示取绝对值,表示反正切函数。
31.对于像素点,编码前后像素点的亮度的差值越大,则像素点的空域亮度变化程度越大,当编码前后像素点的亮度不变时,由于人眼对一个区域的感知结果会受到其周围邻域的影响,因此,像素点的空域亮度变化程度会随着编码前后像素点的邻域亮度的差值的增大而增大。
32.2、根据颜宽容度计算像素点的空域度变化程度。
33.需要说明的是,人眼感觉不到的颜差异变化范围叫做颜宽容度,由于3阶麦克亚当椭圆边界对应的颜与中心颜的差别是人眼恰可察觉的差值,并且人眼对不同的颜的敏感程度不同,即人眼对不同彩的颜宽容度不同,因此,对于颜宽容度,通常使用3阶麦克亚当椭圆来表示。本发明结合像素点的3阶麦克亚当椭圆计算像素点的空域度变化程度。
34.在本实施例中,计算像素点的空域度变化程度的步骤为:分别根据像素点的编码前的颜值和编码后的颜值,将像素点转换为cie-xyz颜系统中的颜点,分别获得编码前的颜点和编码后的颜点,获取编码前的颜点的3阶麦克亚当椭圆,获取颜点与颜点的连线,获取连线与颜点的3阶麦克亚当椭圆的交点,将交点在cie-xyz颜系统中对应的颜点记为。
35.如果交点在颜点与颜点之间,如图3所示,说明编码后的颜点在编码前的颜点的3阶麦克亚当椭圆外,因此,编码后的颜点超出了编码前的颜点的颜宽容度的范围,编码前后的颜点在视觉上存在差异,则像素点的空域度
变化程度,式中,表示像素点的空域度变化程度,表示颜点与颜点的欧式距离,表示颜点与颜点的欧式距离,表示反正切函数;如果交点不在颜点与颜点之间,如图4所示,说明编码后的颜点在编码前的颜点的3阶麦克亚当椭圆内,因此,编码后的颜点在编码前的颜点的颜宽容度的范围内,编码前后的颜点在视觉上没有差异,则像素点的空域度变化程度。
36.s003,根据像素点编码前的亮度变化幅度和编码后的亮度变化幅度计算像素点的时域亮度变化程度,根据像素点的度幅值差异度计算像素点的时域度变化程度。
37.需要说明的是,人眼视觉感知特性在时间域表现为:人眼对于运动区域的感知较为敏感,且运动区域的运动幅度越大,则人眼越敏感;视频中的运动体现在相邻的帧图像之间像素点的亮度和度的变化上,而视频中的运动区域的运动幅度体现在相邻的帧图像之间像素点的亮度变化幅度和度变化幅度上,为了保证编码前后人眼对视频中运动区域的感知不变,需要保证编码前后运动区域的运动幅度保持不表。
38.在本实施例中,对于第帧图像中的任意一个像素点,计算该像素点的时域亮度变化程度和时域度变化程度的具体步骤为:1、根据像素点编码前的亮度变化幅度和编码后的亮度变化幅度计算像素点的时域亮度变化程度。
39.像素点的时域亮度变化程度的计算公式为:式中,表示第帧图像中像素点的时域亮度变化程度,表示第帧图像中像素点编码前的亮度变化幅度,,其中,表示第帧图像中像素点编码前的亮度,表示第帧图像中像素点编码前的亮度,表示第帧图像中像素点编码后的亮度变化幅度,,其中,表示第帧图像中像素点编码后的亮度,表示第帧图像中像素点编码后的亮度,表示第帧图像中的权值。
40.当编码前后像素点的亮度变化幅度相等时,视频中的运动区域的运动幅度在编码
前后没有发生变化,则像素点的时域亮度变化程度;当编码前后像素点的亮度变化幅度不相等,视频中的运动区域的运动幅度在编码前后发生变化,则像素点的时域亮度变化程度,且编码前后像素点的亮度变化幅度的差异越大,视频中的运动区域的运动幅度在编码前后的差异越大,则像素点的时域亮度变化程度越大。
41.由于视频中的运动区域的运动幅度体现在相邻的帧图像之间像素点的亮度变化幅度上,对于视频中的任意一帧图像,相邻越近的帧图像与该帧图像的亮度变化幅度越能表征视频中的运动区域的运动幅度,因此,相邻越近的帧图像对时域亮度变化程度的贡献越大。对于视频中与第帧图像相邻的第帧图像,第帧图像距离第帧图像越近,即越小,则第帧图像的权值越小,但是由于时域亮度变化程度的取值范围为,因此,权值越小,时域亮度变化程度加权后的结果越大,则视频中与第帧图像相邻的第帧图像对第帧图像的时域亮度变化程度的贡献越大。
42.2、根据像素点的度幅值差异度计算像素点的时域度变化程度。
43.像素点的时域度变化程度的计算公式为:式中,表示第帧图像中像素点的时域度变化程度,表示第帧图像中像素点度差异度,表示第帧图像中的权值。
44.第帧图像中像素点度幅值差异度的获取方法为:对于第帧图像中像素点,分别根据该像素点的编码前的颜值和编码后的颜值,获取该像素点编码前的颜点和编码后的颜点,对于第帧图像中像素点,分别根据该像素点的编码前的颜值和编码后的颜值,获取该像素点编码前的颜点和编码后的颜点,获得颜点和颜点对应的向量,以及颜点和颜点对应的向量,将向量和向量的余弦相似度,作为第帧图像中像素点度差异度。
45.对于向量,不仅表征了第帧图像中像素点和第帧图像中像素点编码前的颜值的变化幅值,还表征了变化方向,同理,向量表征了第帧图像中像素点和第帧图像中像素点编码后的颜值的变化幅值和变化方向;对应到视频中的运动区域,向量表征了编码前运动区域的运动程度和运动方向,向量表征了编码后运动区域的运动程度和运动方向,因此向量和向量的余弦相似度则表征列编码前后运动区域的运动程度和运动方向的差异度,因此,作为第帧图像中像素点度差异度。
46.由于视频中的运动区域的运动幅度体现在相邻的帧图像之间像素点的度变化幅度上,对于视频中的任意一帧图像,相邻越近的帧图像与该帧图像的度差异度越能表征视频中的运动区域的运动幅度,因此,相邻越近的帧图像对时域度变化程度的贡献越大。对于视频中与第帧图像相邻的第帧图像,第帧图像距离第帧图像越近,即越小,则第帧图像的权值越小,但是由于度差异度的取值范围为,因此,权值越小,度差异度加权后的结果越大,则视频中与第帧图像相邻的第帧图像对第帧图像的时域度变化程度的贡献越大。
47.s004,根据像素点的空域亮度变化程度和空域度变化程度,以及时域亮度变化程度和时域度变化程度,构建失真率损失函数。
48.需要说明的是,本发明结合人眼视觉感知特性获得视频编码的失真率,构建失真率损失函数,使得视频编码的质量与人眼视觉的感受一致。人眼对度的敏感度低于亮度,因此,在结合空域亮度变化程度和空域度变化程度,以及时域亮度变化程度和时域度变化程度,构建失真率损失函数时,需要设定不同的权重。
49.在本实施例中,视频的失真率损失函数的具体公式为:式中,表示视频的失真率损失函数,表示视频中所有帧图像的数量,分别表示帧图像的长和宽,分别表示视频中第帧图像中坐标为像素点的空域亮度变化程度、空域度变化程度、时域亮度变化程度以及时域度变化程度,分别为亮度和度的权重。
50.由于人眼对颜的敏感度低于亮度,因此,,在本实施例中,亮度和度的权
重分别为,在其他实施例中,实施人员可根据需要设置亮度和度的权重。
51.本发明根据人眼视觉感知特性在空间域表现为对一个区域的感知结果会受到其周围邻域的影响,计算像素点的空域亮度变化程度和空域度变化程度,根据人眼视觉感知特性在时间域表现为对于运动剧烈区域的感知较为敏感,计算像素点的时域亮度变化程度和时域度变化程度,结合所有帧图像的所有像素点的空域亮度变化程度、空域度变化程度、时域亮度变化程度以及时域度变化程度的加权结果构建失真率损失函数,结合失真率损失函数和比特率损失函数构建自编码网络的损失函数,保证了视频编码结果在空间域和时间域上都符合人眼视觉感知特性,使得视频编码的质量与人眼视觉的感受一致,同时使视频编码的少,提高视频编码的性能。
52.s005,根据失真率损失函数和比特率损失函数构建自编码网络的损失函数,利用自编码网络对视频进行压缩。
53.需要说明的是,视频编码的性能主要体现在比特率和失真率两个方面,因此内,本发明结合视频编码的失真率和比特率分别构建失真率损失函数和比特率损失函数,结合失真率损失函数和比特率损失函数构建自编码网络的损失函数,利用自编码网络对视频进行压缩。
54.在本实施例中,根据失真率损失函数和比特率损失函数构建自编码网络的损失函数,利用自编码网络对视频进行压缩的具体步骤为:1、根据失真率损失函数和比特率损失函数构建自编码网络的损失函数。
55.视频的比特率损失函数的计算公式为:式中,表示视频的比特率损失函数,表示视频中第帧图像在自编码网络中对应的特征图的比特量,表示视频中第帧图像的比特量。
56.结合失真率损失函数和比特率损失函数构建自编码网络的损失函数,具体计算公式为:将第三损失函数作为自编码网络的损失函数。至此,完成了自编码网络的损失函数的构建。对自编码网络进行训练直至自编码网络的损失函数收敛时完成训练。
57.需要说明的是,训练过程中本发明使用的是随机梯度下降算法更新网络参数,使得会越来越小直至收敛或不再改变;loss3变小的过程中,待压缩视频的视频编码结果的失真率和比特率在变小,则待压缩视频的视频编码结果的质量越好,即视频编码结果与待压缩视频在人眼视觉上差异越小,同时,待压缩视频的视频编码结果的数据量越少,因此,待压缩视频的压缩效果越好。
58.2、利用自编码网络对视频进行压缩。
59.将任意一个待压缩视频输入到训练完成的自编码网络中,得到所有特征图,将特
征图作为待压缩视频的视频编码结果。
60.综上所述,本发明根据人眼视觉感知特性在空间域表现为对一个区域的感知结果会受到其周围邻域的影响,计算像素点的空域亮度变化程度和空域度变化程度,根据人眼视觉感知特性在时间域表现为对于运动剧烈区域的感知较为敏感,计算像素点的时域亮度变化程度和时域度变化程度,结合所有帧图像的所有像素点的空域亮度变化程度、空域度变化程度、时域亮度变化程度以及时域度变化程度的加权结果构建失真率损失函数,结合失真率损失函数和比特率损失函数构建自编码网络的损失函数,保证了视频编码结果在空间域和时间域上都符合人眼视觉感知特性,使得视频编码的质量与人眼视觉的感受一致,同时使视频编码的少,提高视频编码的性能。
61.需要说明的是:上述本发明实施例先后顺序仅仅为了描述,不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
62.本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。
63.以上实施例仅用以说明本技术的技术方案,而非对其限制;尽管参照前述实施例对本技术进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本技术各实施例技术方案的范围,均应包含在本技术的保护范围之内。

技术特征:


1.一种超高清视频失真优化编码方法,其特征在于,所述方法包括:获取视频训练集,构建自编码网络;计算像素点编码前的邻域亮度和编码后的邻域亮度,根据编码前后像素点的亮度的差值以及编码前后像素点的邻域亮度的差值,获得像素点的空域亮度变化程度;结合颜宽容度计算像素点的空域度变化程度;根据像素点编码前的亮度变化幅度和编码后的亮度变化幅度,获得像素点在每帧图像中的时域亮度变化程度;根据相邻帧图像的权值,将像素点在相邻帧图像中的时域亮度变化程度的加权结果记为像素点的时域亮度变化程度;根据两帧图像中的两个像素点编码前对应的两个颜点组成的第一向量,以及两帧图像中的两个像素点编码后对应的两个颜点组成的第二向量,获得像素点的度幅值差异度;将像素点在相邻帧图像中的度幅值差异度的加权结果记为像素点的时域度变化程度;将所有帧图像的所有像素点的空域亮度变化程度、空域度变化程度、时域亮度变化程度以及时域度变化程度的加权结果的和作为失真率损失函数,将自编码网络中所有特征图的比特量与所有帧图像的比特量的比值作为比特率损失函数;将失真率损失函数和比特率损失函数作为自编码网络的损失函数,根据视频训练集对自编码网络进行训练,得到训练完成的自编码网络;将待压缩视频输入到训练完成的自编码网络中得到特征图作为待压缩视频的视频编码结果。2.根据权利要求1所述的一种超高清视频失真优化编码方法,其特征在于,所述计算像素点编码前的邻域亮度和编码后的邻域亮度的步骤包括:对于任意一个像素点,将以该像素点为中心像素点的预设大小的区域作为该像素点的邻域,将邻域内的所有像素点记为该像素点的邻域像素点,获得预设大小的高斯滤波核,通过高斯滤波核对邻域内的所有邻域像素点编码前的亮度进行加权求和,获得该像素点编码前的邻域亮度,通过高斯滤波核对邻域内的所有邻域像素点编码后的亮度进行加权求和,获得该像素点编码后的邻域亮度。3.根据权利要求1所述的一种超高清视频失真优化编码方法,其特征在于,所述获得像素点的空域亮度变化程度的步骤包括:对于图像中坐标为的像素点,空域亮度变化程度的计算公式为:式中,表示像素点的空域亮度变化程度,表示像素点编码前的亮度,表示像素点编码后的亮度,表示编码前后像素点的亮度的差值,表示像素点编码前的邻域亮度,表示像素点编码后的邻域亮度,表示编码前后像素点的邻域亮度的差值,表示取绝对值,表示反正切函数。
4.根据权利要求1所述的一种超高清视频失真优化编码方法,其特征在于,所述结合颜宽容度计算像素点的空域度变化程度的步骤包括:对于图像中坐标为的像素点,分别根据像素点的编码前的颜值和编码后的颜值,分别获得编码前的颜点和编码后的颜点,获取编码前的颜点的颜宽容度,即颜点的3阶麦克亚当椭圆,获取颜点与颜点的连线与颜点的3阶麦克亚当椭圆的交点,将交点在cie-xyz颜系统中对应的颜点记为;如果交点在颜点与颜点之间,则像素点的空域度变化程度,式中,表示像素点的空域度变化程度,表示颜点与颜点的欧式距离,表示颜点与颜点的欧式距离,表示反正切函数;如果交点不在颜点与颜点之间,则像素点的空域度变化程度。5.根据权利要求1所述的一种超高清视频失真优化编码方法,其特征在于,所述根据像素点编码前的亮度变化幅度和编码后的亮度变化幅度,获得像素点在每帧图像中的时域亮度变化程度的步骤包括:视频的第帧图像中像素点的时域亮度变化程度的计算公式为:式中,表示第帧图像中像素点的时域亮度变化程度,表示第帧图像中像素点编码前的亮度变化幅度,,其中,表示第帧图像中像素点编码前的亮度,表示第帧图像中像素点编码前的亮度,表示第帧图像中像素点编码后的亮度变化幅度,,其中,表示第帧图像中像素点编码后的亮度,表示第帧图像中像素点编码后的亮度。6.根据权利要求3所述的一种超高清视频失真优化编码方法,其特征在于,所述获得像素点的度幅值差异度的步骤包括:第帧图像中像素点的度幅值差异度的获取方法为:对于第帧图像中像素点,分别根据该像素点的编码前的颜值和编码后的颜值,获取该像素点编
码前的颜点和编码后的颜点,对于第帧图像中像素点,分别根据该像素点的编码前的颜值和编码后的颜值,获取该像素点编码前的颜点和编码后的颜点,获得颜点和颜点对应的向量,以及颜点和颜点对应的向量,将向量和向量的余弦相似度,作为第帧图像中像素点度差异度。7.根据权利要求1所述的一种超高清视频失真优化编码方法,其特征在于,所述帧图像的权值的步骤包括:对于第帧图像,与该帧图像相邻的第帧图像的权值为,表示取绝对值。

技术总结


本发明涉及图像编码领域,具体涉及一种超高清视频失真优化编码方法,包括:根据编码前后像素点的亮度和邻域亮度的差值获得像素点的空域亮度变化程度;结合颜宽容度计算像素点的空域度变化程度;根据像素点编码前后的亮度变化幅度获得像素点的时域亮度变化程度;根据像素点的度幅值差异度获得像素点的时域度变化程度;将失真率损失函数和比特率损失函数作为自编码网络的损失函数,根据视频训练集和损失函数训练得到自编码网络,将根据自编码网络得到特征图作为待压缩视频的视频编码结果。本发明结合人眼视觉感知特性构建失真率损失函数,使自编码网络输出的待压缩视频的视频编码结果的质量与人眼视觉的感受一致,同时使压缩率增加。时使压缩率增加。时使压缩率增加。


技术研发人员:

王兆春

受保护的技术使用者:

广州波视信息科技股份有限公司

技术研发日:

2022.12.14

技术公布日:

2023/1/13


文章投稿或转载声明

本文链接:http://www.wtabcd.cn/zhuanli/patent-1-75908-0.html

来源:专利查询检索下载-实用文体写作网版权所有,转载请保留出处。本站文章发布于 2023-01-25 00:20:33

发表评论

验证码:
用户名: 密码: 匿名发表
评论列表 (有 条评论
2人围观
参与讨论