H.264视频编码中快速的帧内预测模式选择

[组图]H.264视频编码中快速的帧内预测模式选择

热 ★★★

【字体：小大】

作者：佚名文章来源：Internet 点击数：更新时间：2008-5-17

摘要：H.264作为最新的视频编码标准，因其拥有了新的特征(例如：帧内帧间预测)，也就实现了较好的视频压缩。为了获得最佳的帧内和帧间预测，H.264采用了率失真优化(RDO)技术，提高了编码质量，降低了比特率。RDO技术对所有的帧内/帧间预测模式进行全盘搜索，导致了很高的计算复杂性。本文中，引入了一个新颖的快速帧内预测算法，该算法使用了宏块的特性，并基于主边缘增强(dominant edge strength)技术的。实验结果表明：和全搜索算法相比，引入的算法降低了30%左右的编码时间，而信噪比几乎不变。

关键词：视频编码、DES、RDO

一、引言

H.264是ITU-T和ISO/IEC制定的视频编码标准，在该标准中引入了先进的技术，例如：4×4整数变换、自适应块运动补偿、多参考帧、CABAC、帧内预测等；在这些新的特性中，帧内预测是H.264优于其它标准的主要因素之一；对于亮度分量，H.264有两种预测类型：intra_16×16和intra_4×4；对含有较多空域细节信息的宏块采用4×4预测，而对于较平坦的区域采用16×16的预测模式，前者共有9种预测模式可供选择，后者共有4种预测模式可供选择；两个色度分量使用8×8宏块作为帧内预测编码的基本单位，有4种预测模式可供选择。

在intra_4×4中，每一个4×4块内的像素以及周围像素的分布如图1所示，其中小写英文字母a到p表示块内部的16个像素，大写字母A到Q表示块周围的像素（这些像素先于本块处理），预测值将利用周围已知像素的值来计算；除了DC预测模式来预测整个的4×4块之外，还有8个方向的预测如图2所示，块内同一方向上的像素点具有相同的预测值。

图1 帧内4×4亮度块预测图2 帧内4×4亮度块预测方向图

对于intra_16×16预测，整个宏块使用了4种预测模式如表1所示，预测模式0（垂直预测）、模式1（水平预测）、模式2（DC预测）类似于intra_4×4中的模式，还有模式3（平面预测）。

表1 4种intra_16×16预测模式

模式0	模式1	模式2	模式3
垂直预测	水平预测	DC预测	平面预测

色度帧内预测独立于亮度，两个色度分量U、V使用相同的预测模式，模式的选取类似于intra_16×16。

H.264中使用这些先进的帧内预测技术，编码效率提高了，然而在寻求最佳预测模式时带来了巨大的计算量，这也就限制了这个新的视频编码标准的实际应用。在此论文中，我们引入了一个新颖的快速帧内预测算法加速模式选择的过程，该算法使用了宏块的特性，是基于主边缘增强技术的。论文的其余部分组织如下，首先，概述宏块的特性；其次引入了DES算法；最后进行仿真。

二、快速的模式选择算法

1．图像采用的帧内编码模式与视频序列的内容有很大关系，Intra_16×16适用于平滑图像的帧内预测，Intra_4×4适用于图像细节变化比较明显的区域。在这个基础之上，本文根据宏块的特性选择了帧内预测类型，下面将具体介绍这一方法。

（1）DC预测模式

DC预测模式指用上面像素和左边像素的平均值来预测宏块中所有像素的值。这意味着在Intra_16×16 DC预测宏块中所有像素的值是相等的，如图3(c)所示，使用变量 (Mean AbsoluteDeviation)来区别这个宏块，宏块的定义如下：

（1-1）

式中：p(x,y)是坐标为(x,y)处的像素值；m是这个宏块所有像素的平均值，宏块中每行或每列都是16个像素。

宏块的DC预测模式有比较小的值，我们可以选择一个阈值，如果宏块的值小于或等于这个阈值，则宏块是比较平滑的。

（a）模式0 （b）模式1 （c）模式2

图3 3种Intra_16×16预测模式

（2）垂直和水平预测模式

垂直预测模式指用上面的像素值预测宏块中每列的像素值，这意味着垂直预测模式的宏块有比较平滑的列，各列中的像素值几乎相等，如图3(a)所示。使用变量来区别这类列平滑的宏块，的定义如下：

（1-2）

其中，指宏块中第x列的平均绝对差值，它的定义如下：

（1-3）

这里m_x指第x列的平均值。垂直预测模式宏块有比较小的MAD_V值。

水平预测模式与垂直预测模式类似，宏块中每行的所有像素用左边的像素来预测，因此水平预测模式宏块有比较平滑的行，各行中的像素值几乎相等，如图3(b)所示。使用变量MAD_H来区别这类行平滑的宏块，MAD_H的计算与MAD_V的计算类似；但在计算MAD_V时，使用MAD_Y来计算,指第y行的平均绝对差值，重新选择一个阈值，如果宏块的MAD_V值或者 MAD_H值小于阈值，则宏块是比较平滑。

在图像细节变化比较快区域的MADS( MAD、MAD_V、MAD_H)值会明显大于图像平滑区域的 MAD值。因此，可以根据统计数据预先定义阈值T_DC和T_VH，如果MAD_S小于或等于相应的阈值，说明宏块是平滑的，则该宏块采用Intra_16×16编码模式，这种情况下可以排除所有的Intra_4×4模式，极大地减少了复杂度，否则采用Intra_4×4编码模式。

利用宏块特性的快速帧内预测算法(FIPAMP)的步骤如下：

（1）通过式（1-1）计算宏块的MAD值，如果MAD≤T_DC，宏块是比较平滑的，则该宏块采用Intra_16×16编码模式；

（2）通过式（1-2）计算宏块的MAD_V值，如果MAD_V≤T_VH，宏块是比较平滑的，采用Intra_16×16编码模式；

（3）计算宏块的MAD_H值，如果MAD_H≤T_VH，宏块是比较平滑的，采用Intra_16×16编码模式；

（4）否则，采用Intra_4×4编码模式。

2.在确定了编码模式后，基于主边缘增强(DES)技术，对于Intra_4×4或者Intra_16×16确定具体编码模式。具体方法如下：

在图像中边缘组成了描述它们内容的重要特性，人们的眼睛对边缘特性是比较敏感的；在MPEG-7中，边缘直方图描述符描述了图像的边缘分布。边缘分为4类，如图4所示， 4个方向的边缘：垂直、水平、45^。对角线、135^。对角线。

(a)垂直边缘 (b)水平边缘 (c) 45^。边缘 (d) 135^。边缘

图4 4种类型的边缘

边缘检测方法是基于空间域滤波技术的，正如图5中显示的，首先把每个图像块平分成4个子块，随后计算出每个子块的平均像素值，形成2×2像素的图像；图6举例说明了4×4亮度块的上述平均处理过程；f^v、f^h、f⁴⁵、f¹³⁵分别表示垂直、水平、45^。对角线、135^。对角线边缘滤波系数，图7详细描述了滤波器的系数，每一个方向的边缘增强来源于对应的滤波操作：

（1-4）

（1-5）

（1-6）

（1-7）

这里表示第n个子块的平均像素值。

（1-4）到（1-7）中计算的最大的边缘增强即为主边缘增强，选取对应于该主边缘增强的边缘。

图5 子块的定义图6 4×4亮度块的平均处理

根据方向，每一个检测的主边缘刚好与帧内预测的选择模式相对应；换句话说，垂直、水平、45^。对角线、135^。对角线边缘分别直接对应于选择模式0、1、3和4。我们的快速模式选择算法主要依靠检测的选择模式，因此，在4×4亮度块中，模式搜索的数量由9降到4。

(a)垂直 (b)水平 (c) 45^。对角线 (d) 135^。对角线

图7 边缘检测的滤波器系数

对于16×16亮度块或8×8色度块，检测的主边缘增强和刚好直接对应于选择模式0、1。因此，在搜索过程中， 16×16亮度块和8×8色度块只有2种预选模式而非4种。

提到的基于DES算法的整个操作和处理是有规律的，而且比较简单，适用于硬件设计。

三、实验结果

为了验证提出的算法的有效性和正确性，对算法进行了软件仿真，这里使用了H.264/AVC的参考软件JM86。

本文实验环境如下：Intel、Celeron 2.4GHz、内存256（DDR）；操作系统Windows XP。

选择的测试序列为QCIF和CIF格式，例如foreman、mobile、vectra、M&D、Claire，每种序列选取100帧进行仿真实验。

实验中JM86编码器配置如下：（1）H.264的Baseline的编码；（2）关闭了多帧参考；（3）使用了全部的预测模式；（4）使用的序列全为I帧；（5）没有使用哈达马变换。

表2 优化后的编码器性能测试结果

序列	文件格式	PSNR_Y 变化(dB)	PSNR_U 变化(dB)	PSNR_V 变化(dB)	编码速度提高（%）	比特率增加(%)
Foreman	CIF	-0.13	0.03	-0.02	32.41	9.31
Mobile	CIF	0.01	0	-0.03	26.42	3.75
Vectra	CIF	-0.02	0.01	-0.02	34.36	5.97
Claire	CIF	-0.09	-0.01	0.02	31.43	8.66
Foreman	QCIF	-0.21	0.02	0.02	31.86	9.33
Mobile	QCIF	-0.04	0.02

文章录入：admin 责任编辑：admin

上一篇文章：嵌入式DSP上的视频编解码

下一篇文章： iMEMS加速计在汽车中的应用

【发表评论】【加入收藏】【告诉好友】【打印此文】【关闭窗口】

最新热点		最新推荐		相关文章
				前置放大器在移动医疗服务系便携式多通道大容量生理信号防腐监测仪的设计与应用基于AD1674的酶标仪的设计基于C/S模式的JRTPLIB库的测 ffmpeg与jrtplib相结合应用 blackfin模拟摄像头驱动中的可编程逻辑在数字信号处理系发现VDSP4.5一个BUG：单步调 VDSP5.0双核工程下sml3中的变