我要投搞

标签云

收藏小站

爱尚经典语录、名言、句子、散文、日志、唯美图片

当前位置:2019跑狗图高清彩图 > 帧内压缩 >

视频显示流压缩的技术与标准PDF

归档日期:08-18       文本归类:帧内压缩      文章编辑:爱尚语录

  1.本站不保证该用户上传的文档完整性,不预览、不比对内容而直接下载产生的反悔问题本站不予受理。

  视频显示流压缩的技术与标准 朱秀昌 唐贵进 南京邮电大学江苏省图像处理与图像通信重点实验室南京 摘 要随着计算机电视机和手机等显示设备分辨率的迅速增加采用显示流压缩 技术解决显示链路带宽不足已成业界的共识近年来陆续出现了 和 的纯帧内编码 屏幕内容编码和 的 等显示链路压缩技术 其中最为典型的是视频电子标准协会 的 标准这 是一个被广泛接受的用于显示链路的低成本短延时和视觉无损的轻量级编解码标准的高效编 码技术包括先进的预测历史彩色索引简捷的熵编码以及良好的速率控制等本文综述了标准 的新特性和主要技术概况 关键词视频压缩显示流压缩显示链路预测编码视觉无损编码 中图分类号 文献标志码 引 言 近年来移动通信云媒体网络视频和虚拟现实等应用的快速发展引发了对网络链路上传输各种 基金项目江苏省高校优势学科建设工程资助项目南京邮电大学宽带无线通信与传感网技术教育部重点实验室资助项目 收稿日期 修订日期 数据采集与处理 屏幕内容的新需求要求在设备之间以视频方式方便低时延地传输屏幕内容屏幕内容传送的需求也 出现在设备的内部尤其是便携式嵌入设备内的主机和显示器之间例如手机的处理器和显示器之间 移动虚拟现实 主机和显示屏之间等场合 在显示数据方面随着视频显示分辨率的 迅速提高 甚至 分辨率的屏幕逐渐成为市场主流使得原来在低分辨率时不成问题的显示链路 传输等成熟技术遇到了挑战即显示链路的带宽不能满足高分辨率显示器的带宽要求从图 可以直 观地看出用于传输显示信息的物理显示链路的带宽大致线性地逐年增长 而显示器的分辨率差 不多呈平方增长两者之间出现了相当大的差距解决显示链路带宽问题时既然物理带宽的增速赶不 上显示链路带宽增速的要求那么很自然就会想到压缩链路上 视频信号的带宽近年来学者和工业界正是本着这一思路不断 地对链路视频压缩进行研究和开发研究中最先采用的是常 规的视频编码方法但是对自然图像编码有效的方法并不完全 适合这类屏幕内容视频的压缩于是大家又将 目光转向寻找 适合屏幕内容压缩的编码工具制定这一应用领域的国际标 准其中成效显著的当数视频电子标准协会 年完成的显示流压缩 图 物理带宽和分辨率的差距 标准它给出了针对屏幕内容的 低成本低时延和质量无损的显示链路压缩规范和一系列关键 技术 显示链路 显示器的显示链路 现在的类显示器一般是由密集排列的电光转换单元像素组成的矩形平面包含若干行若 干列每个像素可以显示不同的彩色控制各个像素的彩色就可形成一幅平面图像以计算机为例 显示器屏幕图像形成的信号来自计算机的显示缓存区缓存区的每个单元存储一个像素的彩色值和 显示器像素的几何位置一一对应显示器连续不断地从缓存区读取数据供显示屏幕显示计算机可以 随时更新缓冲区的数据使得屏幕内容也随之 变化从主机的显示缓存到显示器驱动电路 之间的电路就是显示链路一般显示链路上 传送的是原始视频数据量很大以传输 帧 的 的 比特 高清视频信号为例所需传输带宽约为 如果显示器就在计算机旁边甚至和计 算机是一体化的如图 所示可以通过线 排直接连接到显示器此时的显示链路就是导 图 显示链路中的 编码器 线链路上传输的就是未压缩的视频数据但 是如果显示器远离计算机如在无线显示远 端屏幕共享等场合则屏幕内容数据的传输就 绝非易事再如在手机等嵌入式显示设备虽然显示器和显示缓存装配在一起但是由于布线的空间及 电磁干扰等因素的限制不允许太多的布线和线路上太高的频率在这两种情况下就可以采用 编解码技术如图 所示对即将在显示链路上传输的视频信号进行压缩减少显示链路的线数和降 低线上信号的速率使得分离的显示链路或嵌入式的显示链路上可以传输高清或超高清视频信号 朱秀昌 等视频显示流压缩的技术与标准 显示流压缩的技术挑战 显示链路传送的是屏幕内容视频而屏幕内容常常由计算机产生的图形文档和摄像机捕获的图 像视频等混合而成因此各部分信号具有不同的特点例如文字图形等部分和自然图像比较往往具有 陡峭的边缘饱和的色彩和强烈的对比因此对屏幕内容编码时会要求对不同的内容采用不同的压缩 方法具有内容自适应编码能力此外对不同类型内容的失真人眼视觉的敏感度也有所不同往往对 文档图形等失真的灵敏度更高所以对所有的屏幕内容或至少是图文内容部分要求视觉无损或数学 无损的编码质量这些都给屏幕内容视频编码技术提出了技术挑战面对这些挑战从实际应用的需 求出发 显示链路视频编解码的总体要求是实现一个轻量级的编解码器具有高效的软件算法和 简洁的硬件结构体现了低成本短时延小存储低功耗和压缩无损等鲜明的特点为了达到这个 目 标主要的技术瓶颈在于对应于内容的编码模式易于硬件实现的高效预测编码算法速率 控制算法编码质量的度量 的显示流压缩 的标准化 工业界认识到在显示链路上压缩视频数据的必要性由世界百余家知名企业组建的 于 年底成立了任务组目的是为信源和显示设备制造商制定一个统一的可以直接用于显示链路视频 压缩的标准任务组在 年 月发布了 的提案征集 要求所提方案成 本低时延低互操作性强且图像质量高此后任务组评估了收到的 份不同提案后选择了其中能够 满足征集条件的一个方案 年 月发布了用于显示链路上屏幕内容视频的 标准 很短 的时间后 年 月发布了更新的 版本修复一个引起缓存溢出的 后再经改进于 年 月推出了 的修订 版本 并包含在 高清视频接口中 的核心思想是为所有类型的 屏幕内容视频提供一类轻量级视觉无损的实时压缩编码算法 编解码器支持 和 分 量视频格式 取样结构以及 比特像素精度的视频以光栅扫 描顺序进行实时处理以固定速率输出无损压缩的视频数据 的编码系统 将每一帧图像分为若干相同的互不重叠的矩形条作为独立的编码单位编码按行扫描方式 进行以相邻 个像素的 像素组为处理单位基本编码算法是差分脉冲编码调制 编码系统如图 所示 图 编码器框图 数据采集与处理 彩色空间转换单元将输入的视频源转换为 格式 转换后的像素经一个小容量像素 缓存后进入实质性的编码单元进行预测量化和重建等处理其中对亮度和色度信号可在预测模式和 彩色历史索引 模式中选择在预测模式中又可在 种预测方法中选择对预 测残差采用简单的的整数幂量化和重建像素此后对量化后残差信号或 的索引值进行熵编码 熵编码在 像素组上操作每个分量产生一个熵编码的子码流这些子码流经打包子流多路复用 后通过速率缓存输出在编码的同时平坦度检测单元判决当前输入 像素内容是否为平坦区域给出平坦程度指示和量化参数 调节参考速 率控制单元管理速率缓存的充盈度调节 以保证编码器以固定的码率输出 的编码工具 彩色转换 为了降低彩色分量之间的相关性 将 或 输入视频信号转换为 格式的信 号 为亮度分量 和 为两个色度分量 分别对样点的亮度和色度分量进行编码允许色度 信号比亮度信号多 个比特 和 格式之间为可逆线性变换变换矩阵元素由简单的二进制 数 和 组成硬件实现很容易 预测 类似于许多编码方法 使用帧内 的 方法来预测当前像素对预测残差值进行简单的量 化熵编码 支持 种预测模式即改进的中值 自适应预测 块预测 和中点预测 模式选择过程如图 所示利用前一行的重建样值和残差尺寸比特数通 图 预测模式决策图 过特定的算法来决定采用 或 预测 模式 改进的自适应中值预测 普通的中值自适应预测 算法 如图 中虚线所示通过 个邻 近的已重建像素的中值来预测当前的像素 如式所示其中 为取中值函数则 对 进行改进成为改进的中值 自适应预测 仍参考图 其中前一行的 和当前行的 为重建像素 为当前行待预测的像素在 预测时不 是简单地利用上一行的重建值本身而是加权混合来自上一行的参考 图 的像素位置 样点值和该样点经滤波后的差值用于预测以 为例先对 进行水 平方向 低通 滤波则 式中 表示二进制右移 位然后在滤波前后的差值当前量化水平值 和 之间选 择中值和原来的重建值进行混合成为预测参考值即有 由式可见混合比例由当前量化水平控制在高量化区域混合侧重于低通滤波后的像素值这 朱秀昌 等视频显示流压缩的技术与标准 一改进有助于平滑那些由产生的量化缺陷编码器由于预测结构的限制一般只能每时钟周期 预测 个像素一般解码器的时钟频率都低于编码器时钟为了增加解码器的吞吐量解码器要同时解 码 个编码的像素设和 和 对应的反量化后的残差为 和 它们可作为解码 个相继 样值 和 的参考则 块预测 在屏幕内容较为平坦的区域像素纹理往 往会重复出现 对此采用 方式处理其 原理和一般视频的块运动估计类似如图 所示当前行的连续 个像素 为一 图 的像素位置 待预测块所使用的预测像素就是当前像素块 左边某一位移位置上的前一行的重建像素 此位移即为 矢量用于 像素块的 个 像素其范围是 矢量的选择和预测模式的判决都是基于当前块和重建块对应像素之间 的绝对误差和 最小原则在先前行已重建的样点中搜索完成的为 了决定 矢量在编码器和解码器中都在先前行的重建像素中完成同样的搜索 矢量信息不需要 编码到比特流中 矢量的 用于编码器和解码器中的 和 模式的判决对于那些不 重复的内容 矢量块的 通常在 矢量块中最小因此如果 矢量块的 不 是最小的 块则选用 模式否则选用 模式 中点预测 对于某些视频内容普通的预测编码有可能产生的残差大于原像素值例如对 比特图像的某个 分量待预测像素值为 参考样点值为 则预测残差为 反而需要 比特表示对于这类情 况 采用 方法选择接近分量值范围中点值的样点作为当前分量组的 个像素的预测样点用 于限制预测残差的比特数模式选用信息需在比特流中发送 彩色历史索引 对有些采用上述预测模式编码效率不高的内容 还可以采用 的编码模式利用最近使用 过的像素值来对当前像素进行编码 在编码器和解码器中都含一个 单元的移位寄存器保存的 是最近使用过的 个像素每个像素包含 个分量值 个单元中最近使用的像素值在寄存器的顶 部依次排列最远使用的在底部当以 模式编码一组像素时为待编码的一组 个像素的每个像 素都选择一个索引值指向 寄存器中最相似像素的位置 用 比特表示索引值并发送给解 码器 个单元的任一个都可被用作参考编码器为每一组的每个像素选择一个候选 索引而后 决定这一组像素编码为 模式或预测模式判断准则依然是预测值和相应的原始像素值的加权 值 量化和重建 亮度和色度的量化水平可以从码率控制单元给出的 值导出在编码器和解码器中用相同 的算法确定不需要编码到比特流中亮度和色度可以采用不一样的量化水平且亮度的量化水平通常 低于色度 使用截断 次幂的量化方式在软硬件中仅用二进制加法和位移就可方便地实现并保 证量化结果不落在样值有效范围之外原像素值和预测值的残差为 是量化水平先计算一个偏移 数据采集与处理 量 再计算量化后的残差 则 式中 类似地反量化和重建也比较简单利用分量值上限 和预测值 可以得到重建值为 平坦度检测和速率控制 平坦度检测平坦度检测单元通过简单的像素处理来判定当前图像内容的平坦度从而标志 从非平坦区到平坦区的过渡以减少量化失真平坦度检测还承担着部分速率控制的任务为速率控制 部分的值调整提供决策依据为了在编码前完成对像素组的平坦度检测输入像素需经过一个小 容量的缓存目的是产生一个对编码操作的短暂超前当一个进入组是平坦的速率控制就会减小 值以最佳化平坦区域的主观质量并在比特流中发出这个平坦度状态指示 速率控制 通过调节 值进行速率控制管理速率缓存的充盈度保证速率缓存既不上 溢也不下溢将熵编码产生的每组可变的比特数变为固定的比特数发送到显示链路上通过调节 量化水平来优化主观图像质量在复杂区域用较大的值在平坦区域使用较小的值编码速率 控制中 采用简单的 的整数幂量化方法可随内容自适应地为每个像素组更新 值可简 单地由缓存充盈度和内容活动性程度导出以避免复杂的率失真 运算编码器和 解码器的速率控制单元使用同样的速率缓存模型和速率控制操作只是编码器的速率控制模块多一个 平坦度检测输入这一措施使得 避免花费比特去编码 的变化保证速率控制在 频繁变化 时并不影响编码效率 熵编码 表 残差表示的示例 对预测残差使用一种独特的单位增量可变长度编码 的熵编码技 术在保持高效高吞吐率的同时尽可能地简化硬件实现 残差值 二值制补 所需残差 技术将单个分量的 个样值编码成 个单元每个单 码表示 比特数 元包括前缀和后缀两部分前缀用一元码表示即若干个连 比特后面跟一个 比特内容是模式选择和预测模式的残差尺 寸后缀包括残差数据或 索引数据如果选用预测模式 量化的残差数据被表示为二进制补码的形式如表 所示每 个量化后残差样值都对应一个二进制补码和这个补码的尺寸 也就是编码这个残差所需要的比特数设量化后残差为 和 定义从残差值到所需的残差尺寸的映射为函数 为每个残差使用相同的比特数 和 被一起编码到一个单元它必须是大于或等于这个单元所 需的残差尺寸它等于 标注当前单元中相同分量的前一单元的残差为 和 则相同类型分量的前一单元所需的残差尺寸可用来预测当前残差的尺寸 如果选用 模式用一个特殊的逸出码 前缀标注 模式的使用在子流中传送 的是表示 个像素值的 个 比特的 索引而不是 码字 朱秀昌 等视频显示流压缩的技术与标准 子流复用 为了保证解码器能够在每时钟周期内解码 个样值 个分量在编码端采用了子流复用 技术 这里所谓的子流就是每个分量形成的压缩数据流如图 所示 将 个子流一起复用到数据包中每个包的尺寸是固定的 或 比特这取决于分量的比特深 度并且没有打包的头信息所以使用 没有降低编码效率包是按照最佳顺序来排列的也就是解 码器处理数据的顺序为完成复用操作编码器要有适当的缓存这里使用了 个小漏斗移位器每 个漏斗对应 个流复用后的数据经速率缓存后以固定速率输出 的编码性能 评判编码性能的好坏主要就是评价解码重 建图像的质量高低虽然最具权威的图像质量 评价是主观质量评价方法但这种主观评价方法 实施比较麻烦因而在研究和开发中最经常使 用的仍然是客观评价方法例如最常用的 图 子流复用示意图 指标 表示失真用峰值信噪比 度量 表示码率即比特 度量尽管存在 很高但主观图像质量并 不好的情况但毕竟不常见大部分的情况下 值和主观评价的结果还比较一致尤其是高分辨 率图像更是如此 选择一系列内容复杂的 比特精度 彩色格式的屏幕视频对 年发布 的 编码系统进行测试在最低每像素 比特时可获得 视觉无损的压缩质量对于 格式则可低至 比特像 素充分表明了 算法的优越性能图 给出了 和高效 视频编码的屏幕内容编码 的 曲线一例视频序列为 帧 测试的是 分量在无损编码的情况下 的压缩率差不多是 的 倍在近似无损的情况 下 的压缩率比 更高 技术的优势 图 和 编码性能示例 在于实现由于较少的连接线和较小的帧缓存降低了系统成本 和功率消耗减少了电磁干扰增强了元件的互操作性可 以在现存的带有较高分辨率显示的物理层实现缩减传输带宽 倍以上便于电子制造商开发各类高效的超高清 显示链路传输产品 相关技术和标准 技术和屏幕内容紧密相关对屏幕内容数据压缩的研究工作最具代表性的成果是 年 推出的混合扫描内容 标准 和 的 标准 这一时期的研究大多采用静止图像编码或传统视频编码的方法来处理屏幕内容的压缩往往得不到理 想的效果 目前和相关的标准和技术已有不少例如在静止图像编码方面从早先的到 现在的 在视频编码方面从 的纯帧内编码 到 等它们共同的目标就是实现屏幕视频的视觉无损编码 数据采集与处理 联合静止图像专家组的无损压缩标准 是 在 之后制定的一种静止图像无损压缩标准包括核心部分和扩展部分分别发 布于 年和 年它的主要特点是复杂度低无损压缩倍数在 之间重建图像质量好适合 于高分辨率图像的压缩且易于硬件实现的核心算法是一种低复杂度图像无损压缩方法主 要包括游程编码和基于预测的熵编码编码过程中原始图像的像素点依次输入编码器 利用 前面已经出现过的当前像素的近邻像素作为上下文编码器根据上下文计算当前编码像素点的局部梯 度并以此来选择编码模式如果局部梯度显示当前像素处于平坦区域进入游程编码模式否则进入 常规预测编码模式 是和 比较类似的技术但缺少对速率控制吞吐量有限因此其应用 受到很大的限制 的 是 的纯帧内 编码模式它对每一帧按帧内模式独立编码在一帧 内又按条进行独立编码编码的基本方法为分块预测对大多数自然内容能够提供比更低 码率的视觉无损编码但是对于某些包含图形文字等的屏幕内容它的效率并不高在实现方面 比 复杂得多再者 的吞吐量受限于熵编码和解码不容易实现固定速率的输出 和 的 于 年 月正式发布了包含 工具的 国际标准 即 作为 的扩展共享了编码结构 以 为基本编码单 位 总共包含了 项屏幕编码工具包括 的变换跳过 项 增加的残差旋转 差分脉冲编码调制 残差差分脉冲编码调制 和交叉分量预测 项 在继承前面 项编码工具的基础上新引入了 项性能优 良的 工具可以做到对屏幕内容的视觉无损或数学无损压缩它们是帧内块拷贝 的新帧内预测方式采用整像素运动补偿的自适应运动矢量精度 方式减少彩色分量之间的相关性 自适应彩色转换 对只含很少彩色值内容的调色板模式 和 相比较 的编码效 率比较高但复杂度大大高于 对于实时嵌入式低成本和低功耗等应用场合并不合适 其他 除了 和 以外可以用于屏幕图像无损编码的还有 和 等 尽管在较低比特率时对自然内容压缩的效果较好但是对 于显示流压缩之类应用的性能不如 好而且硬件实现的代价也非常高电影与电视工程师协会 的 的 版主要的应用目标 为超高清电视 但不管它使用哪种小波对于某些类型的内 容时常会出现失真而且吞吐量也受限于熵编码 和 的 模式等 也有类似的问题除了显著高的成本外其性能并不如意经过多方的分析和比较在上述的这些标准 中 的视频链路压缩技术具有明显优势 应用与展望 的开发和应用 标准的制定和发布鼓励了工业界在显示链路编码的系统实现和开发应用方面进行了更多的 朱秀昌 等视频显示流压缩的技术与标准 投入 目前 的应用场合主要集中在嵌入式产品移动产品 和桌面产品中的显示部分例如移 动和桌面设备的显示连接 头盔中多路实时采集视频的显示汽车内高清视频源和摄像机采集 视频的多路传送 视频接口专用的 视频的传送处理 视频的多媒体片上 系统 中集成的 模块等由于 的开放和硬件友好设计目前在市场上已经有一些 的硬件解决方案 例如 公司的双 系统原型 等 年 月高清多媒体接口 组织宣布在 视频接口中采用 对高达 的视频进行压缩 技术和标准的发展 在 编码工具方面多种高性能的编码方法正在研究之中主要集中在图像的区域划分编码速

本文链接:http://theferrari348.com/zhengnayasuo/528.html