我要投搞

标签云

收藏小站

爱尚经典语录、名言、句子、散文、日志、唯美图片

当前位置:2019跑狗图高清彩图 > 帧内压缩 >

H264帧内预测算法优化策略研究pdf

归档日期:08-18       文本归类:帧内压缩      文章编辑:爱尚语录

  1.本站不保证该用户上传的文档完整性,不预览、不比对内容而直接下载产生的反悔问题本站不予受理。

  西安电子科技大学 硕士学位论文 H.264帧内预测算法优化策略研究 姓名:许楠 申请学位级别:硕士 专业:交通信息工程及控制 指导教师:王伟 20080101 缡鬟 作为新一代的视频编码标凇,H。躺4暇收了视频图像压缩领域最先避的研僦麟 瀑酾缡璐算法,能够驻著键黼糍麟瓣粼编效率。挂.2“采用率失真饶佬歉零,辩粼 册每个宏块选择最优的编码模式和参港帧,使得其计算复杂度远远高于熟他枫猁 缔礴标溱:与MPEG4的简单配截梢阮,熊编码复杂度增加了lo倍之多。为Y瀚 燃嶷时褪矮透稼的需求,必须对聪撼躐鼹辫法避褥谯倦,以提高其缭璐娥辫。 赣蠢颈溅壤礓是薄除空域戴衾懿囊癸乎段,兖分裂蘑了灏像馥空鲻髓获憨袋 溃臻攀赣霆豢蠢酶嚣塞,蕊箕怒程燮戳警逛蕊莲壤,囊嚣鲮露羲爨霹醛黻褥镬黪 熬散象,麦夫鬟毫了蓬缓壤弱蕊羧警。冬蘧霹瓣,蠢蓉菸辏露霞蘩羹滚麓褥缀璐 嚣翡溪’葬复杂囊蒺蘩鬟襄。凳了醛蕊酸疮鞭鬻壤羁魏谤雾蔓蠡褒,零交爨潦了一 静激送豹快速颡蠹颈溅模式选撵黪洼。彩辨典黧视频痔捌懿实验表躜,糍蜂徽僚 嫌比和码率损失很小酌情况下,该豁法熊鞯在编码对阔上获襻稳定盼健黼增黼。 麓键词:糕.2甜,AVc糠肉预测乎璇箭翻滤缘稀度 Abstll蘸cl _‰也e abso南s£h尊獭。瓣 new妫£螯me斌io建《’讲商瓣∞镬n肇敷雒出碡。264 adv黼ced ill“deo doma_in, theorypmductionSa螅d∞din嚣m90“thms∞wamy8coding iⅡlpro”the wbi池ca玎sigIlificantlyVid∞compressionef珏ci∞cy.H.264adop协RDO 承越epi绺东醴印娃喇蕊鞴》喇豳魏勰谂s薅BGt妇b器£∞d溺g擞o&矧辩煮黼毂co 蠹蕈畦n姆纽e∞ll m瓣曲lock.By粼sw魏y堍e#o栩puatio狂Alcompl喇移of辩。2鳓is 瓢l蕊艇曲ef£h黼。钰lcf 瓣溆i据∞莓转g飒暇晦i磐豫媾臁舔藤l§蕻趣嚣癜妻拳罄毛聚刊繇协稻尊啦攮e 嚣罨谢勰翱艘l挺。_f擞l·斑豫;《莲eo燃靛撩l瓣蛀e嚣蠖蛰毽艇罅cc霞攀托胬主。l醛e耄酶矗氧嚣簿辩套晕 optimized毫。面p黼Ve氇e∞di癸ge嫩ci尊l糙y. As m旗滞s矗nu∞ a秘妇嗡ry瑚髓虹’dto糟moV粤辨ace喇蝴—黼巧,佃ha辫cdiction 醛警aee∞积鑫畦强遗鼹螽搬移牺麟蛐掇霉捌蚴ey纽e鑫瘫f甄黼魏删《y 漉椭esm00tll areas,协仃a per触mallc#粕d c量l黼舀ng predicti蝴acllieves麟ccll锄t me thes姗e intra impmVescodinge硒cieIlcy掣eany.Attime,11ighly肆fjcicient 8蒜毒0ci娥尊d ㈣d豫{Io靶d聪∞∞mplexi童ywi穗in镌p酬c缘磁modo辜e淞菇蝴k瓣 mo瓤selcction 翻p黼Vod缸t 蠡融镪{翻V韬辨se簪翱e锚爨ow攮蜒,粕鑫盘e疆od嚣疑芏l譬睫g托由lep蜘鞠∞ 蓉鼓鼗辆鞠蒯i菲g斑黪鞫i氇嚣筵酶§黼£磷鹣掇t黼db廷强瓤 lnl黼p酬ict自嘲SnbBlockd拇isi匐啦 l娜蝌ords:珏。2尉撩Vc 嚣d鬈eSt脚n群h 创新性声明 本人声明所璺燮的论文是我个入在导师措导下进行的研究工作及取得的研究 成果。尽我所知,除了文中特别加以标注和致谢中所罗列的内容以外,论文中不 包含其他入已经发袋或撰写过煎研究成果;搬不包含为获得遥安电子科技大学或 其它教骞税构静学稼或证书蔼傻鬻过的奉辩。与我一同王律静同志霹零磺究所骰 的任何贡献均已在义中作了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处,本人承搬~切相关责任。 本人攘名:辑 关予论文使震授权的说饔 本人竞全了鳃巍安电子科技大学有关保黧_耜使焉学霞论文豹援定,鞠:骚究 生在梭竣读学位潮阎论文工作豹知识产权单僚属西安电予秘技大学。零入傈证毕 业离校后,发表论文或使用论义工作成果时署名单位仍然为西安电子科技大学。 学校旃权保留送交论文的复印件,允许查阅和借阅论文;掌校可以公稚论文的全 部或灞分内容,霹滚悫诲采溪影箨、缩露或葵它复潮手段绦存论文。(绦密戆论文 在解密后遵守此规定) 本学位论文属于保密,在 年解密后适用本授权书。 本人然名:辑 导烬签名:韭 只期: 蔓二兰堕堡 j 第一章绪论 1.1引言 获上毽纪80冬我蒡鲶,蘩溺是送入粥零代,嫠夔饕第三次疆技蓼愈豹兴莛, 信息技术和互联网技术得到了飞速的发展,人类迈入了数字信息的时代。人们使 用声酱、图形和图像作为新的倍息载体,使计算机的应用熙加广泛,从而产生了 多媒体技术。 多媒体技术鼹指计算机综合处理多释媒体信怠,包纭文本、图形、豳像和声 音以及影视动画镣,并且在各种媒体间按照某种方式建立逻辑连接,熊成为具有 交互能力的系统的~种技术【l】。 凌多媒薛鼓术孛,塑像绩感骞羞其它簇爨无法式替豹终嗣。在丑露玺活孛, 人类感知信息的70%~80%是从视觉中获得的,而昕觉等熟它感觉获得的信息量只 占不剿20%。由于视觉信息的这种特点,视频技术得到了较快的发展。与此同时, 数字纯瓣视频带采戆数摇量是嚣常掠人豹,这对数撂豹传簸努宽积存旗容量提出 了严峻的挑战。举例来说:一幅中等分辨率的彩色视频,其传送速率约为22lMB,s; 而一幅数字电视图像的每帧数据量为253KB,每秒的数据量(以30帧/秒计)253× 显露荔觅,蘩藏大蹩静数据不经过一定的楚壤,缀难应震予实际静奎灞孛。 随着信息理论的不断发展,出现了很多新技术,对倦息的处理能力得到了很 大的提升。在现代信息技术中,对于大量的数据通常采用压缩的方法,以较少的 数熬基表达这些绥慧,宅是翳决上述阉嚣一今有效魏方法。嚣瑟,稷频豹压缩技 术成为多媒体视额技术研究的一个重要课题,弓l起人们的广泛关注。 1.2腰缩编码的发展历史 PCM,DPCMl。 1948年,霉农◇,塞.S虹鞠黼》雀萁经典谂文《遵售熬数学藤理》泣Ma魄罐l出ieal 1№oryof 符号(数字、字母成单词)的出现概率或者说不确定性有关121。1959年,蒋农进一步 确立了率失真理谂,歇丽奠定了信源编码的疆论基础。 1952年,霍夫爱给出最优燹长码的{穹造方法。同年,爱尔实验室的爨利弗滔. 2 坚:!竺堕塑塑型篁鲨垡垡墼坚塑茎 线性羲溺赣豹最往蓣灏系数,确立了滠佳线年代,科学家们开始探索比预测编码效率更高的编码方法。1968 羁。瑟惹,提继氆瑗了沃尔货.跨达玛fwll蠡珏越黼a砖)交换、籍变换、K.0变换、 了当今视频标准变换编码的基础。 从20世纪80年代中螽裁开始,科学家们舞始探讨基于模型的编码,势在包 括入验图像的编码等寝溺中使霭。1988年是图像魇缩编码豹敷矮历史串极为重要 的一年。几十年研究成果集中表现在确定了H.261p】和_『PEG两个建议的原理框架。 为之后相继提出的MPEG-l、MPEG,2、H.263【5J等标准奠定了纂础。 1.3视频压缩编码方法 视频的冗余主要集中在时域和空域上,同时还存在有信息熵冗余(也称编码冗 余,、结{奄强余、知识残余彝援甏冗余等嘲。视频编疆主要基懿楚在傈涯~意羲稳 质量的裁掇下,{:i尽可能少的比特数来表征视频信息。整个觌疆过程的核心思想 是去相关,即降低视频信息的冗余魔,实现对视频的压缩。 视频服缎编码是以褥农信息论为基础的。一般丽言,信源编码的方法按照压 缩数蕹麓甭狡准确恢复分为两大类:无损压缩稻蠢损歪臻。冀巾,无损基缭摄可 以无失真的恢复原始数据,但是压缩效率十分有限。在实际成用中通常都照将二 者结合使用,视频压缩编码也不例外。 视频溅缀主要夔缡鹚方法有数下死耱: 1.预测编码 预测编码方法是较为实用且被广泛采用的~种压缩编码方法,其理论繁础主 要是现代统计学和控制谂。原理是从穗邻像素之耀的相关性特点考虑,不楚对一 个像素壹接编码,丽蔻鞠同一帧(赖肉预测编码)域鞠邻赎(顿闻预测编码)孛秘像素 值来进行预测,然后对预测残差进行爨化、编码、传输。预测编码实际是利用了 视频信息的时空域冗余。预测编码一般可分为线性预测和非线。统计编鹃 数据聪缩技术的理论基础是信息论。根据香农信息论原理,数据压缩的理论 极限是信息熵,如果要求在编码过程中不丢失信息最,则要求保存信息熵。这种 信息保持的编码就是麓缡玛。宅是建立在夔枧过程黥统计特性潺磷上懿。瓣像壤 码中应硝鼹广的有基于概率分布特畿豹哈夫曼编码(Hu薅nallCoding)和算术编码, 以及基于相关性的游程编码等三类。 釜二塑熊黢 § 3,交换壤羁 变换壤褥逶窜是饕空壤囊美戆豫豪杰获瓣瓣冀一令矢垂空羹,藿霉委豫母缓 爱交键翡蠹客茨毙量集中在蕞簸区域,蠢蕊橡瓣逑缘,缨节鹣绞理等壤蔫蘸努纂 中程嶷换域静高频区,然蓐对这些变换悉散避抒潼纯、编码处理。K-L变挟是稳方 谈濑下的最佳正交变换,但实现困难。强鲻像糯邻像素闯的相关系数接近l时, K。b嶷换的基函数接近DcT变换的熬嘲数。黼鼠DcT存在快速算法171【叭,易于硬 件擞观,因此被广泛应用于多种图像视频鳊i玛圆际标准中。 燮换编码除了采用正交变换编码外,磁衡予带编码和小波编码。子带编码鼹 将嗣像分裂成几个不同频段韵子带(sub枇d),对不同豹子带设计不同的编码参 数,掇黼强像质量嘲。夸渡变换编码充分匏戮蒯了曩、波分辑在嚣域帮频域同时累肖 鼹辩靛辩帮稳耨薤,与天黎撬觉褥蝗赣祷鹣多分辫率戆为,分舞系鼗势毒平稳, 鑫然分缎懿金字臻蓑羲黎囊鬟等霪熹;在淫隳矮臻镢壤零;莛广嚣夔关£擎嘏。 主述疆溅编羁、凌嚣缓霹、交蕞蕊翳拣缀台蜀形残混合壤遥,莛羹蘸酝隧舔 鬣剿辩疑.2繇系列视菝标灌酶薹磙。遮髓缡璃方法黎是簌照褫颠匿豫露寄鹣静熬 蠛褥聪缩的。伴随着感知生理和心理学熊发燧,人们越来越清楚地认识到:人的 视僦撼知特点和统计意义上的信息分布不~皴。统计上需要更多的信息量才能濑 铽的特征。对视觉感觉可能并不重嚣。从撼知角度而言,无需详细表征这部分特 械,邀时压缩技术的研究就突破了传统信息谂的框架。 黼辫数学理论,如小波变换、分影几何蝶论、数学形态学等以及模式识别、 人工麟稳、生理心理学等学科豹发展,嬲娥驰、新型豹匿维编码方法相继产生, 秘势形缀鹈、薹予模墨熬编羁、基予霹象豹缡褥等fll】,本文不雾一一奔缨。 毒鼗享褫藏蕊鹩拣准藩奔 谶年来,蘩字裰凝接寒被广泛盛懑予懑侮、诗算税、广撵毫嚣等领壤,繁慕 了会议电褫、可视电话及数字电襁、媒体襻锵等~系列应用,键进了一系酬视频 犏粥标准的产生和发展。 广播电视、因特网或无线网上的流媒体等。髓个组织也共同制定了一些标准,期 秘。262栎猿莓霹子瓣EG.2豹税凝编鼹拇壤,磷羧毅躲H,翁4标准委ll蔹缝久磁pEG.毒 豹麓{§部分。下垂本文莲篱要穷绥上瑟瓣弼懿A辩藩藤覆羲凌羁嚣蘩; 4 H264帧内预测算法优化策略研究 1.4.1H.26x系列标准 H.26l是最早出现的视频编码建议,它是由H.U-T开发,鞘的是规范IsDN网 上的视频会议和可视电线年通过,其全称为“P×64Kbit,s视听业 输线路鹣鬻宽调整图像凄量。该建议采用漉合编溺方法,匿缭玩可达《8:l,它的 原理框架成为了之后H.26x系列标准的基础。 1995年,ITU—T总结了当时国麟上视频图像编码的最新进展,针对低速视频 黄输静寝惩场景刳定了辍。263蠡准。瓣.263建议豹蹩糕薅搴嚣缘覆续标准,※震嚣 是运动补偿的DPcM混合编码。它在技术上是对H,26l的改谶和扩充,支持码率 像素精度瓣运动估计、无限运动矢爨、基于语法黔算术编玛、巍级预测模式靼P、 B顿编羁等,它不莰着限于利用PS舱{《公共开关电话网络)转输,两且兼颞移动通 信等无线业务。 矮戆建议,零入了珏。26l浚寿静s毽和Qc疆、Qe攥、c强、4c璜豢至16c瑾等穰式, 从而拓宽了应用的领域。 篷豹一顼海援频编码据准。该标准载楚珏u.T我薹差。2雒,又是lSⅨ疆c豹M嚣P£融 鳃第10部分。它克服了H.263和MPEG.4的缺点,在混合编码的框架下号入了新 的编码方式,提高了编码效率,比前面的视频编码标准要提高l倍以上,并且采 用了许多娥新的技术,般够应用于复杂的网络环境下,因此得到了越来越多的应 嗣,其奢必疆豹蘸景,袋隽褫频鬏城磅究豹热煮乏一【强。 1.4.2 MPEG系列标准 沿EG(汹ving豫妞_;e至xpe啦酾攀,麓豁凇E固,鼙运动图像专家缀,是 IsO(国际标准化组织)予1988年成立的专责制定有关运动压缩编码标准的工作组, 所制定的标准是国际通用标准,叫MPEG标准。该标准主要由视频、音频和系统 MP嚣G.1镪定于1993年,是锌辩i.5Mb筇速率的数字存麓筠l体运动图像及其 伴音编码的国际标准。宦是MPEG的小画面模式,每秒30帧的播放速度,平均压 缩比为50:l,以及CD音质的伴眷。VCD采用的就是MPEG.1编码格式。 同制定的,全称为“运动图像及其伴齑的编码”,怒高质量图像的压缩标准。宦首 次引进档次和数别的概念,以利于增强互用性而不降低灵活性。MPEG.2是在 蔓二雯堑竣 』 MPEG,1基础上的进一步扩展和改进,主要钟对的是数字视频广播和窝清晰度电 褫。窀兼容了凇嚣G.1标准,已经在DvD存旗帮数字巷凝广撵方面褥翻了广泛酶 应用。 王∞暇3,只是瓣EG戆一今考毅篷缝菰准。 版的IsO最终草黧。它是一种新型的多媒体标准,与MPEG_l/2相比,它是一个 基于对象的视频编码匿缩标准,其定义的碣攀控铡目标就是获得给定弼率下的最 优质慧,为互联网t传输赢藤黧的多媒体鬣颡提侯了镶簿静技术平台。黼PEG4 属于~种高比特率有损压缩算法,其图像质擞始终无法和MPEG一2相比。因此, MPE04主要面向娱乐、欣赏方狮的市场。 瓣EG_4是窦联多媒傣逶臻懿国骣标港,隽抉速方便戆羧索蒂嚣,凇EG裁定 C0ntent Inter缸c),为各类多媒体信息提供一种标准化的描述,这种描 Des硎ption 述与内容本身有荚,允许快速肖效的查询用户感兴趣的资辩。 凇EG.7的酲标是支持多释音频和褫觉豹擒述,该标潦的第4敝已乎20∞年 发布。MPEG.7的多媒体内容描述功能对MPEG.1/2/4起到了性能提高和功能扩展 的作用。 溯嚣G.2l是菝瓣EG.7笼麓懿豹一释支持遴逑吴掏耀终秘设备瑟广泛建镬楚 多媒体资源的标嘏,其目标是建立一个开放的多媒体框架,用于多媒体递交和消 费。该框架能够使遍布全球的释种网络和设备上的数字资源被透明和广泛的使用 i14l。 1.5本文的主要研究内容 H.264优异的鹰缩性能和良好冉勺网络亲謦Ⅱ性,使得它在数字视频全颞代替模拟 裰额送行楚瑾窝佼羧静今天,纛数字毫褪广搔、实对疆频遴售、舞络筏蒙漉媒俸 传递以及多媒体短信等各个方丽发挥着重要作用。如何降低H.264实现的复杂度, 使得它可以有效地应用在实际的通信中,已经成为学术界酱遍关注的热点。 零论文以珏.2秘撬频编码豁准为磅究砖象,在深入磅突H.2秘算竣豹基础上, 通过分析H.264帧内编码过程的复杂度和目前主要的帧内预测策略,对H.264帻 内预测模式决策部分进行了优化,全文共分为四章。 缝论部分麓要介绍了视频聪缩编码的主要原理和方法,以及MPEGx和H.26x 系歹l数字视频压缩编码标准及蒺发展过程。 § 坚:!竺堕塑黧型篁垄垡垡薹照塑茎—— 第二鬻主要食绍了}1.264编码辍准中的编羁嚣结构、编玛过程、编码层巾鲢 关键技拳及其在毪裁蠢疆熬霞势。 第三鬻详细介绍了H.264的帧内编码模块和两种代价函数模型,之后针对其 中计算复杂度很高的帧内预测模式选择部分进行丁分析,最后介绍了四种熟型的 峻志羲溅算法。 第西章首先介绍了边缘检测豹原理和几种常觅的边缘检测算子,并在此基础 上研究了黼种基于边缘枪测技术的快速模式选择算法。之后对Jj舯cIlil唱waIlg的基 于区域边缘强度豹抉速椟蠹预测算法避行了改进,菸在Pc平台上进行了仿粪实 验。实骏络采衰弱,改滋霜嚣算法黥够在蜂值甓冁滋纛输出褥率损失穰夸鹩基疆 上,进一黪提升压缩编{玛的速度。 最后怒全文的总结与展望。总结了本论文的全部工作,并摄出了进一拶研究 需要解决鹣鲻遂。 星三里坚:!丝塑墅翅塑堑壅 2 第二章弑。2氍视频编码标准 2.1H.264视频标准概述 联uo援频缓弼专家组◇C嚣妫帮珞搿强弼运动图像专豢夔(灌E固在2∞1年 成立了联合视频小组(ⅣT),目的是研究开发融~种新的、谢向实际应用(视频电线的高质量、低比特率的视频标准。2001年7月,MPEG认为新的编码 方式较之现有的瓣Ee“标礁商很太优势,宥必要吸收最掰成果完善黼EG_4。 秀魏联合视频夸缀(ⅣD开震7砖薹王.26L研究,镥《定密基予嵩税频分辨察的标准, 旨在改善图像质鬣,并能够覆旅所有低带宽和高带宽的应用。2003年3月正式发 布,新标准的名称为姗.TH.264或lso/瑾CMPEG一10砖,C(或1449昏lOAVc)。 壬王-2繇是在疆U曩增强鍪多媒体逮缤标疆薹.26王,基秘土壤密静魏够为狂轻。弱 IsO/】溅c共同使用的新一代视频编码标准,并且和MPEG系列标准形成技术体系 ll 51。 2.2 H.2静裰频标准与叛往标准麓努阉 H.264是在I爪J.T和Is0/碱C等组织先静制定的编码标准的基础上提出的,从 技术上讲它延续了零期标准的结构,其整体挺架与H263的编解码框架是十分相 秘懿,它餐懿稳酝蠡主要表褒纛浚下死令方鬻”4J: ■将每一副图像厕面划分为像素块,对以块为单位的图像画面进行处瑗。 _利用单帧图像中存在的空间冗余,对一些原始的块进彳予变换、量化和熵编码(或 器变长编码)。 -利用连续画藤简存在的晴闯襁关佳,只需甜连续画瑟寄变讫的部分进行编码。 遮可以通过运幼估计和运动补偿实现。对于任何块,将先搜索先前一帧或多帧 颟西的运动矢爨,然后编码嚣和解码器对焚进行块预测。 -秘雳顿闻存在鹃任谤空闼甏余对残餐块逡行编码。 -H.264对于交换后的系数矩阵的扫描方式基本与先前的标准相同,都是根据变 换后的矩阵高频系数比较接近于零,主要参数集中在低频的特点,采用了“之” 譬型扫接。这憋程{疆挂绩褥牲.264更热容易透厅开发秘挺震,嚣露又其有镘努 的兼容性和可移植性。 在同等的图像质量条件下,H.264的数据压缩率比当前DVD系统中使用的 传输邋程中所需要黪带宽更多。与其它标壤确眈,它的不阉之处f霞点)弼下: -增强的预测方式:包括基于不同大小块的运动补偿、四分之一像索的运动估 g 坚:!竺堕生鹚型壁鲨垡垡墼堕堕塞 计、边界外推的运动矢量、多参考帧、显示次序的倒置、权重预测、增强的 “始p隧”窝“d{f∞£”运动携灏、谈内编鹚豹空域方自颈测、回环去浚滤渡 器等。 一增强的编码效率:包括4×4的憋数变换和基于内容的熵编码(上下文自适应的 二遴麓算术编码G檑AC、上≯义叁逶应豹麓变长编玛eAv£Q。 一数据的强鲁棒性。生要特性有参数集结构、灵活的片大小、灵活的宏块顺序和 任意的片排序等。 ● 良好的网络适应经。主要特性脊网络抽象层毂攀元语法绪梅、冗余图像数据划 分帮Sp,sl鲮。 以上的优势使H.264成为许多威用的理想标准,例如实时视频通信、因特网 视频传输、视频流媒体服务、异构网上的多点通傣、压缩视频存储、视频数据库、 援频电线的分层结构 为了满足不同蹰终对于褪频编璐层鲍需求,炎耀在珏。2鲋,舒,C豹系统缘梅上 引入了全新的分层设计概念,将整个系统分为网络抽象鼷翻札,Ne咖呔 Abstracti蝴Layer)和视频编码层(vCL,Vide0Codir培Lay呻【17】。如图2.1所示, H264的鳍标就是设计一个简单的鼹络环境,使爝NAL接口将码流和包结构的传 输藩无缝连接,。弼终獭象层疆琏》蠡鼋设计采矮了友好豹两络赛两,笼够簿攀离效 地将视频编码层(vCL)应用于各类例络系统中。缀然H.2“标准并没有专门为每 一类特定视频业务制定所需的视频质量等级,但照网络抽象层的设计方案可预先 摄据各类耀终黉辕震璧,选择逶当懿援菝度量等缀避嚣对褪凝缓妈凄数据瑟}行控 制,为网络传输层提供了功能强大的底层接口。 幽2.1H.264盼分层结构 第二章H.2“视频绷硒标准 q 2。4}王.264视频标凇鹣档次帮级 2∞3年7月,当珏。2醛垂式戎秀嚣曝标壤港,宅只有三耪疆次咎∞磊10:墓本 Pro五le)。如圈 襁次(B8se“nePro蠡1e)、主要挡次(MaiflProfllc)凝扩展档次(Exte谢ed 2,2,备个档次针对于不同应用的算法集及技术限定。在2004年7月,针对广播级 别的臌用,提出了高级档次(HigllProfilc)。 扩展概架 图22H.264的三种档次结构关系及主要特征 1)基本档次 熬本拦次包含了最基本豹编码和网络藏镫控制算法,其中编码算法包括嫉内 缡璐,羧麓绫强,基于上下文熬交长编强《eAVt£)。翅终差错控毒l算法包摇:灵溪 瓣宏浚次旁(FMo)、任意冀颓彦《Aso)、廷余嚣曝S)等。该档次主要瑟囱实睡援鬏 通傧等交互式的应用,其内容基本都被蒸宅黧高级别的档次所包含。 孙主要档次 搬要档次针对更高编码效率的应用,如视频广播,对实时性要求不高。因此 该档次包含了基本档次的所有算法并具有额外的技术特征,但它并不支持FMO、 ASO投RS等网络差错控制技术,不支持雾个片组的划分,只支持对I、P、B片 的处理操作。 襁此档次内提出了自适应块划分尺寸变换(ABT)这一概念。此概念是针对帧问 编鼹的,其兰要思想是将对预测残差进行变换编码静块尺寸与蠲来进行运动补偿 熬块尺寸联系超囊。这弹藏尽可裁建剥臻皴大瓣售号长凌送行交换编码。毽是, 凌予笈杂菠熬藩困,送霉变换翁最大袭尺寸狻蔽麓在8x8渡下。 群熵编码部分,力更高效篷迸{亍编蕊,这攀馒雳了基于上下文静算术编鹃 lQ 墅:!墅塑盘黧垫簦鎏垡垡蒸堕堡窒 《e焱】强e》,捷演绫璐獒犍爨避一步糖麓。与e搿裟:摇逮菝,在袒露鬻像壤蛩下, 骧褥邀鬟蘩号襞蘧£臻矗e蒜会霞澈祷率躐多l秘{5魏。 3)扩震毯次 扩展攒次(在早期的H.264棘礁攀察巾也称为x挡次)在税频流媒体等成粥扬念 袅特瘸鸯瓣。宅包含了基本楼次瓣掰畿箨法集,势显支持B麓、麓较颡测黻激怒 脊散支持网络数据流传输的一些附加披术。8P和Sl片的使用可队方便地对碣流溉 杼切换,实现随机接入功能。而数攒分割可以提商恶劣网络条件下的错误饿艇熊 力。 圈2.2墓示了上述三种档次鹣必蒙,以及嚣个褥次蘼支癸瀚功能鬃。从潮巾霹 娃缀清楚鹣看鑫,基搴掇次是扩震撼次的一个子豢,翟莠不蹩塞要档次熬予熊。 ∞蠢缀罄次 。 奁簧麓魏臻26蕺舔℃蠢攫懿浚译疹,注意秀囊要囊孛在纂蓦缓纛矮戆褫凝壤 嚣主,楚遴豹番号是器霞兹4:2沁瓣巢襻穰式,蘩薅薅是4×垂De{交换,瀵溺予 通信应用罄夺画嚣编码,褪对予广播两巍娜效率不商,不能满足苛刻的专渡缎艨 惩环壤的鬃求。荛了邀一步籀骚薹薹。2躺巍遮~方露瓣应用,掰零嚣始赘警粼漱一 糍蒋的档次,统称为高缀档次,宅分为黼级档次(}臻),高级lo档次雠10p),黼级 的全部特性,还增加了很多新的特性【l肌。 2,5H,2树裰额标准的缡码过程 程箍遮琢2氍懿缡褥过程之裁,蓠舞奔绥褫频愿缩懿匿豫摄凌终橡。魏灏2+& 埝入戆撵簇枣囊蠹毒多鬟豫缀箍}鳓擒藏,每个镪费蜜洚多羲穆袋,每一颧簿浚 分瓷一片菇多冀,冀燕嚣_2醚稳鼗立编诵擎元,不菝赣于弱一辕串懿冀稳片。片 内包含整数个宏块f宏块跫一个16×t6豹亮度徉纛数组帮两个籀应的芭魔榉点数 缀,宏块怒运动话计积熵编鹦酾鏊搭攀露},片中熬宏块数量帮鹱是l,帮繇慧一 个塞决,穗可以是圈缘巾的掰鸯密淡,帮一蔽淘像溺一冀表豕。每梭謦像审镣片 所包含的窳块数目不是嗣定的【19l。 璺三童望:!竺塑墅翅堡堑堡 lI …一 F—en …一 序列中的帧l盹m1l F一2 I J 序列中的帧[三三二工二三三]二二三二[三三三口 帧中的片E三二E三三[三]三三]二三]卫 片中的宏块E三工三三[三I三圈 宏块中的块 图2,3 H.264视频图像层次结构 农基本搂次孛,冀只有两耪类型:l片和P冀。嚣魏,~犊已编码鹣漫豫可毙 包含I片和P片的混合。I片仅毹含帧内预测宏块,郎每个宏块都利用网一片内己 编码的像素进行预测。P片包含帧问预测宏块和帧内预测搬块,帧间预测宏块是指 利用参考帧列表中的图像进行预测豹宏块。 t厂、q』_=■1.『_=:]: q重捧——,{麓鬟I爵 ~~, ,L——一L——rJ 刊孙一。 卜 l矗。 £…——/ L } ‘蓍氐1-『蕊砷一o l厂i酊]. HF: 厂 一。噬E=a。一E=习。 囝2.4}l。264标准的蹦鹳嚣结构 褫频压缩中密映处理的主要步骤如图2.4,整个过程镪括两条数据流通道:一 条“前向”通道(从左至右),~条“重建”通道(从右到左)【17】。 1)翦向通邀 每个宏袭醣鞍内或顿闽的方式进行预溺编码,预溺宏琰f在图中誊拳波为P}都是 利用踅建帧中的采样点形成的。对于帧内模式,预测块鼹通过对当前片中己编码 12 坚:!塑堕塑避型墨笙垡些篓楚塑塑 像素进行预测得到的。对于帧间模式,预测向量怒对参考图像列表O或列袭l的 一板或多赣参考嚣像邋褥运动话诗箱运动李}偿霭弱豹。在图2,4审,参考圈像稻《。 表示。 从当前编码块中减去预测块可以得到残差块饥,见通过变换和量化产生一系 裂转换系数x,这些系数褥被重攘黪零l薅编码。麴强2.5瑟示,壤编码嚣酶系数纛 一些在解硒宏块中每个块时要求的边信息(预测模式,量化参数,运动向量储息等) 形成压缩码流,传输到网络提取层为视频传输或者存储做好准备。 图2。5编码完成后宏块语法结梅 2)黧建逶遒 在编码传输宏块中每个块的同时,编码器对它们进行解码(露建),为以厢的预 测提供参考。量化后的系数x经过艇量化(Q。’)和反变换(f。)产生残差块蛾。预 溺模块p麴主残差谚产生重建获艇《≤群表示浚鸯滤波≥。最嚣逶过去块滤波器潜 除解码时的块失真效应,得到重建帧《。 2.6H。2“视频编码层的新增特性 2.6.1帧间预测和编码 1)多种模式的运动补偿 与吸绽戆王王.2酩等援频缓码耩臻苓弱,霹手蹇褒落号,毯。2雒熬运魂蛰缮燕次 支持从16×16到4×4的七种块大小模式。每一个宏块的亮度信号(16×16)可以划 分为:8×4,4×8和4×4三种子模波。如图2.6灏示: 塑三星望:!竺塑墅熬婴堡堡 13 8x4 Sx卷 8x4 4x4 4x4 4x8 4x8 4x4 4x4 图2。6运动估计帮运动补偿孵的宏块划分 寡绫豹色度信蛩的分辨率燕亮度信号静l艨,每一个色发块静捌分方式与其对 应的巍度块相同,大小则是亮度块的一半。如8×16的亮度块对应4×8的色度块, 8×4的亮度块对威4×2的色度块等等。相应地,对色度储号进行运动补偿时,对 痤魏邀麓矢量篷痤溅拳。 2)参考图像捅值 帧问预测编码的每个宏块戚子块从参考帧中同样块大小的区域进行预测,两 个区域的偏差(鄂运貔矢量)可达到l,4豹像素精度《亮度块)躐是l鹅的像豢耪度(色 度块)。在参考筷巾,半像素位嚣楚的亮度和饿发采样点著举存在,辑黻需要通过 邻近样点的内插计算来求得‘2m。 一亮度信号捅值 农粳骛了毽麓鞫复杂疫螽,瓣亮度藩号采蠲懿下方式送行运动蛰簇; 口口匝口口 口口堕口口 冈冈 G b }薹 h lIl j 目目 MS N m圈 目 口口堕口口 口口匦口口 圈2.7亮度的半像素内插 14 望:!竺塑塑巡型簦鲨垡些墼堕竺茎 如图2。7,其中犬写字母表示参考亮度图像的整像素位置,小写字母则裘示参 考整豫鹣串豫素谴嚣。l趁像素豹德赉6除滤波嚣(1,.5,20,勰,-5,1)诗算褥弱; 1/4像素俄霹的亮度预测值则由整像素和半像素的线性插值得到。具体过程如下: 1/2像素值b和h,先得通过6阶滤波器分别计算中间值bl和hl: 船,… 磊=(一一5G+20G+20磊f一5五十乃 瓮三葛:荽:荔:淼二端 b和h的最后预测值再经过如下计算,并将结果限制在O到255。 森=仇+16)5:i爱:;暑兰; 式弦国” ’ s和m点的值由8l和mt得出,sI和ml的计算方法同b1和hl: 。。哆+j2:蔓、 装(2.3)q ’ 掰端(如+16)5) 在位霹j处的二分之一采样点通过下式得到: 磊=c譬一5‘搿+20连+28嚷一s韶+萝 式G4) 其中标为cc,dd,∞,fr的中阃值的计算方法与^类似。最后的预测值j的计 算是-,=(^+512)10,并限制其范围在O到255。 圈]珂 G b H e g 田]皿 }h J l【 m p r 回口回 同H目嬲 田H目眦 素 M S N 缘 园团圃雌 如图2.8,1,4豫豢点a,c,d,n,f’i,k,q通过相邻的两个整像豢和1,2 像素的线性插值得到: 口=《G+6+1)l e=£鼯+矗+1)l d=(G+屉+1)》1 n=(M+Jll+1)l 式(2—5) ,=(务+歹+1)l f=转+歹+1)l 七=(_,+,竹+1)1 g=(/+s+1)1 篓三萱旦:!坚塑塑笼里堡堡 15 l/4像素点e,g,p,f通过对角线像素值的线性撼值得到: #=◇+蟊÷1)淤l p=(矗+s+1)》l篙:搿并 式(2q’、 7 ,=(拼+s+1)凇1 ■色度信号稀值 包度信号在编码端不参与运动矢量的预测,因此编码端不需要对它进行补偿; 在解妫端进行运动补偿时,精确到l,8像素,各亚像素的假通过双线舞示: A B ◆……一1-.……………一● dy ; h申奇 I { { l s—dy { { l D c卜…土………~●D C 粼2.9色疫售号辐毽谤算 设A,B,c,D是色度信母在整像素位鬣的采样值,或和或分别液示分数像 素点与整像素点A点相距的1/8像素点数,则预测信号的补偿方法如式(2-7)所示: 式(2—7) 群=加狂,西《【薅一《≥·(s一童,)蠢+《t(s一矗,)嚣十@一《)·矗,e+或·蠢,D】,酗》 使用整像素、1/2像素和1/4像素精度的运动预测与过去的标准相比,性能显 著提高。主要原因是运动表达褥更精确,残麓信号更小;另一个原因楚预测滤波 嚣受为灵活。整像素,l忿豫寨、弘l像素耱澄预测表示了不同酌低逶滤波程度, 它由运动估计过糕自动选择。六阶滤波器既有效进行了预测环路的滤波,又能够 保存预测环路中的高频分量。 3)逡动矢量羲测 由于编码每一块的运动矢鬣要耗费大鬣码率,考虑剽相邻块之间的运动矢量 具是高度相关性,可以利用已编码的相邻块的运动矢量樽出块运动矢翳的预测量 MVp,再计算当魏运动矢量Mv与MvP的麓值MVD,~帧图像经过帧闽编玛后 只需佟输运动矢蘩残差和图像绶差,这样就胃大大减少磁攀。其俸预测方法如下: 如图2.10,设E为当前宏块或宏块分隧,A表示其灰邻宏块分区,B代表其 !§ 里:!竺堡塑霆型蔓堕垡垡篓墅堕筌 上方宏块分区,c代表其右上方宏块分区,如果E左边有多个宏块分区则选取其 最主瑟懿分嚣为A,鞠疲静,若嚣上方有多个宏涣分区,羽选取萁最左边豹分区 为B。 B e 瓿8 酝g I盒 嚣 16x16 翻2.10当前宏块姆相邻宏块(不嗣的宏块尺寸) 除16×8和8×16两种分区方式外,其余分区的运动矢量均用A,B,C分区 的运动矢爨的中间值预测。对16x8的子块,则上荫一个分区的预测运动矢量为B, 下瑟一令分速静羲溅运动矢量为A。对s×16宏块分区,冀庭逾一个分区豹运动 矢量为A,右边一个分隰的预测运动矢量为c。着该宏块为直接复制模式,戴预测 运动矢量岛16×16一致。 2。6。2整数DCT变换与量纯 H.264根据差值信母的种类采用三种DcT变换:对于16×16预测模式的宏块, 其所有亮艘直流系数DC形成了一个4×4的数缎,辩它进行DCT变换;对膀骞色 痘信号懿纛流系数组成的两个2x2数组进行DCT交换;对予宏块内的4×4子块 进行DCl-变换【17】,其特点为: 1)纯楚数变换(所蠢运算使用定点运算,不会产生精度误麓)。 签骥确定义了爱交换,在编鹨器露磐玛器审苓会产生误夔。 3)变换的核心部分不需要乘法,只需加法和移位运算。 式(2.8)为变换的过程,其中x为待变换的数据,E由于能在量化中抵消,所 鞋不需要计舅,实际诗雾的只是y。e,髓:这部分。 l=cfxc;秘EF 口2 2 一 d6/2 46,2 4 口6/2 62,4 口2 2 d2 始,2 艇矛㈠俨口6,2 驯纠拼办 4 曲,2 62,4 翌三至坚:!丝堡篓麴翌堡堡 !, 乞;砌z积(≮/◇印) 式(2·9) 茭审鬈楚上透交换压戆系数,Qs§肇楚爨豫步长,磊是量纯磊熬系数· 加1倍;QP每增加l,Qst印增加12.5。较宽的量化步长范围使得编码器可I冀精确 而跫活的兼顾比特率和质量。量化步长12.5%的变化也意味着比特率约12.5%的下 降。亮度和色度信号的QP值可以不同,二潸的参数范围都在m51。 2.6.3熵编码 视频编码处理的最后~步就是熵编码,谯H.264中采用了两种不同的熵编码 Bina彤 舞数缀鹚麸全痔囊窭发,采惩递燕形式遴续缓璐,箕篷续效率授裹,是分缝璐审 最羧邋熵编码酶编玛方法。a蹬Ac逶避以下三煮达到了穰毫翡压缩性魏: -邋j:奎元素的文本信息选择最合适的祓溅 一根据局部统计信息自适应地调整概率{蠢计 一=进制算数编码 图2。n熵编码运算模型 据,都使用统一变字长编码表。其优点是简单,缺点是单一的码表是从概率统计 分布模型得出的,没有考虑编码符号间的相荧性。在中高码率时效果不是很好, 在编码时还可以选择对残差数据进行撼于文本的自适应变长编码(CAVLC)。 CAvLC对剩余的4×4块的“之”字型扫描传输系数进行编码。cAvLC充分利用 了4×4块量化系数的以下一些特征f{7】f20】: 一 遴遗预测转换和量纯系数块逶常郝足稀疏豹(含大量翡O),CAvLc零j周游程码 辩长0事送行压缭; -遴遗“之”字型招摇懿毫薅静l}0系数逶露跫一个+l或.1豹彦列,cAv£c将 离频蓉数+t或一l的数量通过压缩作为倍譬发出; l§ : 型:!塑塑塑鎏型簦进垡些篓整堑茎 蠢耱邻袋之闻戆菲O系数懿数鬣麓攘关联静,系数豹数量爨逶过查找袭遴褥编 码,瓣查我表豹逡褥蔹簸予糖帮块中菲0系数戆数量; ■非O繇数个数豹数爨缀在藿撵序数缀豹开始(接近直流系数)的照方玩较离,在 高频部分比较低,CA、亿C充分剩用这一点,聚用依靠最邋编码的数量缀囱适 应选强交缀参数套羧表戆方法。 通过这种方法与传统的变长编码(、,LC)的结金将能更为充分利用倍源的备种 相关特性和人的视觉特性更好地压缩数据,降低所需的传码率。 2。6.4去块滤波器 , 去块滤波器(D曲l∞妣gFill哟是联.264编群秘嚣敕必选特性。圈2.12所涿为 宏块中嚣簧滤波戆透器,震要籀爨静蕊,对手整穰蓬豫夔透缘蚕使雳去浚滤波器 遴牙滤渡。 I l l 失 孚选缘 弋 亮度) 平边缘 ‘气 I\ 色度) 竖壹边缘 竖直边缘 (亮度) (包度) 整2.12滋块申的亮发耧色度这缘 该瓣殴器律溪予缡褥器或者辩褥嚣豹反交黎之曩,荬主要饯势蠢嚣个; 1)警游预测环黯巾静承乎耱疆盛坟边缘,攘黼编码图像鹣视觉效莱,特鄹建 对那些高压缩比的序列; 秘农编码端,滤渡过爱熬宏块穆搀爱续运凌羚嫠预测懿参考竣,骞剃予产生 爨小的残差。 H.264的去块滤波器同时又是选择性的,对于原本就存在较大变化的边缘不采 用滤波器,歇两保证了原始信息不受破坏。 ■边器强度爨决 髂失是否浆臻滤波器兹褥量标准之~,i鑫器强度越舞越要采焉滤波器。嚣,2醚会棂 黎透要强壤大枣帮量鬣参数寒“嚣荚”块秘滤波篓。量证参数遮太,块必囊逸麟 夏加显著,裁越应该毽翔去块滤波嚣。爱之就要“关捧”滤波嚣,保持琢始铸患 特征。 兰三兰旦:!竺塑塑塑曼堑堡 19 ■阈值策略 H.264还使用阈值策略对边界强度进行辅助。在量化过程中对采样点进行阈值 计算,低于阈值则重新选取采样点。通过将阈值判决结果和边界强度相结合来决 定是否使用滤波器。 2.7本章小结 本章对H.2“标准的发展和特点做了详细介绍。首先介绍H.264的发展以及 技术背景,其次介绍了其特点及优势,接着介绍了分层结构和H.2“标准的四种 主要档次和级,最后详细介绍了H.264的编码过程以及新增特性。 茎三凳基:!竺塑堕塑塑兰垡些整堕 21 第兰章嚣。264帧肉缡码与撬化策略 3.1引裔 撬颓绽玛豹嚣靛裁是最大戳瘦赘去狳或减少骧始视凝中转冗余萤惑,爱较少 的}E特数表示原始视频,苁而达到视频压缩的鳍的。H.264标准的顿内预测编码充 分利用了图像的空间相关性,使用相邻的已编码重建宏块中的像素进行预测,以 消除穆帧图像内的空域冗余。尤其是在变化警坦的区域,剽用帧内预测可以取得 缀好静效采,太大豹撵高匿缩缡鹳兹效率。 3.2帧内编码原理及主要应用 犊蠹编码熬嚣遴是羁用图像内部空阕上耀邻豫素之翔靛棱关性,采愆犊蠹预 测技术,最大程度的消除或减少空间冗余倍感。同时,对预测残差进行变换、量 化和熵编码,消除编码冗余。 缀然犊内编码生要用于I帧编码,但P帧秘B帧中的郏分宏块也嚣要采用帧 内编鹃方式。慧豹采说,顿内编码主要应瘸农潋下咒个方鬣; _I帧:协议规定I帧独立进彳亍编码而不依赖于其他图像帧,因此I帧必须采用 帧内编码方式; 一p犊窝B薮孛黪部分宏块:jc重予瑷毒藜褫菝编码标准(除了避暑G.4繁二零分), 输入图像首先往空间上进杼宏块级的分割,然后以宏块为基本单位i{}行编码。 对于P帧和B帧中的每一个宏块,都袋按照帧间编码和帧内编码两种方式进 褥编码,透过黎失真丞数计磐两种方式的编码代馈。对予菜一个宏块,如罴帧 内编码的代价小于顿闻编弼的代价,鄹该宏块采用赣肉编码方式。这种现象酶 主要原因是由于序列运动过于剧烈,导致参考帧中没有合适的参考块能够很好 的与待编码宏块匹配,从而使得帧间编码代价过高。另一方面,当待编码帧是 缓景切换蜃鹣嚣一穰霹,蠡l予失去了对闼上懿籀关瞧,嚣瑟爨警是p菝或B 帧,也需要采用帧内编码方式。 _麓错恢复:在解码端,为了对采用帧问方式进行编码的宏块进行解码,必须得 列当藏宏块参考块豹售惠。如集由于绩_i莛豹翅遂导致抟辕过程孛出现差错,在 解码端不能褥别参考块的信息或得到错误的信息时,溺翁宏块就不麓按照帧间 方式正确的进行解码,对于这种受错误影响的区域,可以采用帧内编码方式来 遴行差错恢复。在编码端,邂过信源算法钱缓冲区算法估计出待编粥宏块对应 的失真凄,戮确定该宏袋蔻秀采用牵蠡内编筠方式。这释差错恢复技零被称为辏 内更新,也是帧内编码的~个重要应用。 22 H.264帧内预测算法优化策略研究 3.3H.264帧内预测技术 当一个块或宏块采用帧内预测模式时,预测块的预测是建立在先前已编码并 重建(但米滤波)的同一帧内的相邻块撼础上的,之后用原始块减去预测块得到残差 块,编码模式和残差块编码后被进一步传输。与原先需要传递当前块的所露信息 狸魄,逮襻就麓减少辩要传赣熬强特数。显然,鞭测决与覆始浃越接近,羧差裁 越小,所需要传输的数据量越少,服缩效率就更商。为了提高压缩比,在H.264 中,对应予不同的块尺寸,提供了相应的帧内预测方法。其中,用于4×4毙度块 豹方法菇9耪,曩予16×16亮度块豹方法有4糖,惩于8×8色度袭兹方法寿4 种。 3.3.14×4亮度块的帧内预测 个子块使用左方和上方的已编码并羹建宏块(未滤波)的像素进行预测。如图3.1, 其中样点a-p是需要预测螅4×4亮度样点,它们的就是利用上方和左方已编码并 重建熬髯焘A澎来逶弦颓溺。 . M A B C D E F 0 H 8 l I b d 6 J f g h K J k I L p 阕3.1帧内预测样点位置及预测方向(4x4) 4×4巍度块的预测模式有9种,如图312。对予模式3至8,样点a.p的预测 量在A一醚攘权豹基爨上形成,鲷魏逡释模式3辩(浍左对角线方囊预藏),撵熹d、 g、j、m的值为:(D十2层+,+2),4。 Of--q锄 I忡r珊_日 z㈣ 】fm_d栅蛐) ●¨学■■忡m删 黔雹皿穿男酽 筘穿驴爹 图3.24×4亮度预测模式 第三覃H.264帧内缡{玛与优化策略 23 3。3.2 16×16亮度块的帧内预测 16×l{5亮度袋懿鞍内颈弱共存4秘颈溯穰茂,模式0;垂壹颈测;模式l:承 警预测;模式2:De预溅;模式3:乎舔预测(plane),采用一个线性平面函数寒 预测巍魔变化相对平缓的区域。如图3.3所承,其中V和H分别表示楣邻块已编 码骥建的像素。 橇式0(毒盲) 模式l(水平) 模式2(DC) 檀式3(H锄e) 酉3。3 16×16强壤l燹铡援式 以上翁滔耪模式,每一释模式聱跫霞麓上方秘左方豹豫素霹当蠢摹安疼豹像素 遴稃预溺,每种模式的具体预测方式如下: 模式O:垂直预测,使用块上方相邻块的像素H来预测各个像素对应列的像 索德。 模式1:水平预测,使用块左方相邻块的像素V来预测各个像素对应行的像 素假。 模式2:DC预测,使用块上方相邻块的像素H和左方相邻块的像素v的均值 作为巍lii『块中所有像素的预测值。 模式3:乎蔼预溺,剥孀一个线性平瑟溺数对上方和左方的像素进行外插后对 绽璐宏块瓣应赘像素进行预测。 3。3,3 8×8色度块的桢蠹预测 8×8色度块同样使用上方或者左方的融编弼重建的样点进行预测。它的4种 预测模式与16x16亮度块基本一致。需要淀意的是,它们对于预测模式的排序略 有不同。预测模式分为模式O:Dc预测;横式l:水平预测;模式2:垂直预测; 模式3:平面预测(Pl肌e)。 色度宏块包含U和v两个色度分量块,猩对8×8色度宏块进行帧内预测时, 弼者浆用相同的预测模式。 3。3.4颥测模式豹编码方法 在羧浚编滔孛,垂予薅每令4×4亮痰块熬鞭溯模式簧送至l解羁囊嚣要耗费大 蠢豹眈镑数。为此,珏.264稳躅穗邻4×幸块颥溯模式之闼的高度稆关往,稳当嚣 24 H.264帧内预测算法优化策略研究 块C的上方块A和左方块B的预测模式中较小的那个设定为当前块c的“最可能 模式设定为当前块C的MPM。相邻块位置关系如图3.4所示。 A B C 图3.4帧内预测的相邻块 在计算得到每个块的mM后,编码器为每个4×4块设置一个标志位 璐emost probablemode。如果当前块的标志位为O,则使用另一个参数 I∞dc selcctor,否则设置为 的MPM,则预测模式设置为remaitljng 91。 彻naj面ng-mod9.selecto什l【1 通过这样的方法,首先将最频繁出现的MPM用1个比特位表示,又将原来的 9种模式(4比特)通过这样的方法压缩为8个值(3比特),大大提高了压缩效率。 3.4H.264代价函数模型 H264标准支持两种代价函数模型:基于SAD的代价函数模型和基于率失真 Distonion 优化(RD0,Rate 数模型中,通过哈达码(Had锄ard)变换后的预测残差信息以及最优模式号信息近 似的代替率失真优化模型中的重构残差信息以及模式号与预测残差的编码信息, 进而估计模式编码代价;在RDO代价函数模型下,比特率R值被精确的计算出来, 从而使得其模式选择的准确度大大提高,但R值的计算复杂度很高。 3.4.1 SAD代价函数模型 sAD代价函数模型也被称作低复杂度模式,对于这种模式选择方法,其亮度 预测模式的代价函数的计算方法如下【21】: 作为偏移量加入编码过程,可以最小化编码完成后需要传送的鲥(r)D值。 4×4和111仃a 对于111仃a 16×16的模式选择计算而言,翻(丁)Dn值分别为: 式(3—1) h1仃a.4×4:剐(DDo=24A(Q) IIltra_16×16:副(即D0=0 式(3—2) 其中兄(Q。)是量化因子Q。的指数函数近似,计算公式为: 茎三要楚:!竺堕塑墅塑望垡垡垂堕 2§ 丑(Q)=五m。=O.85×2‘纬。2’o 式(3—3) 2.计算编码块残差,当前块的原始块与预测块闻的簸差值计算如下: D够(f,/)=l嘲n口,0,J)~Ph踅跚fDⅣ(f,,)式(3·4) 其中,蝴球fg,歹)表霹原始块对应像素值,A谢i喇D”表示预测块对应像 素值。 3.Had锄ard变换,虽然在最后传输前需要对所有编粥后数据进行黛换,但是 H’2“为了追求最佳效聚,在帧内模浅选择的计算过程中先对D汐(1,D进 行7一次二维珏霸瓣a撼交换褥弱娥i,露,之鬣褥蘩每令禳残戆最终缝 果蹦(DD: 1s埘(r)D=(∑JD汐@州)/2 式(3-5) 4. 翩(f)上k,对当前(宏)凌的每个预测模式重复第3步t选择其巾蒯囝值 最小的模式为当前(宏)块的最佳模式,并令该模式的期丁D值为期(D三k。 3。4。2蛐0代侩灏数模型 RDO代价函数模型‘22l【23l也被称为高复杂度模式。帧内模式选择的率失真优化 算法的基本原理怒:在可选的窳块类型中,遍历每种可用编码模式,计算出每种 模式下豹骧码}£特数帮撩应熬黧建国像失囊发,霉投撂公式: ‘,(s,c,燃盆织磊眦)=渤(菩,c,删lQ哆牛nn ‘、 ’ +^棚。×R(s,c,肘0胞fQP) 谤算拉掊鹈疆溺数擅.,即率失真开销,经过比较,选取代徐值最小豹绩码模式 律为宏块的最终编码模式。其中酝为宏块的鬃化参数,s,c分剐表示原始萄像和重 建图像的像素值,胄(5,c,朋优孵IQP)表示在特定肘D雅和QP下当前滋块的编码 输出比特数,酗泐仅岛埘D班I鲈)表示图像失真度,计算公式为: y’磊孵砸绷罗 蕊Dfs,c,劂∽=∑b阮尤一Ck J=f.y=1 8B 12妒】)2 +∑(屯[x,y卜£【J,y,^脚E ,=l。F$l £S +∑(s,fx,y卜c:蠢,y,JjI蟊,D£I:冽)2 “’州 式(3—7) ‰。为拉格朗只系数,朋D嬲为当前宏块W选的一种编码模式,对I帧而言, 熨躐撼秘爻琢扛a4×4,b}穗16x6或酗缎S×s。毙终,在板内懿三耱宏块类 型的内部,也有多种预测模式需螫使用RDO代价函数进行选择,其计算公式如下: 26 H.264帧内预测辩法忧他臻晦研究 … 1’____。。____。_’,。。__。1。。。。_。__。。。。。_。。。-。-____。’。。’。。。’。。。。。’。。。’。。’。一 11’““。一 搀,£,麟掰{织‰£》。渤∽嬲∞;竣凌移撼 ÷屯&鲢×娥爵岛嚣{国雾l弱 1 。 箕枣麝£貔垮表暴霹选豹多耱搂液预溺模式,瓢淡s,岛露嬲l鳞表豕失真, 尉s,如强雠l汐)表黎缡鹃输出敞姆激,魁牾蟥内颈测摸式耧亮度系羲矮嚣£E褥 数供髓建扭院c熵编瓣{}算。 3.4.3帧内模式决策过程及复杂度分析 帧随模式的决策避程实际上就摄计瓣豚辫鞭测模式的编码开销的过程,焉谂 最能越SA蚤健徐函数还莛薤弱渤代徐灞数葵浚程丈俸一致,鞍内模式瓣浃麓 过程如下: l。燕娄§#宏块魏毒×4子块生壤一耱{燹潮磐惫豹该溆块; 2。诗葵鬃戆予袭黎覆溪予袭熬缀黠蘧溪蓑熊S矗毯凌登辩下戆袭癸鏊≥l 3。谤薄弱sk《=蕊£譬÷龌礤;漆,姿蠹凇黼露,襄等予壤荬链摸式舞l; 4+瓣4×4亮度坟赫所寿9辩模式璧篾l~3疹,并选择鼹秘函数蓬装,j、静模 式; 5.为咨酶宏块生袋一释预测方式对碰静l#×16预灏坟; 6,对残差块的每一个4×4子坟做Had洲ard变换; t对16个4×4予块中的直流分媾做H诎黼ard变换; 8。爨餐5—7步。谤雾葵余3耱方藏豹钱髂藤数毽,选努最零熬枝徐溪散蕊 C魄‘。∥并激泵对应豹预溯方_戏; 捅 9,捻蠢纂4步霉繁8步懿援贽滋数麓,辩巢国蹶。。≥∑翻s毛嘲+2鞭螺≯, ≈ 逡鼗毒×毒亮囊臻嚣蒺式箨舞姿藩滚涣熬鞭瓣模式,袭爨遥褒16x{6亮度 鞭铡模式; lO,麓复以上l毋疹,计算8×S鼓庭块懿每~静羧溅模式黥率失真舞镑≤两个 传发宏蛱使溪襁疑夔攘式),逡择礅小的搴失真开镜对瘫豹亮度窝彀澄预 测模式组合为当前宏块的撼憋预测横斌。由上述步骤可见一个宏块内的模 斌组合数为:M8×(M4×16十M16)。 热巾M卿、M8硝、M16=4分别代滋狲托矬4×4,嫩垃a8×8襄如缸售16×16 的憾随颈测搂式个数,璃霓在强《8.6中完成~个滚涣豹预测鬟黉遂行592次代价 函数计黧。 第三窜H.264帧内编码与优化策略 27 3。5H.264帧内预测算法的优化策略 3.5.1基于子块分组的帧内预测算法 蛟蠹羧溺都是镬瘸璺毒摹块上方联左方魏豫素jc圣当兹块内貔像素进行预测,该算法 Block 提缸使用sBG(subGfoup)来进行帧内预测。其主要滕想是使用编码块右方和 下方的像素来对当前编码块内部的像素进行预测,以获得更高的预测精度。为了 解决薹{,264中I帧的鞭测顺序从爱到右,从上列下)带来的无法使用下方和右方的 像素避行预溺的阏戆。困筵,农文孛提出了予浃分缓静穰念。如图3.5,将待颈灏 的图像块分成4个相同大小的予块,并以特定的顺序进行预测。 子块4 子块3 ABeDj K L M 予块2 子块1 N OP R Q ∞予块预测顺序 (b)预测及参考像素分布 图3,5予块的颈测顺序和参考像素示意蹦 该算法首先傻胡子袭3上方和子涣2纛方静像素按照凝帧内预溺嚣法预测子 块l中的像素。由于已经得到了子块l内的像素值,就可以使用子块1和子块2 左方的像素作为参考像素来预测子块2中的像素,按照图3.5b)中像素分布,以水 平方翔为铡,使瘸式f3域羲嚣予块2孛弱像素: 4=矗攀c=d=(露十菇+1)l; j=,∞七=Z=(G+M+1)l:;三£篙兰嚣嚣舞; 式(3.∞、 7 跏=释拦o=尹=秘了+撑+蛩l; 对于子块3中的像素可以使用其上方的像素和子块l米预测,即图3.5(b)中的 A,B,C,D和O,P,Q,R。以垂直方向为例,使用式(3—10)预测: 4=群=f=撬=4十0+1)l; c=g=七=D=(C+Q+1)l;墨笔嚣篇萎 船聊“ 。 d篇^=,=p=(D十胄+1)1; 瓣于子浃4,港子子琰l、孑块2帮予袋3及子块4象方黪像素都怒已经编码 并熏建的,因此其周围的参考像豢全部可用。以对角线右方向预测为例,吐I式(3.n) 29

本文链接:http://theferrari348.com/zhengnayasuo/529.html