PG电子官方网站火山引擎BVE图片硬件编码器演进之途

 常见问题     |      2023-05-04 18:40:30    |      小编

  PG电子官方网站今天,第 17 届天下编码器大赛 MSU 2022 告示硬件编码器竞争结果,正在 60 fps(帧率)的超疾视频编码赛道上,火山引擎多媒体实践室自帮研发的 BVE 1.1 编码器出现超过,荣获出色 FPGA 编码器(各项目标大幅当先);并正在全体硬件编码器中,身手目标获取一项第一和两项第二,身抄本事抵达行业当先秤谌。

  MSU 编码器竞争是由国际机构主办和测评,是视频编码业内影响力最大的国际竞争。

  跟着 5G、互联网等身手不竭繁荣,以及半导体工艺的不竭进取,电子产物的机能获得连续擢升,基于视频实质的运用不竭闪现,如抖音、爱奇艺、Bilibili、以及 Youtube 等。另一方面,相对付古板的文字图片实质,视频实质的传输必要更大的汇集带宽。而跟着消费者对付高清视频需求的指数级增进,怎么管理用户需乞降汇集带宽的抵触渐渐成为视频运用普及和进取的最大寻事。正在浩繁视频身手中,视频压缩是管理带宽限定最为合节的身手。

  视频压缩首要诈欺视频实质中存正在的时期和空间冗余,以更幼的码流举行视频实质的传输。视频压缩身手和圭臬也正在不竭进取中,如最新的 VVC 圭臬,编码机能相较前一代擢升胜过 50%,而筹划繁杂度则起码擢升 5 倍以上。主流的视频压缩管理计划首要分为软件编码器和硬件编码器两种。个中软件编码器首要由 CPU 完毕,硬件编码器包罗 GPU,FPGA,以及 ASIC 三种计划。相较于软件编码器,硬件编码用拥有更高的筹划密度,更高的模糊率,更低的延时和筹划本钱等上风。为了完毕低延时、低码率、高画质、可连续的视频运用,采用硬件编码管理计划成为一种势必的抉择。

  火山引擎多媒体实践室视频芯片团队从零起初扶植了数据核心高密度硬件视频编码管理计划,包罗算法开拓及优化、硬件架构安排及验证、固件及软件开拓等。团队正在短时期内从零到一杀青了多款硬件编码计划的安排以及安顿,包罗 FPGA HEIF 图片编码器、FPGA 视频编码器 BVE 1.0、及 BVE 1.1 等。个中 FPGA HEIF 图片编码器仍旧告成安顿数千片,周到笼盖了抖音集团旗下抖音、头条、西瓜视频等的各个HEIF静图、动图生意场景。FPGA 视频编码器 BVE 1.0 和 BVE 1.1 一连两年获评 MSU 出色 FPGA编码器,编码机能大幅当先行业均匀秤谌。

  BVE硬件编码计划安排满盈探究到了硬件计划的兼容性以及火山引擎转码任事流程,极大地简化了硬件计划完毕代替的难度。自帮安排的转码器架构不单兼容业界圭臬FFMPEG API框架,同时撑持火山引擎自研的业户安排体例,从而完毕了对点播,直播,云游戏,图片编码等差异生意场景的无缝撑持,节减了新产物从开拓到生意落地的周期。

  Host Server: 运转ffmpeg,集成图片、视频合系管理API,通过PCIe 跟编码器息争码器通信,完毕对编解码的统造, 同时对解码出来的YUV做相应的前管理,比方画质巩固,锐化,降噪,插帧, ROI, CAE等, 而且通过ffmpeg API对音频个人做合系的编解码,完毕对音频和视频的同步耦合等;

  解码器(Decoder): 对付FPGA计划,采用ffmpeg自带的软件解码器,撑持了差异式样的解码PG电子官方网站, 并对解出的YUV 做式样转换,缩放等后管理后存入DDR, 供应给编码器举行编码;

  编码器 (Encoder): 采用自研的FPGA BVE 1.1 架构安排, 出席种种自适合算法, 完毕了低延时、低码率、高画质视频压缩,抵达行业硬件编码器机能的当先秤谌。

  编码核默算法方面,针对搬动互联网运用的性情,采用定造化以及自适合算法管理计划,出席视频图像中种种统计数据,优化编码参数设备,从而抵达极致的编码效能。

  BVE编码算法安排中引入了多种自适合编码算法,包罗自适合色度巩固、运动储积时域滤波、ROI编码硬件、以及锐化巩固等。个中,ROI的引入能极大的擢升主观质地,并有用低落码率。锐化巩固能够有用地擢升视频明白度,及用户画质体验。运动储积时域滤波能够依照帧间合系性去除用户上传视频中的原有噪声,从而擢升编码效能。自适合色度巩固能够依照视频实质自愿调理色度分量的码率巨细,依旧好像视频质地的同时擢升编码效能。

  MSU竞争结果显示,BVE FPGA编码用具体编码机能比行业圭臬编码器(GPU)擢升30%,与行业最优的ASIC编码器相当。正在60 fps 超疾视频编码的客观质地评选中,火山引擎与腾讯、疾手、Intel、Bluedot等参赛军队排名前哨。正在同期参赛的多款差异类型的硬件编码器产物中硬件,火山引擎 BVE 1.1 不单荣获出色FPGA硬件编码器PG电子官方网站,同时正在主观质地(YUV-VMAF)上更是当先其他全体硬件编码器。

  硬件架构方面,BVE编码器采用全新的编码器硬件架构安排计划,不单内嵌多种优化的编码预说明和预管理模块,况且撑持多种编码形式,如并行编码、低延时编码等,可以很好地适配多种运用场景,以较幼的硬件价值完毕编码机能和视频质地的最大化。

  编码器架构安排方面,中心模块周到采用可设备的编码参数安排计划,撑持端到端的自适合优化。开始,BVE编码器采用多目标的运动探求体例,撑持探求鸿沟动态调理,不单可以完毕切确的运动臆想,同时优化硬件模糊率。其次,BVE编码器撑持全并行的率失真优化安排,切确的码率臆想,以及优化的量化编码,可以完毕最大化编码机能和模糊率。BVE编码器硬件内部定造的DMA进一步优化内存数据存取效能,低落软硬件通讯延时,提升带宽诈欺率和编码器模糊率等。

  BVE硬件编码器架构安排仍旧过多量实践以及运用验证,如HEIF以及FPGA等,不单拥有编码机能优异,模糊率上等好处,同时具备撑持自适合优化性情,可无缝连结抖音集团首要产物。

  FPGA BVE及HEIF编码器目前已平凡运用于今日头条、抖音、西瓜视频等抖音集团旗下产物的图片和视频生意,及火山引擎图片生意toB产物veImageX中。高机能的BVE硬件编码器除了撑持主流的转码、直播等运用表,因为拥有低延时、高模糊、低本钱等特征,也为更多改进的视频运用供应也许性。PG电子官方网站火山引擎BVE视频图片硬件编码器演进之途