|
|
EDA365欢迎您登录！
您需要 登录 才可以下载或查看，没有帐号？注册
x
Gzip压缩的硬件加速电路设计
" V: T; b; m4 V7 I" y; {摘要:硬件无损压缩技术可以发挥专用电路的速度和功耗优势,被广泛应用于大数据计算以及通信领域.本文以GNUzip( Gzip)数据无损压缩技术为原型设计了一种硬件压缩电路.通过采用双Hash函数、并行匹配处理、面向硬件存储的IZ77压缩存储格式.高效数据拼接器等加速方法,发挥并行计算和流水线结构优势,提升压缩速率.该硬件压缩电路基于Verilog HDL 设计,使用现场可编程门阵列(FPCA)进行测试和验证.测试数据表明:与软件压缩方式相比,该硬件压缩电路在获得适中压缩率(65.9%)的同时,其压缩速率得到显著提升,平均压缩速率达171Mb/s ,满足网络通信、数据存储等实时压缩应用需求.4 e- a5 K* b, ~2 D& ~* s' H/ J% X
关键词:无损压缩;Gzip;硬件;IZ77;FPGA z0 ~' D( `% }: p" C, u
$ g( B! ]" @/ H& B; V4 E, k1引言+ F- A) g1 Z! |( Z5 E
数据无损压缩技术可节约存储空间、降低数据传输带宽需求1,且不影响数据重构质量,常以软件方式实现.该方式配置灵活,易获得较好的压缩率,但存在资源消耗多、功耗大,处理速率低等性能瓶颈,无法满足大数据环境下的实时压缩处理需求.
2 c- t% H: q& B$ |: z" a t+ Y基于硬件的数据无损压缩实现方式,可充分利用其并行计算和流水线的性能优势,以很小的压缩率损失为代价获得极高的处理效率,同时几乎不占用上位机的运算、存储资源.因而被国内外院校和企业关注和研究[2.3];清华大学和百度公司使用分布式随机存储器(RAM)构成字典,基于定制的FPGA,实现了高速多通道的Gzip无损数据压缩";微软公司和华盛顿大学合作设计了新型LZ77算法的Hash 处理结构,取代了原有的链表结构,有效提升了Hash的处理效率[5l;滑铁卢大学完成了动态Huffman编码的硬件实现等工作,进一步提升了压缩率性能[6].& ] |& a2 l2 T# e% P1 g
Gzip是一种基于字典[78]和嫡编码”的无损压缩方式.本文以提高数据压缩速率为主要目标,兼顾硬件资源消耗,使用双Hash 函数、并行匹配处理方法、面向硬件存储的LZ77压缩存储格式、高效数据拼接器等多( b, Y: l7 a, F8 Y
" \; f- Y1 O: }7 J3 Z
5 M" B* }% b) G. b2 D- Z% t5 C. q6 Y3 n- e) d, ?$ z
|
|
/1 
发表于 2021-2-22 10:19
收藏
淘帖
支持！
反对！