GPS定位数据压缩算法的设计与实现

Allevi

GPS定位数据压缩算法的设计与实现

0 N  ~" Z/ j4 d6 T( w5 c) h/ w摘要：为了解决嵌入式GPS车载系统存储空间小、GPS定位数据量大的矛盾,根据GPS定位数据的特点,提出了专用于GPS定全数据压缩的改进型半字节压缩算法。该算法是一种在原半字节压缩算法的基础上改进的算法,经过实际测试,压缩比可达50%。若将压缩预处理也折算法在内,总压缩比可达80%以上,为车载系统节省了大量的存储资源。除此之外,也缩短了GSM信道的占用时间,大大地缓解了向控制调度中心上传数据的压力。
$ V. `6 V2 \! l6 S    关键词：数据压缩 GPS数据格式 压缩预处理 半字节压缩算法
% X4 Q# N2 X6 E- A' U  L+ r+ ]嵌入式GPS车载系统般体积较小,无存储量大的硬盘等设备,系统程序、应用程序一般装在FLASH或ROM中。由于FLASH或ROM等存储介质的价格相对台式机上广泛使用的硬盘、光盘等来说是非常昂贵的,因此,在开发嵌入式系统的软件产品时必须将软件所占的存储空间限制在一定的范围内。
在GPS车载系统的研发过程中,主要需解决的问题是：车载系统为了实现自导航,必须存储大量的GPS定位数据（每天需要存储约6MB）;其二是这些数据还要通过GSM信道上传到控制调度中心（若通过短信业务发送,每次160B,则需要每分上传6次）。无疑,数据压缩是在不增加硬件成本的前提下,从软件的角度来充分发挥系统现有资源的有效办法。
' ]' @5 G9 ?, @' w; h+ {数据压缩方法种类繁多,可以分为无损压缩和有损压缩两大类。无损压缩利用数据的统计冗余进行压缩。数据统计冗余度的理论限制,般为2：1到5：1。这类方法广泛用于文本数据、程序和特殊应用场合的图像数据（如指纹图像、医学图像等）的压缩。有损压缩方法利用了人类视觉对图像中的某些频率成分不敏感的特性,允许压缩过程中的损失一定的信息。虽然不能完全恢复原始数据,但是所损失的部分对理解原始图像的影响较小,却换来了大得多的压缩比。有损压缩广泛应用于语音、图像和视频数据的压缩。
7 {. z; e, {$ r; N' n* u目前现在的压缩算法很多,但不能直接用于嵌入式系统当中,这完全由嵌入式系统的特点所决定。首先,用于嵌入式系统的数据压缩方法应是无损压缩方法。其次,压缩代码和解码所需的信息代码必须足够短,否则就会失去压缩的意义。还有,嵌入式系统的数据压缩必须结合具体的数据格式的特点,才能进一步提高数据的压缩比。除此之外,目前的压缩程序的启动执行必须人为干扰,不能自动执行,因为它们是为文件系统设计的,而嵌入式系统的数据压缩必须能够自动执行。
! O! t! b. L) p. [( ]! i1 GPS数据格式
0 D) l3 u9 e0 h  ^+ ?& m: @, `2 QGPS OEM板由变频器、信号通道、微处理器和存储单元等组成。GPS OEM板的型号甚多,性能各异,但大多采用美国国家海洋电子协会制定的NMEA-0183通信标准格式。本系统选择的是美国SiRF公司的SiRFstarII OEM板。SiRFstarII OEM板语句的输入、输出是通过RS232串行接口完成的,其通信端口的数据格式应该设置为8个数据位、1个起始位和1个停止位,校验方式选为无奇偶校验,波特率设置为4800波特。NMEA-0183通信标准的输出数据采用的是ASCII码,其内容包含了纬度、经度、高度、速度、日期、时间、航向以及卫星状况等信息,语句有六种,包括GGA,GLL、GSA、GSV、RMC和VTG。对于不同的用途,选用的语句记录也不同,例如嵌入式GPS车载系统的使用者只关心其日期和时间、纠度、面速度信息,因而可以只选用RMC记录语句。一条$GPRMC语句包括13个记录：语句标识头、世界时间、定位状态、纬度、纬度方位、经度、经度方位、地面速度、地面路线、日期、磁偏角、校验和和结束标记,它一共占用70个字节（其中还包括用于分隔记录所使用的11个逗号）,例如：
$GPRMC,121530.998,A,4000.0162,N,11619.5476,E,0.00,240.81,160102,,*3B
由此可见,从SiRFstarII OEM板接收下来的数据流是文本字符串,根据GPS数据格式的特点,本设计中拟采用半字节法完成压缩及解压缩的任务。该方法属于无损压缩技术,其原理是去除字节中的冗余位,从而达到压缩目的。然而,这种方法只适用于纯数字文本文件的压缩,显然GPS定位数据并不是纯数字的,还必须在压缩前进行一下压缩预处理,较后再利用半字节压缩算法完成数据的压缩。
! N$ S2 [! M% ]0 o2 压缩预处理
3 u- P  T! v8 L6 u4 |, L! c仔细观察以上各段数据记录,可以发现语句之间的数据段还存在很多冗余。除此之外,这些记录中所含的信息既有英文字符又有数字,为了后续的压缩,对语句中的各个记录应做如下的预处理：
* |& P4 X* @5 w. n' i①语句标识头（ID）：因为每个语句的标识头都一样,所以该记录段属地冗余信息,完全可以去除,在解压缩时再在每个语句前加上该标识头即可。

$ I1 d! S' Y. l8 f- u6 w3 W    ②世界时间（UTC）：该信息段以时、分、秒、毫秒的格式指示出当时世界时间。转换为北京时间还需要再加上8小时。由于车载系统的定位数据的采集是以秒为单位的,所以毫秒量级的数据对本系统根本无用,是冗余信息,由于世界时间是按秒增1,定位数据也是每委员长更新一次,所以世界时间可以在程序的一开始采集记录一下,在解压缩时根据语句的指针值再加上起始时间便可以复原,因此该记录段在一次存储后,以后的语句中的该信息全都是冗余信息。
; \. O; E6 ?* `! t1 G③定位状态（A/V）：占用1个字节,不进行预处理。由于车载系统处于的地方有可能收不到卫星信号（如隧道中）,致使定位信息无效,因此尽管该字段发生变化的概率较小,又与其它信息段不相关,在此仍不能做预处理。
④纬度：占用9个字节,不进行预处理。
⑤纬度：占用10个字节,不进行预处理。
⑥经度指示器（E/W）：占一个字节,它指示出经度是东经,还是匹配。由于各个$GPRMC语句中的该段信息在中国都是东径,它是冗余信息,因此也采取程序一开始存储一次的方法。
⑦纬度指示器（N/S）：占一个字节,各个$GPRMC语句中的该段信息完全一样,是冗余信息,处理方法与上相同。
⑧地面速度：占用4个字节,不进行预处理。
⑨日期：占用6个字节,以日、月、年的格式显示,各个$GPRMC语句中的该段信息在24小时内完全一样,是冗余信息,采取程序一开始存储一次的方法,以后语句中的该段信息全部废除。
⑩校验和：占用3个字节,该数据完成校验后便弃之,不保留和进行压缩。
3 T" d# A  p; h9 c+ s, Y) ?结束符合占用2个字节,只用来判断语句的有效数据范围,其它记录段与本系统的设计无关都不保留和进行压缩。
0 Z6 G8 R) u0 l* ~通过以上压缩预处理后,保留了四个数据记录,共占用24个字节,如图1所示。

4 Z1 H, ~% n6 e2 Z3 改进型半字节压缩算法
文本数据的压缩的都是无损压缩技术,即还原后的文件应该与源文件完全相同。文本文件压缩的方法有很多种,如HUFFMAN编码、算术编码和字节压缩方法等。它们均是无损压缩方法,都适用于文本数据的压缩。半字节压缩方法是针对文本数据的特点所设计的,主要是去除文本中的字节中的冗余位,从而达到减少数据文件所占用的存储空间的目的。在数据压缩技术中,除压缩重复字符外,还可以根据数据本身的特点进行压缩。在计算机中,任何数据都是以某种代码的方式存储的。在些文件中,或许有一些代码具有某些相似之处,我们可以根据代码的特点进行特定的操作,压缩掉这些数据的相似部分,或者说压缩掉这些数据的特征部分,半字节压缩就是这样一种方法。半字节方法主要用于纯数字的文本文件的压缩,因为数字0～9的ASCII码的高四位都一样,是冗余的,因此每一个数字完全可以用低四位描述,即每个字节的八位编码可压缩为四位编码,压缩比理论上可趋近50%。
从图1中可以看出,经过预处理后的数据中,包含的文本字节有：“0～9”十个数字符号,“A”、“V”两个英文大写字母和一个小数点“.”符号,共13个字符。“A”、“V”、“.”的ASCII码的高四位显然与数字字节的不一样,半字节压缩方法不能简单套用。然而,我们知道四位二进制编码可区分16种状态,用来表示13种不同的字符是足够的。
& u4 E$ f8 j1 X  ~; q8 ^& g$ V压缩数据编码表如表1的慰,为了充分利用编码表中的状态,在原来13个字节的基础上又新增添了两个字符“B”和“W”,其四位编码分别为1101和1110。这两个字符是在压缩预处理过程中,用来记录那些因语句校验和出错而舍弃的语句。因为每条语句的时间信息全部在预处理阶段被舍弃,在解压缩时要恢复时间值。该值在正常情况下是根据时间的基数再加上语句的计数值（由于每秒接受到一条语句,所以语句计数值就是以秒为单位的时间增量）确定的。当发生语句校验和出错时,若处于定位有效状态,则在定位状态记录上不填写“A”字符,而填写“B”字符;若处在定位无效状态,则不填写“V”字符,而填写“W”字节。在以后解压缩时,若检测到“A”、“V”字节,时间的还原按正常的算法进行;若检测到“B”、“W”字符时,进行的还原除了按正常的算法进行以外还要加上秒钟,这样才能确保时间能够正确的恢复,这是因为“B”、"W"字节表示上一条语句发生错误已经被丢弃,语句的压缩是非连续的,有继句现象发生。
7 q9 ~4 _" B  w/ {
表1 压缩数据编码表
! g9 [8 P+ C: E# G+ T7 T

预处理后所含的字符	ASCII码	四位二制编码	备  注
0 1 ! L! K1 e% {6 C) [# @2 U2 8 p( A% ]3 N* q1 c; Y# A3 p+ p6 d4 i3 0 V/ L  ~/ Q0 l8 v# V' Q8 X4 5 + Y1 p, B. j2 i& P$ _1 H6 & d1 g9 R0 b+ I9 k7 * e5 ~! o8 j/ f1 B' U, ^8 ; m4 u/ \2 Q, ~3 g; s1 D# o9 7 r" n  Y: ]  E+ Q/ @. ' q/ T* n5 S; c% _4 n5 Z' _7 rA B V " t  L! x3 n( O, ~  d# t$ VW	00110000 00110001 3 N" H6 g3 w. l% m6 `00110010 - l" X- y1 V5 j4 E00110011 8 [# ]) s- M; `# E00110100 00110101 00110110 , T+ M$ N' J5 g00110111 00111000 00111001 00101110 01000001 5 A" |' w2 m2 l6 }9 q0 \" ?, a01000010 ' z0 M. Q; W" X" B0 p2 [& L01010110 + Y' {# ~+ h2 F( H0 Q$ p01010111	0000 0001 3 `/ Q& @' ]" p9 s# x8 l2 B+ {0 z0010 % f9 {$ T3 |/ T" T9 m& x2 j8 n0011 * S/ u8 y$ r) }  r0100 % o: a4 d+ k( k8 M. U0101 0110 0111 ; r" U, {" q9 W/ Z" T9 u$ I' Z1000 2 U, h. q( b% B3 ]0 [6 T1001 0 a4 ^* R5 n5 G* v) i1010 2 J( O% R( [" ?9 {' G. Q, G1011 2 D! [/ a1 o( s' X; T6 e! v5 y1101 6 V: u7 T) X& C# n# w4 p% Q1100 7 L8 l/ Z+ G$ n; c1110	& O# ^4 m2 j6 N7 l 0 G, n5 b9 X+ u- Z' Y7 x3 ~ 6 V7 s) g) ]. R3 a : M: ^) `- r, y- l  g 3 v* F3 G; K  v! g! @( w0 j2 S) k( o 8 x5 z# _! U3 j8 _9 u0 ~1 S* t定位有效 3 K8 i$ h' t. r6 a, B定位有效,秒值1 & O$ b+ ^+ N) h$ B, |' M8 F6 J6 h定位无效 定位无效,秒增1

通过此编码表进行转换后,原来经过压缩预处理后的固定24个字节第的文本数据就可以减小一半（压缩后为固定的12个字节长）,压缩比为50%,若从未经过预处理的文本数据算起,则压缩比可达到80%。
由图2可知,实现半字节压缩算法需要解决两上问题：首先是压缩对象的计数;其次是如何把两个数字的低位合并到一个字节中。后一个问题只要规定好压缩后的字节中奇数号字符的四位编码与偶数号字符的四位编码的存放次序即可,程序的实现非常简单,在此我们规定编号是奇数的字符放在高四位,编号为偶数的字符的编码放在低四位。假设压缩前的数据流中的前四个字节分别为“1、2、3、4”,则压缩后的数据格式如图3所示。
半字节压缩中需要解决的首要问题是压缩对象的计数问题,解决此问题的方法有两种：一种是半字节计数器（Half-Byte Counter）,另一种是全字节计数器（Full-Byte Counter）。不管那一种方法,它们都要占用字节,再加上压缩标识也要占用字节,所以要影响数据的压缩比。改进后的半字节压缩算法完全解决了此问题,因为GPS定位数据经过压缩预处理后的数据长度是固定的24个字节长,不是动态可变的,所以不需要解决压缩对象的计数问题。一般来说,任何一种压缩算法都需要用压缩指示字符作压缩数据的标识,压缩标识符越短越好,因为过长会影响缩效果。然而,由于GPS定位数据中的所有字符都进行了编码处理,不存在原样字符（不进行压缩的字符,在解压缩时原样输出）,因此压缩标识完全可以省略,可进一步提高数据的压缩比。压缩预处理程序框图和改进后的半字节压缩算法框图如图4所示。
8 g" |+ J+ h$ V4 w
    压缩文件包括解压缩所需的重要信息,由释放参数信息和依次压缩了的定长数据块组成。释放参照信息包含有解压缩所要使用的时间基数信息,它通过语句计数器以及错误代码号可以将时间还原。除此之外,释放参照信息还包括各个定长数据块在解压缩时所需的共同信息,如E/W、N/S、日期,压缩文件的格式如图5所示。
1 e$ ?; D6 b0 R8 C4 p嵌入式系统的压缩是不需要人为干涉、而自动实时完成的,具体的实现方法是通过驻留内存（单任务操作系统中,如DSP）或作为一个后台任务（在多任务操作系统中,如Windows中）对数据完成实时压缩或解压缩。

. `$ x& @1 g7 ^6 c表2 改进型半字节压缩算法的测试结果
- D8 D$ L) I) U

处理   文件大小（B）	预处理后	改进型半字节压缩	压缩比
1035k=69×15000 103.5k=69×1500 ) M) |3 f; {  k/ N. M0 H& r5 q' R$ b10.36k=69×150 + t- |) A, E) O( t& E- s) L	360KB+23B 36KB+23B % B) X5 V0 j( F* V, C3.6KB+23B	180KB+23B 18KB+23B : G1 T: @, E) d8 b& N- h& `, a- t1.8KB+23B	0.8260 ! |' u# x7 o" v. e' E& |0.8259   O; e+ A# I! w' m* u6 K/ e) Z0.8239

GPS定位数据的压缩算法经过实际的验证,压缩比随着压缩数据的减小而略有减少,这是因为参照信息随着压缩数据的减小其所占的比例在逐渐增加的原故。但示,该压缩方法在车载系统中使用不仅能节省存储空间,而且能减少信道占有时间及提高数据的安全性。由于压缩程序是针对GPS数据格式编写的的,因此其压缩比大但通用性不强。尽管如此,该程序略做修改可移植到其它系统中,因为各个GPS厂家所执行的规范标准都是GPS厂家所执行的规范标准都是NMEA-0183,其数据的输出格式略有差别。

ygcgsa

刚好需要，谢谢楼主分享