(2010)日志压缩算法比较

在业务巨大的时候，每日产生的日志也会特别大，经常是上10G甚至100G。这些日志的存储，转移都成了大麻烦。于是日志压缩出现了。通常日志压缩只是简单的用tar zcf来处理。本文探讨日志压缩的各种算法效果。 对日志进行分析通常是全扫描，如awk脚本。一个合格的日志压缩程序必须满足支持从屏幕流的输入输出。也就是说可以和linux的流模式结合起来，比如：grep *** | compress xxx > a.out，或者decompress < a.o..