最近项目中java、Untiy两端通信用的json，json相对纯字节通信，数据包要大很多，这就涉及到数据压缩了。untiy客户端最早用的C自带的压缩算法，但在untiy上用就抛出异常。而后我建议他们使用lzma开源压缩算法，原来用过，在此贴出来，记录一下。packagecom.kaka.util;importSeven

一、Hadoop压缩简介1、hadoop的3个阶段（1）分布式文件系统HDFS（2）分布式编程框架MapReduce（3）yarn框架2、Hadoop数据压缩MR操作过程中进行大量数据传输。压缩技术能够有效的减少底层存储（HDFS）读写字

对ClickHouse做个简单的性能测试。ClickHouse简介ClickHouse是战斗民族Yandex公司出品的OLAP开源数据库，简称CH，也有人简称CK，是目前市面上最快的OLAP数据库。性能远超Vertica、SybaseIQ等。CH具有以下几个特点：1.列式存储，因此数据压缩比高。2.向量计算

InnoDBcompressed好吃吗？不，它有点硌牙。1\.背景信息1\.测试环境2\.进行测试2.1所有数据可以加载到bufferpool中2.1.1数据压缩率2.1.2TPS相差值2.1.3平均延迟差值avgLatency(ms)2.1.499%延迟差值99thpercentileLate

对ClickHouse做个简单的性能测试。ClickHouse简介ClickHouse是战斗民族Yandex公司出品的OLAP开源数据库，简称CH，也有人简称CK，是目前市面上最快的OLAP数据库。性能远超Vertica、SybaseIQ等。CH具有以下几个特点：1.列式存储，因此数据压缩比高。2.向量计算，且

!(https://lxlinux.superbed.verylink.top/item/5fcee98b3ffa7d37b37c523b.jpg)不管是在Windows系统还是Linux系统中，我们常常会有一些大文件，特别占磁盘空间，对于这种占用空间大的文件我们很多时候就要用到ZIP（压缩文件格式），ZIP文件格式是一种数据压缩和文档储

该小工具的粗略设计实现结构图如下所示：!(https://static.oschina.net/uploads/img/201704/22171125_paOy.jpg)由于该服务的头文件使用了gzip对数据进行了数据压缩，在这个版本处理的策略是，把压缩的数据放在一个压缩文件中。压缩文件按时间进行存储在目录inputJson中。上图中是运行时

前面介绍的文件I/O，不管是写入文本还是写入对象，文件中的数据基本是原来的模样，用记事本之类的文本编辑软件都能浏览个大概。这么存储数据，要说方便确实方便，只是不够经济划算，原因有二：其一，写入的数据可能存在大量重复的信息，但依原样写到文件的话，无疑保留了不少冗余数据，造成空间浪费；其二，写入的数据多以明文方式保存，容易产生信息泄露，安全性不高。为此Java提

GNU的Gzip是一种流行的数据压缩程序，而GZ文件是由标准Gzip压缩的存档文件。它最初由JeanloupGailly和MarkAdler于1992年10月31日开发。如何解压缩（打开）Gz文件打开Gz文件的程序对于Windows操作系统：PeazipWinRARCorelWinZip7ZipFi