大数据列式存储 Parquet 和 ORC 简介

背景

随着大数据 Hadoop/Spark 生态的不断发展和成熟，TextFile、CSV这些文本格式存储效率低，查询速度慢，往往不能很好地满足大数据系统中存储和查询的需求，列式存储也在大数据社区逐渐兴起到成熟。目前，使用比较广泛的列式存储主要是 Apache Parquet 和 Apache ORC，Parquet 由谷歌的 Dremel 发展而来，由Twitter 贡献给社区，ORC 则是由 Hive 的 RC File 发展而来，从Hive项目中独立出来，二者目前都是比较活跃的列式存储项目。

什么是列式存储

传统的数据编码方式是以行为单位进行，列式存储则是将数据划分成数据块，每个数据块内部按列的方式进行编码存储，通过使用列式存储会有以下好处：

• 存储效率更高，因为同一列的数据类型一致，编码效率也会更高
• 查询效率更高，利用列式存储的统计信