Bcolz是一款支持数据压缩的,列数存储软件。提供可压缩内存和磁盘的柱状分块数据容器。列存储允许有效地查询表,以及列添加和删除。它基于NumPy,并将其用作标准数据容器与Bcolz对象进行通信。
默认情况下,Bcolz对象被压缩,不仅可以减少内存/磁盘存储,还可以提高I/O速度。压缩过程由Blosc在内部执行,Blosc是针对二进制数据进行优化的高性能多线程压缩器。
Bcolz也可以在内部使用numexpr(默认情况下,如果它检测到numexpr已安装)或dask,以加速许多向量和查询操作。numexpr/dask可以优化内存使用,并使用多线程进行计算。
要求Python>=2.6
NumPy>=1.8
Cython>=0.22(仅用于编译beast)
C-Blosc>=1.8.0(可选,默认情况下将使用内部Blosc)
unittest2(可选,只在运行Python2.6的情况下)
可选:
numexpr>=2.5.2
dask>=0.9.0
pandas
tables(pytables)
评论