Bcolz 支持数据压缩的列数存储软件开源项目

我要开发同款
匿名用户2017年05月19日
33阅读
开发技术C/C++
所属分类解压缩、压缩、应用工具、压缩、解压缩
授权协议GPL

作品详情

Bcolz是一款支持数据压缩的,列数存储软件。提供可压缩内存和磁盘的柱状分块数据容器。列存储允许有效地查询表,以及列添加和删除。它基于NumPy,并将其用作标准数据容器与Bcolz对象进行通信。

默认情况下,Bcolz对象被压缩,不仅可以减少内存/磁盘存储,还可以提高I/O速度。压缩过程由Blosc在内部执行,Blosc是针对二进制数据进行优化的高性能多线程压缩器。

Bcolz也可以在内部使用numexpr(默认情况下,如果它检测到numexpr已安装)或dask,以加速许多向量和查询操作。numexpr/dask可以优化内存使用,并使用多线程进行计算。

要求

Python>=2.6

NumPy>=1.8

Cython>=0.22(仅用于编译beast)

C-Blosc>=1.8.0(可选,默认情况下将使用内部Blosc)

unittest2(可选,只在运行Python2.6的情况下)

可选:

numexpr>=2.5.2

dask>=0.9.0

pandas

tables(pytables)

声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论