Tuplex是一个并行的大数据处理框架，它以编译代码的速度运行用Python编写的数据科学管道。Tuplex具有与ApacheSpark或Dask类似的PythonAPI ，但与调用Python解释器不同，Tuplex为给定的管道和输入数据集生成优化的LLVM字节码。在底层，Tuplex基于数据驱动编译和双模式处理，这两项关键技术使Tuplex能够提供与手工优化的C++编写的流水线相媲美的速度。
安装要安装Tuplex，您可以使用适用于Linux的PyPi包，或适用于MacOS的Docker容器，这将启动预装Tuplex的jupyternotebook。Dockerdockerrun-p8888:8888tuplex/tuplexPyPIpipinstalltuplex构建Tuplex适用于MacOS和Linux。当前版本已在MacOS10.13-10.15和Ubuntu18.04和20.04LTS下测试。要安装Tuplex，只需先安装依赖项，然后构建包。MacOS从源代码构建要构建Tuplex，您首先需要其他几个可以通过 brew 轻松安装的软件包。brewinstallllvm@9boostboost-python3aws-sdk-cpppcre2antlr4-cpp-runtimegoogletestgflagsyaml-cppceleropython3-mpipcloudpicklenumpypython3setup.pyinstall从源代码构建Ubuntu为了便于安装Ubuntu的依赖项，我们提供了两个脚本（scripts/ubuntu1804/install_reqs.sh适用于Ubuntu18.04或scripts/ubuntu2004/install_reqs.shUbuntu20.04）。要创建Tuplex的最新版本，只需运行./scripts/ubuntu1804/install_reqs.shpython3-mpipcloudpicklenumpypython3setup.pyinstall
点击空白处退出提示
评论