S3-plugin是一个高性能PyTorch数据集库，用于高效访问存储在S3存储桶中的数据集。它提供对任何大小数据集的流式数据访问，因此无需提供本地存储容量。该库旨在利用S3提供的高吞吐量以最小延迟访问对象。

用户可以根据需要灵活地使用地图样式或可迭代样式的数据集接口。该库本身与文件格式无关，并将S3中的对象呈现为二进制缓冲区（blob）。用户可以自由地对从S3接收到的数据应用任何额外的转换。

安装

您可以按照以下说明安装此软件包。

先决条件此安装需要Python3.6（或Python3.7）

用于配置S3访问的AWSCLI

Pytorch>=1.5（S3-plugin会安装最新的Torch）

注意：要在Mac上运行，必须安装AWS_SDK_CPP

通过Wheel安装S3-Plugin#TODOAddfinalpublicwheelsawss3cp<S3URI>.pipinstall<whlnameawsio-0.0.1-cp...whl>配置

在从S3存储中读取数据之前，需要提供存储区域参数：

AWS_REGION：默认情况下，S3使用区域端点，区域由AWS_REGION控制。如果AWS_REGION未指定，则默认使用us-west-2要读取不可公开访问的存储中的对象，必须通过以下方法之一提供AWS凭证：

通过awsconfigure安装和配置awscli在本地系统上的AWS凭证配置文件中设置凭证，在Linux、macOS或Unix上位于：~/.aws/credentials设置AWS_ACCESS_KEY_ID和AWS_SECRET_ACCESS_KEY环境变量如果您在EC2实例上使用此库，请指定一个IAM角色，然后授予EC2实例对该角色的访问权限