在 AWS 中转换文件更快、更便宜:Polar 或 Pandas?
两者都提供了广泛的工具和优势,这可能会让我们在某些时候怀疑选择两者中的哪一个。这并不是要改变公司的所有流程,以便他们开始使用 polars 或 pandas“死亡”(这不会在不久的将来发生)。这是关于了解其他可以帮助我们降低流程成本和时间、获得相同或更好结果的工具。
当我们使用云服务时,我们会优先考虑某些因素,包括其成本。我用于此过程的服务是带有 Python 3.10 运行时的 AWS Lambda 和用于存储原始文件和 parquet 转换文件的 S3。
目的是获取 CSV 文件作为原始数据,并使用 pandas 和 Polars 对其进行处理,以验证这两个库中的哪一个可以为我们提供更好的资源优化,例如内存和结果文件的重量。
熊猫
它是一个专门用于数据操作和分析的Python库,它是用C编写的,最初发布于2008年。
*极地*
它是一个专门从事数据操作和分析的 Python 和 Rust 库,允许并行处理,主要用 Rust 编写,于 2022 年发布。
流程架构:
该项目有点简单,如架构所示:用户将 CSV 文件存入 work/pandas 或 work/porlas 中,并自动启动 s3 触发器来处理该文件,将其转换为 parquet 并将其存入processes。
在这个小项目中,我使用了两个具有以下配置的 lambda:
内存:2GB
临时内存:2 GB
续航时间:600秒
要求
Lambda 与 pandas:Pandas、Numpy 和 Pyarrow
Lambda 与极坐标:极坐标
用于比较的数据集可以在 kaggle 上以“Rotten Tomatoes Movie Reviews – 1.44M rows”的名称找到,或者可以从这里下载。
完整的存储库可在 GitHub 上找到,并且可以在此处克隆。
尺寸或重量
Pandas 使用的 lambda 需要另外两个插件来创建 parquet 文件,在本例中是 PyArrow 和我使用的 Pandas 版本的特定版本的 numpy。结果,我们获得了权重或大小为 74.4 MB 的 lambda,这非常接近 AWS 允许我们实现的 lambda 权重限制。
带有 Polars 的 lambda 不需要像 PyArrow 这样的其他插件,它简化了生活并将 lambda 的大小减少到一半以下。因此,与第一个 lambda 相比,我们的 lambda 的权重或大小为 30.6 MB,为我们提供了安装转换过程可能需要的其他依赖项的空间。
表演
在第一个版本之后,带有 Pandas 的 lambda 被优化为使用压缩,但是,也分析了它的行为。
熊猫
与其他版本相比,处理数据集花了 18 秒,并使用了 1894 MB 内存来处理 CSV 文件并生成 Parquet 文件,这是使用时间和资源最多的版本。
熊猫+压缩
添加一行代码使我们比之前的版本(Pandas)有了一点改进,处理数据集花了 17 秒,使用了 1837 MB,这并不代表处理和计算时间的显着改进,而是大小的显着改进。生成的文件。
北极
处理相同的数据集花了 12 秒,我只使用了 1462 MB,与前两个相比,它节省了 44.44% 的时间并降低了内存消耗。
输出文件大小
熊猫
未建立压缩过程的 lambda 生成了 177.4 MB 的 parquet 文件。
熊猫+压缩
在 lambda 中配置压缩时,我不会生成 121.1 MB 的 parquet 文件。一小行或一个选项帮助我们将文件大小减少了 31.74%。考虑到这不是重大的代码更改,这是一个非常好的选择。
北极
Polars 生成了一个 105.8 MB 的文件,与 Pandas 第一个版本一起购买时,与经过压缩的 Pandas 版本相比,该文件分别节省了 40.36% 和 12.63%。
结论
没有必要改变所有使用 Pandas 的内部流程,以便它们现在使用 Polars,但是,重要的是要考虑到,如果我们谈论数千或数百万个 lambda 执行,使用 Polars 不仅会帮助我们进行部署时间,但由于 AWS 为 Lambda 等无服务器服务提供基于时间的收费,因此也将帮助我们降低成本。
同样,当我们将 40.36% 转换为数百万个文件时,我们谈论的是 GB 或 TB,这会对 Datalake 或 Dataware house 甚至冷文件存储产生重大影响。
Polars 的减少不仅限于这两个因素,因为它会极大地影响 AWS 的数据和/或对象的输出,因为它是一项确实有成本的服务。
1、部分文章来源于网络,仅作为参考。 2、如果网站中图片和文字侵犯了您的版权,请联系1943759704@qq.com处理!