我正在从事一个 ETL 项目。为此，我正在尝试读取 .parquet 文件，以便查看、转换数据并上传它。 我一直在失败，因为我在阅读它时总是得到一个“OOM 错误”。 有什么方法可以在本地阅读吗？ ...

我有一个常规的表格数据集，从数据库中添加了 100 个要素 我想把它推送到一个常规的sklearn.pipeline中，其中将有预处理、编码、一些自定义转换器等。 倒数第二个估计器是 Select...

我在 Athena 中有一个表，它每天使用胶水爬虫进行更新，使用存储在 s3 上的 parquet 文件，使用 id 和 date 分区。 此表每天接收数据，因此每天都会创建一个新的日期分区，但最近数...

我在节点中有来自主流的管道结果，如下所示sv 和节点的结果 辅助节点 在图片顶部 在结果中，我应该得到这样的结果 如何获得像笛卡尔的结果一样的结果，但不阻塞流 标准： 它不应该阻止流式处理 ...

闭。这个问题与编程或软件开发无关。它目前不接受答案。 这个问题似乎与特定的编程问题、软件算法或程序员主要使用的软件工具无关。如果您认为该问题在另一个 Stack Exchange 站点上是主题，您可...