stack() 对于大型多索引数据帧需要很长时间

stack() takes very long for large multiindex dataframes

提问人:just-meng 提问时间:11/7/2023 更新时间:11/7/2023 访问量:4

问:

我有一个大小为 100 x 100000 的 pandas 数据帧,索引和列都是多索引的。 最多需要 20 分钟。有时,如果后台有其他东西在运行并且没有足够的可用资源,则进程会被终止。目标是将宽格式数据帧转换为长格式数据帧。df.stack([col1, col2, ..., col5])

有没有办法加快速度?

我还没有好主意要尝试什么,也许将 df 拆分为 n 个较小的数据帧并将它们并行堆叠?

评论


答: 暂无答案