在 vaex 中构建 3D 阵列以进行过滤的最快方法

Fastest way to structure 3D array in vaex for filtering

提问人:lemontrack 提问时间:9/12/2023 更新时间:9/12/2023 访问量:21

问:

我有一个应用程序,我正在处理一个大型 3 维数组,其中包含一个映射到地理位置的索引(~10k 唯一值)、一个时间戳(一整年每小时一次,导致 ~9k 个值)以及每个索引和时间戳的 ~20 个不同值。这些应该显示在破折号仪表板中,用户可以在其中过滤索引和时间戳,并以尽可能少的延迟获取值。

我在 https://dash.vaex.io/ 上看到了出租车数据示例,它在类似规模的应用程序上具有令人印象深刻的性能,并决定尝试使用 vaex。

我可以通过重塑来复制出租车示例,但会丢失时间戳索引的顺序。这种方式对我来说似乎有悖常理,因为您丢失了结构并且无法再使用行/列进行过滤。

我还可以为每个值生成一个数据帧,并将索引保留为行,将时间戳保留为列。这样,索引和时间戳都保留为行/列,但我得到了多个数据帧。我还读到vaex不能很好地处理宽数据帧。

最佳做法是什么? 有没有我没有想过的更好的方法? 我应该研究火花或其他工具吗?

VAEX公司

评论


答: 暂无答案