提问人:lemontrack 提问时间:9/12/2023 更新时间:9/12/2023 访问量:21
在 vaex 中构建 3D 阵列以进行过滤的最快方法
Fastest way to structure 3D array in vaex for filtering
问:
我有一个应用程序,我正在处理一个大型 3 维数组,其中包含一个映射到地理位置的索引(~10k 唯一值)、一个时间戳(一整年每小时一次,导致 ~9k 个值)以及每个索引和时间戳的 ~20 个不同值。这些应该显示在破折号仪表板中,用户可以在其中过滤索引和时间戳,并以尽可能少的延迟获取值。
我在 https://dash.vaex.io/ 上看到了出租车数据示例,它在类似规模的应用程序上具有令人印象深刻的性能,并决定尝试使用 vaex。
我可以通过重塑来复制出租车示例,但会丢失时间戳索引的顺序。这种方式对我来说似乎有悖常理,因为您丢失了结构并且无法再使用行/列进行过滤。
我还可以为每个值生成一个数据帧,并将索引保留为行,将时间戳保留为列。这样,索引和时间戳都保留为行/列,但我得到了多个数据帧。我还读到vaex不能很好地处理宽数据帧。
最佳做法是什么? 有没有我没有想过的更好的方法? 我应该研究火花或其他工具吗?
答: 暂无答案
评论