Pandas - 将大型数据帧切成块-解网

问：

我有一个大的数据帧（>3MM 行），我正在尝试通过一个函数传递（下面的函数在很大程度上简化了），并且我不断收到一条消息。Memory Error

我认为我将太大的数据帧传递到函数中，所以我正在尝试：

1）将数据帧切成更小的块（最好由 AcctName 切片）

2）将数据帧传递到函数中

3）将数据帧连接回一个大型数据帧

def trans_times_2(df):
    df['Double_Transaction'] = df['Transaction'] * 2

large_df 
AcctName   Timestamp    Transaction
ABC        12/1         12.12
ABC        12/2         20.89
ABC        12/3         51.93    
DEF        12/2         13.12
DEF        12/8          9.93
DEF        12/9         92.09
GHI        12/1         14.33
GHI        12/6         21.99
GHI        12/12        98.81

我知道我的函数可以正常工作，因为它可以在较小的数据帧（例如 40,000 行）上工作。我尝试了以下方法，但未能成功将小数据帧连接回一个大数据帧。

def split_df(df):
    new_df = []
    AcctNames = df.AcctName.unique()
    DataFrameDict = {elem: pd.DataFrame for elem in AcctNames}
    key_list = [k for k in DataFrameDict.keys()]
    new_df = []
    for key in DataFrameDict.keys():
        DataFrameDict[key] = df[:][df.AcctNames == key]
        trans_times_2(DataFrameDict[key])
    rejoined_df = pd.concat(new_df)

我如何设想拆分数据帧：

df1
AcctName   Timestamp    Transaction  Double_Transaction
ABC        12/1         12.12        24.24
ABC        12/2         20.89        41.78
ABC        12/3         51.93        103.86

df2
AcctName   Timestamp    Transaction  Double_Transaction
DEF        12/2         13.12        26.24
DEF        12/8          9.93        19.86
DEF        12/9         92.09        184.18

df3
AcctName   Timestamp    Transaction  Double_Transaction
GHI        12/1         14.33        28.66
GHI        12/6         21.99        43.98
GHI        12/12        98.81        197.62

Python Pandas 数据帧切片

你的 numpy 方法不等同于列表推导。我想你是故意的？如果目的是展示两种不同的方法来分块 df，我认为 numpy 方法需要一些初步解释。即使使用也不能保证与文档中第二个示例中所示的行为相同np.array_split(df, math.ceil(len(df) / N))math.ceil()

23赞 ilykos 1/20/2021 #2

我建议使用依赖项more_itertools。它处理所有边缘情况，例如数据帧的不均匀分区，并返回一个迭代器，这将使事情变得更有效率。

（使用 @Acumenus 中的代码更新）

from more_itertools import sliced
CHUNK_SIZE = 5

index_slices = sliced(range(len(df)), CHUNK_SIZE)

for index_slice in index_slices:
  chunk = df.iloc[index_slice] # your dataframe chunk ready for use

def chunkify(df: pd.DataFrame, chunk_size: int):
    start = 0
    length = df.shape[0]

    # If DF is smaller than the chunk, return the DF
    if length <= chunk_size:
        yield df[:]
        return

    # Yield individual chunks
    while start + chunk_size <= length:
        yield df[start:chunk_size + start]
        start = start + chunk_size

    # Yield the remainder chunk, if needed
    if start < length:
        yield df[start:]

要重建数据框，请将每个块累积到列表中，然后pd.concat(chunks, axis=1)

0赞 Swati Mishra 10/19/2023 #4

感谢您的解决方案。

我尝试了两种建议的方法：

方法1：

measure = time.time()
n = 10**6
list_df = [df[i:i+n] for i in range(0, df.shape[0], n)]
list_df[0]
print(time.time()-measure) # 0.00800180435180664 seconds

这更快。

方法2：

import math

measure = time.time()
n = 10**6
list_df = np.array_split(df, math.ceil(len(df)/n))
list_df[0]
print(time.time()-measure) # 56.50256133079529 seconds

这速度较慢。

Pandas - 将大型数据帧切成块

Pandas - Slice large dataframe into chunks

评论

评论

评论

评论