Python Pandas GroupBy 等效于 SQL 中的 If A 而不是 B where 子句

Python Pandas GroupBy equivalent of If A and not B where clause in SQL

提问人:pythOnometrist 提问时间:5/26/2012 最后编辑:piRSquaredpythOnometrist 更新时间:1/5/2017 访问量:1256

问:

我正在使用并想知道如何实现以下内容:pandasgroupby

  1. 数据帧 A 和 B 具有相同的变量,但 A 有 20 个唯一的索引值,B 有 5 个。

  2. 我想创建一个数据帧 C,其中包含索引存在于 A 而不是 B 中的行。

  3. 假设 B 中的 5 个唯一索引值都存在于 A 中,在这种情况下,C 将只有与 A 中的索引值关联的行,而不在 B 中(即 15)。

  4. 使用内、外、左和右不要这样做(除非我误读了什么)。

在SQL中,我可能会这样做where A.index <> (not equal) B.index

我的左撇子解决方案:

a) 从每个数据集中获取相应的索引列,例如 x 和 y。

def match(x,y,compareCol):

"""

x and y are series

compare col is the name to the series being returned .

It is the same name as the name of x and y in their respective dataframes"""

x = x.unique()

y = y.unique()

""" Need to compare arrays x.unique() returns arrays"""

new = []

for item in (x):

    if item not in y:

        new.append(item)

returnADataFrame = pa.DataFrame(pa.Series(new, name = compareCol))

return returnADataFrame

b) 现在在数据集 A 上对此进行左连接。

我有理由相信,我的元素比较就像杂草上的一样缓慢,没有 赋予动机。

Python SQL 分组 Pandas

评论


答:

1赞 lbolla 5/28/2012 #1

比如:

A.ix[A.index - B.index]

A.index - B.index是区别:set

    In [30]: A.index
    Out[30]: Int64Index([ 0,  1,  2,  3,  4,  5,  6,  7,  8,  9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19], dtype=int64)

    In [31]: B.index
    Out[31]: Int64Index([  0,   1,   2,   3, 999], dtype=int64)

    In [32]: A.index - B.index
    Out[32]: Int64Index([ 4,  5,  6,  7,  8,  9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19], dtype=int64)

    In [33]: B.index - A.index
    Out[33]: Int64Index([999], dtype=int64)

评论

0赞 pythOnometrist 5/28/2012
绝对比循环好。集合差值是恒定时间运算吗?
1赞 lbolla 5/28/2012
它不能是常数 O(1) 时间运算。它的复杂性取决于实现,但如果使用普通的 python 集,它可能是 B.index 元素数量的线性时间。 实现确实为每个数组构建一个,然后执行设置差异(参见 github.com/pydata/pandas/blob/master/pandas/core/index.py#L577)。它还执行输出索引,因此最终复杂度类似于 O(m lg m) 和 m = len(B.index)...pandassetIndexsort