提问人：Uri Laserson 提问时间：5/29/2012 最后编辑：piRSquaredUri Laserson 更新时间：1/5/2017 访问量：26424
如何离散化 pandas DataFrame 中的值并转换为二进制矩阵？
How do I discretize values in a pandas DataFrame and convert to a binary matrix?
问：
我的意思是这样的：
我有一个列，可能是分类的或名义的。对于每个观测值（行），我想生成一个新行，其中变量的每个可能值现在都是它自己的二进制变量。例如，此矩阵（第一行是列标签）DataFrame
'a' 'b' 'c'
one 0.2 0
two 0.4 1
two 0.9 0
three 0.1 2
one 0.0 4
two 0.2 5
将转换为如下所示：
'a' 'b' 'c'
one two three [0.0,0.2) [0.2,0.4) [0.4,0.6) [0.6,0.8) [0.8,1.0] 0 1 2 3 4 5
1 0 0 0 1 0 0 0 1 0 0 0 0 0
0 1 0 0 0 0 0 1 0 1 0 0 0 0
0 1 0 0 0 0 0 1 1 0 0 0 0 0
0 0 1 1 0 0 0 0 0 0 1 0 0 0
1 0 0 1 0 0 0 0 0 0 0 0 1 0
0 1 0 0 1 0 0 0 0 0 0 0 0 1
初始矩阵中的每个变量（列）都会被分箱到所有可能的值中。如果它是分类的，则每个可能的值都将成为一个新列。如果它是浮点数，则以某种方式对值进行分箱（例如，始终拆分为 10 个分箱）。如果它是一个 int，那么它可以是每个可能的 int 值，或者也可以是 binning。
仅供参考：在我的实际应用程序中，该表最多有 200 万行，而完整的“扩展”矩阵可能有数百列。
有没有简单的方法可以执行此操作？
另外，我也愿意跳过这一步，因为我真的在尝试计算一个 Burt 表（它是交叉表的对称矩阵）。有没有一种简单的方法可以对函数执行类似的操作？否则，计算交叉制表只是一个简单的矩阵乘法。crosstab
答：
5赞
lbolla
5/29/2012
#1
您可以使用某种广播：
In [58]: df
Out[58]:
a b c
0 one 0.2 0
1 two 0.4 1
2 two 0.9 0
3 three 0.1 2
4 one 0.0 4
5 two 0.2 5
In [41]: (df.a.values[:,numpy.newaxis] == df.a.unique()).astype(int)
Out[41]:
array([[1, 0, 0],
[0, 1, 0],
[0, 1, 0],
[0, 0, 1],
[1, 0, 0],
[0, 1, 0]])
In [54]: ((0 <= df.b.values[:,numpy.newaxis]) & (df.b.values[:,numpy.newaxis] < 0.2)).astype(int)
Out[54]:
array([[0],
[0],
[0],
[1],
[1],
[0]])
In [59]: (df.c.values[:,numpy.newaxis] == df.c.unique()).astype(int)
Out[59]:
array([[1, 0, 0, 0, 0],
[0, 1, 0, 0, 0],
[1, 0, 0, 0, 0],
[0, 0, 1, 0, 0],
[0, 0, 0, 1, 0],
[0, 0, 0, 0, 1]])
然后将所有部分连接在一起或类似。pandas.concat
评论
0赞
Uri Laserson
5/30/2012
有没有办法通过巧妙地使用 or or 或类似的东西来执行类似的事情？crosstabpivot_tablestack
0赞
lbolla
5/30/2012
当然，对于“a”和“c”来说，这很简单：.对于“b”，我想它可以在 ...pandas.concat([pandas.crosstab(df.index, [df.a]), pandas.crosstab(df.index, [df.c])], axis=1)aggfunccrosstab
33赞
Wes McKinney
6/13/2012
#2
请注意，我已经实现了用于离散化连续数据的新函数：cutqcut
http://pandas-docs.github.io/pandas-docs-travis/basics.html#discretization-and-quantiling
1赞
Tim
7/5/2013
#3
将其他几条评论汇总到一个回答 OP 问题的回复中。
d = {'a' : pd.Series(['one', 'two', 'two', 'three', 'one', 'two']),
'b' : pd.Series([0.2, 0.4, 0.9, 0.1, 0.0, 0.2]),
'c' : pd.Series([0, 1, 0, 2, 4, 5]) }
data = pd.DataFrame(d)
a_cols = pd.crosstab(data.index, [data.a])
b_bins = pd.cut(data.b, [0.0, 0.2, 0.4, 0.6, 0.8, 1.0], right=False)
b_cols = pd.crosstab(data.index, b_bins)
c_cols = pd.crosstab(data.index, [data.c], )
new_data = a_cols.join(b_cols).join(c_cols)
new_data.index.names = ['']
print new_data.to_string()
"""
one three two [0, 0.2) [0.2, 0.4) [0.4, 0.6) [0.8, 1) 0 1 2 4 5
0 1 0 0 0 1 0 0 1 0 0 0 0
1 0 0 1 0 0 1 0 0 1 0 0 0
2 0 0 1 0 0 0 1 1 0 0 0 0
3 0 1 0 1 0 0 0 0 0 1 0 0
4 1 0 0 1 0 0 0 0 0 0 1 0
5 0 0 1 0 1 0 0 0 0 0 0 1
"""
3赞
elyase
8/2/2013
#4
我怀疑你会打败 patsy 的简单。它正是为这项任务而设计的：
>>> from patsy import dmatrix
>>> dmatrix('C(a) + C(b) + C(c) - 1', df, return_type='dataframe')
C(a)[one] C(a)[three] C(a)[two] C(b)[T.0.1] C(b)[T.0.2] C(b)[T.0.4] C(b)[T.0.9] C(c)[T.1] C(c)[T.2] C(c)[T.4] C(c)[T.5]
0 1 0 0 0 1 0 0 0 0 0 0
1 0 0 1 0 0 1 0 1 0 0 0
2 0 0 1 0 0 0 1 0 0 0 0
3 0 1 0 1 0 0 0 0 1 0 0
4 1 0 0 0 0 0 0 0 0 1 0
5 0 0 1 0 1 0 0 0 0 0 1
这里的均值将变量转换为分类变量，而 is 是为了避免输出截距列。C(a)-1
6赞
wonderkid2
3/22/2015
#5
对于示例中的 and 列等标记列，您可以使用 pandas 内置方法 get_dummies（）。ac
前任。：
import pandas as pd
s1 = ['a', 'b', np.nan]
pd.get_dummies(s1)
a b
0 1 0
1 0 1
2 0 0
评论
0赞
conner.xyz
8/19/2015
哇！这真是太棒了。
评论