如何处理 Pandas 中的 SettingWithCopyWarning

How to deal with SettingWithCopyWarning in Pandas

提问人:bigbug 提问时间:12/17/2013 最后编辑:Weijun Zhoubigbug 更新时间:11/11/2023 访问量:2145288

问:

背景

我刚刚将我的 Pandas 从 0.11 升级到 0.13.0rc1。现在,该应用程序弹出了许多新的警告。其中之一是这样的:

E:\FinReporter\FM_EXT.py:449: SettingWithCopyWarning: A value is trying to be set on a copy of a slice from a DataFrame.
Try using .loc[row_index,col_indexer] = value instead
  quote_df['TVol']   = quote_df['TVol']/TVOL_SCALE

我想知道这到底是什么意思?我需要改变一些东西吗?

如果我坚持使用,我应该如何暂停警告?quote_df['TVol'] = quote_df['TVol']/TVOL_SCALE

发出警告的函数

def _decode_stock_quote(list_of_150_stk_str):
    """decode the webpage and return dataframe"""

    from cStringIO import StringIO

    str_of_all = "".join(list_of_150_stk_str)

    quote_df = pd.read_csv(StringIO(str_of_all), sep=',', names=list('ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefg')) #dtype={'A': object, 'B': object, 'C': np.float64}
    quote_df.rename(columns={'A':'STK', 'B':'TOpen', 'C':'TPCLOSE', 'D':'TPrice', 'E':'THigh', 'F':'TLow', 'I':'TVol', 'J':'TAmt', 'e':'TDate', 'f':'TTime'}, inplace=True)
    quote_df = quote_df.ix[:,[0,3,2,1,4,5,8,9,30,31]]
    quote_df['TClose'] = quote_df['TPrice']
    quote_df['RT']     = 100 * (quote_df['TPrice']/quote_df['TPCLOSE'] - 1)
    quote_df['TVol']   = quote_df['TVol']/TVOL_SCALE
    quote_df['TAmt']   = quote_df['TAmt']/TAMT_SCALE
    quote_df['STK_ID'] = quote_df['STK'].str.slice(13,19)
    quote_df['STK_Name'] = quote_df['STK'].str.slice(21,30)#.decode('gb2312')
    quote_df['TDate']  = quote_df.TDate.map(lambda x: x[0:4]+x[5:7]+x[8:10])
    
    return quote_df

更多警告消息

E:\FinReporter\FM_EXT.py:449: SettingWithCopyWarning: A value is trying to be set on a copy of a slice from a DataFrame.
Try using .loc[row_index,col_indexer] = value instead
  quote_df['TVol']   = quote_df['TVol']/TVOL_SCALE
E:\FinReporter\FM_EXT.py:450: SettingWithCopyWarning: A value is trying to be set on a copy of a slice from a DataFrame.
Try using .loc[row_index,col_indexer] = value instead
  quote_df['TAmt']   = quote_df['TAmt']/TAMT_SCALE
E:\FinReporter\FM_EXT.py:453: SettingWithCopyWarning: A value is trying to be set on a copy of a slice from a DataFrame.
Try using .loc[row_index,col_indexer] = value instead
  quote_df['TDate']  = quote_df.TDate.map(lambda x: x[0:4]+x[5:7]+x[8:10])
python pandas 数据帧 chained-assignment pandas-settingwithcopy-warning

评论

4赞 Peter Cotton 6/1/2016
下面是一个上下文管理器,用于临时设置警告级别 gist.github.com/notbanker/2be3ed34539c86e22ffdd88fd95ad8bc
1赞 wyx 5/30/2018
pandas.pydata.org/pandas-docs/stable/......官方文件详解
6赞 Kyle C 1/16/2019
@leonprou 已被弃用。Pandas 现在建议改用 or。这里的文档 pandas.pydata.org/pandas-docs/stable/generated/...df.set_value.at[].iat[]
10赞 Asclepius 8/13/2020
使用避免,而引起。df.loc[:, foo]SettingWithCopyWarningdf[foo]SettingWithCopyWarning
0赞 Serge Stroobandt 8/16/2021
这回答了你的问题吗?使用索引为 pandas DataFrame 中的特定单元格设置值

答:

1631赞 Garrett 12/17/2013 #1

创建 是为了标记可能令人困惑的“链式”赋值,例如以下内容,这些赋值并不总是按预期工作,尤其是当第一个选择返回副本时。[有关背景讨论,请参见 GH5390 和 GH5597SettingWithCopyWarning

df[df['A'] > 2]['B'] = new_val  # new_val not set in df

该警告提供了重写建议,如下所示:

df.loc[df['A'] > 2, 'B'] = new_val

但是,这不适合您的用法,这相当于:

df = df[df['A'] > 2]
df['B'] = new_val

虽然很明显,你并不关心写入是否将其返回到原始帧(因为你正在覆盖对它的引用),但不幸的是,这种模式无法与第一个链式赋值示例区分开来。因此(误报)警告。如果您想进一步阅读,有关索引的文档中解决了误报的可能性。您可以使用以下分配安全地禁用此新警告。

import pandas as pd
pd.options.mode.chained_assignment = None  # default='warn'

其他资源

评论

60赞 Rishabh Agrahari 5/6/2021
我正在使用数据帧的切片,在该切片中进行修改,并收到此错误。我通过对原始数据帧执行操作来创建此切片,并且它起作用了。.copy()
1赞 Mehdi Abbassi 7/28/2021
我该如何处理?df = df[df['A'].notnull()]
10赞 Zoltán 8/24/2022
@Garrett请考虑将@RishabhAgrahari的评论添加到您的答案中。告诉熊猫你打算通过调用切片来操作切片的副本,这比在运行时中完全禁用所有情况的警告要好得多。.copy()
1赞 frank 12/9/2022
就我而言,警告没有设置在要修改的行上。我在第一行过滤了数据,然后在第二行上创建了一个计算字段。第二行显示警告,实际上解决方案是通过添加对 .copy() 的调用来修改第一行。这是误导性的,有时这两行被相当多的代码分隔开来。
2赞 Cameron Bieganek 5/12/2023
在切片上使用是一种糟糕的解决方法,因为它引入了一个额外的、不需要的副本。子集操作(如已创建新的数据帧),因此在算法上不需要额外的副本。.copy()df[df.a > 2]
176赞 Jeff 12/18/2013 #2

一般来说,这样做的目的是向用户(尤其是新用户)表明,他们可能正在操作副本,而不是他们认为的原始副本。误报(IOW,如果你知道自己在做什么,它可能没问题)。一种可能性是按照@Garrett建议关闭(默认警告)警告SettingWithCopyWarning

这是另一种选择:

In [1]: df = DataFrame(np.random.randn(5, 2), columns=list('AB'))

In [2]: dfa = df.ix[:, [1, 0]]

In [3]: dfa.is_copy
Out[3]: True

In [4]: dfa['A'] /= 2
/usr/local/bin/ipython:1: SettingWithCopyWarning: A value is trying to be set on a copy of a slice from a DataFrame.
Try using .loc[row_index,col_indexer] = value instead
  #!/usr/local/bin/python

您可以将该对象的标志设置为 ,这将有效地关闭检查is_copyFalse

In [5]: dfa.is_copy = False

In [6]: dfa['A'] /= 2

如果显式复制,则不会发生进一步的警告:

In [7]: dfa = df.ix[:, [1, 0]].copy()

In [8]: dfa['A'] /= 2

OP 上面显示的代码虽然是合法的,而且可能我也这样做,但从技术上讲是此警告的案例,而不是误报。另一种没有警告的方法是通过 进行选择操作,例如reindex

quote_df = quote_df.reindex(columns=['STK', ...])

quote_df = quote_df.reindex(['STK', ...], axis=1)  # v.0.21

评论

11赞 Marses 6/2/2021
我认为说存在误报是轻描淡写的。我不认为我曾经有过这个警告对我有帮助,而且我让它堵塞我的输出的次数是疯狂的。这也是一种糟糕的编程实践:如果你开始忽略输出中的警告,因为你知道它们是纯粹的垃圾,你可能会开始错过真正的问题。必须一直关闭相同的警告也很烦人。
49赞 firelynx 10/24/2016 #3

Pandas 数据帧复制警告

当你去做这样的事情时:

quote_df = quote_df.ix[:,[0,3,2,1,4,5,8,9,30,31]]

pandas.ix 在本例中,返回一个新的独立 DataFrame。

您决定在此数据帧中更改的任何值都不会更改原始数据帧。

这就是熊猫试图警告你的。


为什么是个坏主意.ix

该对象试图做不止一件事,对于任何读过任何关于干净代码的人来说,这是一种强烈的气味。.ix

给定此数据帧:

df = pd.DataFrame({"a": [1,2,3,4], "b": [1,1,2,2]})

两种行为:

dfcopy = df.ix[:,["a"]]
dfcopy.a.ix[0] = 2

行为一:现在是一个独立的 DataFrame。改变它不会改变dfcopydf

df.ix[0, "a"] = 3

行为二:这将更改原始数据帧。


请改用.loc

熊猫开发人员认识到该对象非常臭[推测],因此创建了两个新对象,有助于数据的加入和分配。(另一个是.ix.iloc)

.loc速度更快,因为它不会尝试创建数据的副本。

.loc旨在就地修改现有的 DataFrame,这样可以提高内存效率。

.loc是可预测的,它有一个行为。


解决方案

您在代码示例中所做的是加载一个包含大量列的大文件,然后将其修改为更小的文件。

该功能可以帮助您解决很多问题,还可以使文件的加载速度更快。pd.read_csv

所以而不是这样做

quote_df = pd.read_csv(StringIO(str_of_all), sep=',', names=list('ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefg')) #dtype={'A': object, 'B': object, 'C': np.float64}
quote_df.rename(columns={'A':'STK', 'B':'TOpen', 'C':'TPCLOSE', 'D':'TPrice', 'E':'THigh', 'F':'TLow', 'I':'TVol', 'J':'TAmt', 'e':'TDate', 'f':'TTime'}, inplace=True)
quote_df = quote_df.ix[:,[0,3,2,1,4,5,8,9,30,31]]

执行此操作

columns = ['STK', 'TPrice', 'TPCLOSE', 'TOpen', 'THigh', 'TLow', 'TVol', 'TAmt', 'TDate', 'TTime']
df = pd.read_csv(StringIO(str_of_all), sep=',', usecols=[0,3,2,1,4,5,8,9,30,31])
df.columns = columns

这将只读取您感兴趣的列,并正确命名它们。不需要使用邪恶的物体来做魔法的事情。.ix

5赞 Steohan 6/24/2017 #4

如果已将切片分配给变量,并希望使用该变量进行设置,如下所示:

df2 = df[df['A'] > 2]
df2['B'] = value

而且你不想使用 Jeff 的解决方案,因为你的条件计算时间很长或出于其他原因,那么你可以使用以下方法:df2

df.loc[df2.index.tolist(), 'B'] = value

df2.index.tolist()返回 DF2 中所有条目的索引,然后使用这些索引在原始 DataFrame 中设置 B 列。

评论

1赞 Claudiu Creanga 6/14/2018
这是 df[“B”] = value 贵 9 倍
0赞 gies0r 9/24/2018
你能@ClaudiuCreanga更深入地解释一下吗?
13赞 Raphvanns 7/28/2017 #5

为了消除任何疑问,我的解决方案是制作切片的深度副本,而不是常规副本。 这可能不适用,具体取决于您的上下文(内存限制/切片大小、性能下降的可能性 - 特别是如果复制像我一样在循环中发生,等等......

需要明确的是,这是我收到的警告:

/opt/anaconda3/lib/python3.6/site-packages/ipykernel/__main__.py:54:
SettingWithCopyWarning: A value is trying to be set on a copy of a slice from a DataFrame
See the caveats in the documentation:
http://pandas.pydata.org/pandas-docs/stable/indexing.html#indexing-view-versus-copy

插图

我怀疑警告是因为我在切片的副本上放了一列。虽然从技术上讲,没有尝试在切片副本中设置值,但这仍然是对切片副本的修改。

以下是我为确认怀疑而采取的(简化)步骤,我希望它能帮助我们这些试图理解警告的人。

示例 1:在原稿上删除列会影响副本

我们已经知道了,但这是一个健康的提醒。这不是警告的内容。

>> data1 = {'A': [111, 112, 113], 'B':[121, 122, 123]}
>> df1 = pd.DataFrame(data1)
>> df1

    A    B
0    111    121
1    112    122
2    113    123


>> df2 = df1
>> df2

A    B
0    111    121
1    112    122
2    113    123

# Dropping a column on df1 affects df2
>> df1.drop('A', axis=1, inplace=True)
>> df2
    B
0    121
1    122
2    123

可以避免对 df1 所做的更改影响 df2。注意:您可以通过执行来避免导入。copy.deepcopydf.copy()

>> data1 = {'A': [111, 112, 113], 'B':[121, 122, 123]}
>> df1 = pd.DataFrame(data1)
>> df1

A    B
0    111    121
1    112    122
2    113    123

>> import copy
>> df2 = copy.deepcopy(df1)
>> df2
A    B
0    111    121
1    112    122
2    113    123

# Dropping a column on df1 does not affect df2
>> df1.drop('A', axis=1, inplace=True)
>> df2
    A    B
0    111    121
1    112    122
2    113    123

示例 2:删除副本上的列可能会影响原始列

这实际上说明了警告。

>> data1 = {'A': [111, 112, 113], 'B':[121, 122, 123]}
>> df1 = pd.DataFrame(data1)
>> df1

    A    B
0    111    121
1    112    122
2    113    123

>> df2 = df1
>> df2

    A    B
0    111    121
1    112    122
2    113    123

# Dropping a column on df2 can affect df1
# No slice involved here, but I believe the principle remains the same?
# Let me know if not
>> df2.drop('A', axis=1, inplace=True)
>> df1

B
0    121
1    122
2    123

可以避免对 df2 所做的更改影响 df1

>> data1 = {'A': [111, 112, 113], 'B':[121, 122, 123]}
>> df1 = pd.DataFrame(data1)
>> df1

    A    B
0    111    121
1    112    122
2    113    123

>> import copy
>> df2 = copy.deepcopy(df1)
>> df2

A    B
0    111    121
1    112    122
2    113    123

>> df2.drop('A', axis=1, inplace=True)
>> df1

A    B
0    111    121
1    112    122
2    113    123
6赞 hughdbrown 10/13/2017 #6

你可以像这样避免整个问题,我相信:

return (
    pd.read_csv(StringIO(str_of_all), sep=',', names=list('ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefg')) #dtype={'A': object, 'B': object, 'C': np.float64}
    .rename(columns={'A':'STK', 'B':'TOpen', 'C':'TPCLOSE', 'D':'TPrice', 'E':'THigh', 'F':'TLow', 'I':'TVol', 'J':'TAmt', 'e':'TDate', 'f':'TTime'}, inplace=True)
    .ix[:,[0,3,2,1,4,5,8,9,30,31]]
    .assign(
        TClose=lambda df: df['TPrice'],
        RT=lambda df: 100 * (df['TPrice']/quote_df['TPCLOSE'] - 1),
        TVol=lambda df: df['TVol']/TVOL_SCALE,
        TAmt=lambda df: df['TAmt']/TAMT_SCALE,
        STK_ID=lambda df: df['STK'].str.slice(13,19),
        STK_Name=lambda df: df['STK'].str.slice(21,30)#.decode('gb2312'),
        TDate=lambda df: df.TDate.map(lambda x: x[0:4]+x[5:7]+x[8:10]),
    )
)

使用 Assign。来自文档:将新列分配给 DataFrame,返回一个新对象(副本),其中包含除新列之外的所有原始列。

请参阅 Tom Augspurger 关于 pandas 中方法链接的文章:Modern Pandas(第 2 部分):方法链接

2赞 Petr Szturc 11/27/2017 #7

对我来说,这个问题发生在以下简化示例中。我也能够解决它(希望有一个正确的解决方案):

带有警告的旧代码:

def update_old_dataframe(old_dataframe, new_dataframe):
    for new_index, new_row in new_dataframe.iterrorws():
        old_dataframe.loc[new_index] = update_row(old_dataframe.loc[new_index], new_row)

def update_row(old_row, new_row):
    for field in [list_of_columns]:
        # line with warning because of chain indexing old_dataframe[new_index][field]
        old_row[field] = new_row[field]
    return old_row

这将打印该行的警告old_row[field] = new_row[field]

由于update_row方法中的行实际上是类型,我将该行替换为:Series

old_row.at[field] = new_row.at[field]

即,一种访问/查找 .尽管两者都工作正常并且结果相同,但这样我就不必禁用警告(=保留它们以用于其他地方的其他链索引问题)。Series

10赞 jrouquie 3/9/2018 #8

这应该有效:

quote_df.loc[:,'TVol'] = quote_df['TVol']/TVOL_SCALE
832赞 cs95 12/28/2018 #9

如何处理熊猫?SettingWithCopyWarningChainedAssignmentError

这篇文章是为以下读者准备的,

  1. 想了解此警告的含义
  2. 想要了解抑制此警告的不同方法
  3. 希望了解如何改进其代码并遵循良好做法,以避免将来出现此警告。

设置

np.random.seed(0)
df = pd.DataFrame(np.random.choice(10, (3, 5)), columns=list('ABCDE'))
df
   A  B  C  D  E
0  5  0  3  3  7
1  9  3  5  2  4
2  7  6  8  8  1

什么是 ?SettingWithCopyWarning

要知道如何处理此警告,首先要了解它的含义以及为什么提出它。

筛选 DataFrame 时,可能会对帧进行切片/索引以返回视图副本,具体取决于内部布局和各种实现细节。顾名思义,“视图”是原始数据的视图,因此修改视图可能会修改原始对象。另一方面,“副本”是从原始数据复制,修改副本对原始数据没有影响。

正如其他答案所提到的,创建 是为了标记“链式分配”操作。在上面的设置中考虑。假设您要选择“B”列中的所有值,其中“A”列中的值> 5。Pandas 允许您以不同的方式执行此操作,有些方式比其他方式更正确。例如SettingWithCopyWarningdf

df[df.A > 5]['B']

1    3
2    6
Name: B, dtype: int64

df.loc[df.A > 5, 'B']

1    3
2    6
Name: B, dtype: int64

它们返回相同的结果,因此,如果您只读取这些值,则没有区别。那么,问题是什么?链式赋值的问题在于,通常很难预测是返回视图还是副本,因此,当您尝试重新赋值时,这在很大程度上会成为一个问题。若要在前面的示例的基础上进行构建,请考虑解释器如何执行此代码:

df.loc[df.A > 5, 'B'] = 4
# becomes
df.__setitem__((df.A > 5, 'B'), 4)

只需调用 .OTOH,请考虑以下代码:__setitem__df

df[df.A > 5]['B'] = 4
# becomes
df.__getitem__(df.A > 5).__setitem__('B', 4)

现在,根据返回的是视图还是副本,该操作可能无法正常工作__getitem____setitem__

通常,您应该使用 loc 进行基于标签的赋值,使用 iloc 进行基于整数/位置的赋值,因为规范保证它们始终在原始值上运行。此外,要设置单个单元格,应使用 atiat

更多信息可以在文档中找到。

注意所有用 完成的布尔索引操作也可以用 完成。唯一的区别是期望 索引的整数/位置或布尔值的 numpy 数组,以及 列的整数/位置索引。locilociloc

例如

df.loc[df.A > 5, 'B'] = 4

可以写成 nas

df.iloc[(df.A > 5).values, 1] = 4

df.loc[1, 'A'] = 100

可以写成

df.iloc[1, 0] = 100

等等。

从 pandas >= 2.0 开始,您可以启用写入时复制优化以节省内存并避免在写入之前复制数据(如果可能)。

这可以通过以下方式启用

pd.options.mode.copy_on_write = True

在此之后,尝试进行链式分配将导致

ChainedAssignmentError: A value is trying to be set on a copy of a DataFrame or Series through chained assignment.
When using the Copy-on-Write mode, such chained assignment never works to update the original DataFrame or Series, because the intermediate object on which we are setting values always behaves as a copy.

Try using '.loc[row_indexer, col_indexer] = value' instead, to perform the assignment in a single step.

该错误在与 类似的设置中引发。SettingWithCopyWarning


告诉我如何抑制警告!

考虑对 的 “A” 列进行简单操作。选择“A”并除以 2 将引发警告,但该操作将起作用。df

df2 = df[['A']]
df2['A'] /= 2
/Library/Frameworks/Python.framework/Versions/3.6/lib/python3.6/site-packages/IPython/__main__.py:1: SettingWithCopyWarning:
A value is trying to be set on a copy of a slice from a DataFrame.
Try using .loc[row_indexer,col_indexer] = value instead

df2
     A
0  2.5
1  4.5
2  3.5

有几种方法可以直接使此警告静音:

  1. (推荐)使用 loc 对子集进行切片

     df2 = df.loc[:, ['A']]
     df2['A'] /= 2     # Does not raise
    
  2. 更改pd.options.mode.chained_assignment可以设置为 、 或 。 是默认值。 将完全禁止显示警告,并抛出 ,阻止操作进行。None"warn""raise""warn"None"raise"SettingWithCopyError

     pd.options.mode.chained_assignment = None
     df2['A'] /= 2
    
  3. 制作深度复制

     df2 = df[['A']].copy(deep=True)
     df2['A'] /= 2
    

@Peter Cotton 在评论中提出了一种很好的方法,可以使用上下文管理器非侵入性地更改模式(根据此要点修改),仅在需要时设置模式,并在完成后将其重置回原始状态。

class ChainedAssignent:
    def __init__(self, chained=None):
        acceptable = [None, 'warn', 'raise']
        assert chained in acceptable, "chained must be in " + str(acceptable)
        self.swcw = chained

    def __enter__(self):
        self.saved_swcw = pd.options.mode.chained_assignment
        pd.options.mode.chained_assignment = self.swcw
        return self

    def __exit__(self, *args):
        pd.options.mode.chained_assignment = self.saved_swcw

用法如下:

# Some code here
with ChainedAssignent():
    df2['A'] /= 2
# More code follows

或者,引发异常

with ChainedAssignent(chained='raise'):
    df2['A'] /= 2

SettingWithCopyError:
A value is trying to be set on a copy of a slice from a DataFrame.
Try using .loc[row_indexer,col_indexer] = value instead

“XY问题”:我做错了什么?

很多时候,用户试图寻找抑制此异常的方法,而没有完全理解最初引发它的原因。这是 XY 问题的一个很好的例子,用户试图解决一个问题“Y”,而这个问题实际上是更深层次的问题“X”的症状。将根据遇到此警告的常见问题提出问题,然后提出解决方案。

第1项质询我有一个 DataFrame

df
       A  B  C  D  E
    0  5  0  3  3  7
    1  9  3  5  2  4
    2  7  6  8  8  1

我想将列“A”中的值> 5 到 1000 之间分配。我的预期输出是

      A  B  C  D  E
0     5  0  3  3  7
1  1000  3  5  2  4
2  1000  6  8  8  1

错误的方法:

df.A[df.A > 5] = 1000         # works, because df.A returns a view
df[df.A > 5]['A'] = 1000      # does not work
df.loc[df.A > 5]['A'] = 1000   # does not work

正确使用方式:loc

df.loc[df.A > 5, 'A'] = 1000

第2项质询1我正在尝试将单元格(1,'D')中的值设置为12345。我的预期输出是

   A  B  C      D  E
0  5  0  3      3  7
1  9  3  5  12345  4
2  7  6  8      8  1

我尝试了访问此单元格的不同方法,例如.最好的方法是什么?df['D'][1]

1. 这个问题与警告没有特别关系,但 了解如何正确执行此特定操作是件好事 以避免在以下情况下可能出现警告的情况 前途。

您可以使用以下任一方法执行此操作。

df.loc[1, 'D'] = 12345
df.iloc[1, 3] = 12345
df.at[1, 'D'] = 12345
df.iat[1, 3] = 12345

第3项质询我正在尝试根据某些条件对值进行子集化。我有一个 数据帧

   A  B  C  D  E
1  9  3  5  2  4
2  7  6  8  8  1

我想将“D”中的值分配给 123,使“C”== 5。我 试

df2.loc[df2.C == 5, 'D'] = 123

这看起来不错,但我仍然得到!如何解决此问题?SettingWithCopyWarning

这实际上可能是因为管道中更高的代码。你是不是从更大的东西开始创作的,比如df2

df2 = df[df.A > 5]

?在这种情况下,布尔索引将返回一个视图,因此将引用原始视图。您需要做的是分配给副本df2df2

df2 = df[df.A > 5].copy()
# Or,
# df2 = df.loc[df.A > 5, :]

第4项质询我正在尝试将列“C”从中放置

   A  B  C  D  E
1  9  3  5  2  4
2  7  6  8  8  1

但是使用

df2.drop('C', axis=1, inplace=True)

抛出。为什么会这样?SettingWithCopyWarning

这是因为必须已创建为来自其他切片操作的视图,例如df2

df2 = df[df.A > 5]

这里的解决方案是像以前一样使用 。copy()dfloc

评论

31赞 cs95 4/4/2019
PS:如果您的情况不在第 3 节的问题列表中,请告诉我。我会修改我的帖子。
1赞 Josiah Yoder 9/24/2020
我认为问题 2 链接到一个解决 loc、iloc、at 和 iat 之间差异的问题会很有帮助。你可能比我更了解这样的问题,但如果有帮助,我很乐意寻求一个。
4赞 Bryan P 11/18/2020
@cs95:您能否围绕您尝试基于对现有列的简单数学运算创建新列的情况添加 XY 描述。如 df['new_col'] = df['old_col']/2。其中“new_col”尚不存在。感谢
1赞 Mark 6/21/2021
@cs95 - 谢谢。几乎每个人都专注于你的问题 1 和 2。但是,我在问题 3 中遇到了子集问题。我发现在创建子网后,不再是 None,这导致我使用 .copy()。_is_copy
3赞 Pythonist 9/15/2021
非常感谢!我总是在我的代码中使用,因为我知道“链式赋值”问题,但我仍然时不时地变得近乎随机的烦人。事实证明,我的问题是您在“问题 3”中涵盖的内容。我花了几个月的时间才意识到这一点,所以也许应该在文档中更清楚地指出......无论如何,再次感谢!.locSettingWithCopyWarning
1赞 henning 10/20/2022
@cs95呢?df["widget"].replace("foo", "bar", inplace=True)
6赞 musbur 2/13/2019 #10

后续初学者问题/备注

也许对像我这样的其他初学者来说是一个澄清(我来自 R,它在引擎盖下的工作方式似乎有点不同)。以下看起来无害且功能正常的代码不断产生 SettingWithCopy 警告,我无法弄清楚原因。我已经阅读并理解了“链式索引”的问题,但我的代码不包含任何内容:

def plot(pdb, df, title, **kw):
    df['target'] = (df['ogg'] + df['ugg']) / 2
    # ...

但是,后来,为时已晚,我查看了 plot() 函数的调用位置:

    df = data[data['anz_emw'] > 0]
    pixbuf = plot(pdb, df, title)

所以 “df” 不是一个数据框,而是一个对象,它以某种方式记住它是通过索引数据框创建的(所以这是一个视图吗?),这将使 plot() 中的行,

 df['target'] = ...

等同于

 data[data['anz_emw'] > 0]['target'] = ...

这是一个链式索引。

无论如何

def plot(pdb, df, title, **kw):
    df.loc[:,'target'] = (df['ogg'] + df['ugg']) / 2

修复了它。

评论

0赞 m-dz 2/25/2021
派对有点晚了,但可能应该去,而不是功能。.locdf = data[data['anz_emw'] > 0]plot()
1赞 Lauren Fitch 3/17/2021
这个解释是唯一能打动我的解释(也许是因为我也来自 R)。谢谢!
58赞 user443854 2/28/2019 #11

在这里,我直接回答这个问题。我们该如何应对?

切片后做一个。参见 pandas。DataFrame.copy.copy(deep=False)

等等,切片不是返回副本吗?毕竟,这就是警告消息试图说的吗?阅读详细答案:

import pandas as pd
df = pd.DataFrame({'x':[1,2,3]})

这会发出警告:

df0 = df[df.x>2]
df0['foo'] = 'bar'

这不会:

df1 = df[df.x>2].copy(deep=False)
df1['foo'] = 'bar'

两者都是对象,但它们的某些部分不同,使 pandas 能够打印警告。让我们来看看它是什么。df0df1DataFrame

import inspect
slice= df[df.x>2]
slice_copy = df[df.x>2].copy(deep=False)
inspect.getmembers(slice)
inspect.getmembers(slice_copy)

使用您选择的差异工具,您会看到除了几个地址之外,唯一的实质性区别是:

|          | slice   | slice_copy |
| _is_copy | weakref | None       |

决定是否警告的方法是 which checks .所以你去吧。创建一个,以便您的 DataFrame 不是 .DataFrame._check_setitem_copy_is_copycopy_is_copy

警告建议使用 ,但如果您在 的帧上使用,您仍然会收到相同的警告。易误解的?是的。烦人?你敢打赌。 有帮助吗?当使用链式赋值时,可能会这样做。但它无法正确检测链分配,并且不分青红皂白地打印警告。.loc.loc_is_copy

评论

2赞 user650654 5/29/2021
好侦探。FWIW 我还发现它用于原始 df 和用于切片的 weakref。此外,在切片上返回原始 df 的所有行。但是打印的引用与原始 df 的 id 不同。切片会以某种方式复制吗?另外,我想知道浅拷贝是否会导致其他问题或更新版本的 pandas?_is_copyNone_is_copy()_is_copy
4赞 mirekphd 1/2/2022
这个答案当然值得为写作风格单独佩戴徽章。
1赞 waykiki 2/1/2022
毫无疑问,这是问题最具体、最直接的答案。说得好。
9赞 delica 5/17/2019 #12

有些人可能只想简单地禁止显示警告:

class SupressSettingWithCopyWarning:
    def __enter__(self):
        pd.options.mode.chained_assignment = None

    def __exit__(self, *args):
        pd.options.mode.chained_assignment = 'warn'

with SupressSettingWithCopyWarning():
    #code that produces warning
34赞 Mikulas 6/9/2019 #13

这个话题真的和熊猫混淆了。幸运的是,它有一个相对简单的解决方案。

问题在于,并不总是清楚数据过滤操作(例如 loc)是否返回 DataFrame 的副本或视图。因此,进一步使用这种过滤的 DataFrame 可能会造成混淆。

简单的解决方案是(除非您需要处理非常大的数据集):

每当需要更新任何值时,请始终确保在赋值之前显式复制 DataFrame。

df  # Some DataFrame
df = df.loc[:, 0:2]  # Some filtering (unsure whether a view or copy is returned)
df = df.copy()  # Ensuring a copy is made
df[df["Name"] == "John"] = "Johny"  # Assignment can be done now (no warning)

评论

0赞 memeplex 12/13/2020
对于大型数据集,您可以创建浅 (deep=False) 副本。尽管如此,压制警告似乎太过分了。
8赞 m-dz 2/3/2020 #14

由于这个问题已经在现有的答案中得到了充分的解释和讨论,我将只为上下文管理器提供一种简洁的 pandas 方法(指向文档示例的链接)——绝对没有必要创建一个包含所有 dunder 方法和其他花里胡哨的自定义类。pandas.option_context

首先是上下文管理器代码本身:

from contextlib import contextmanager

@contextmanager
def SuppressPandasWarning():
    with pd.option_context("mode.chained_assignment", None):
        yield

然后举个例子:

import pandas as pd
from string import ascii_letters

a = pd.DataFrame({"A": list(ascii_letters[0:4]), "B": range(0,4)})

mask = a["A"].isin(["c", "d"])
# Even shallow copy below is enough to not raise the warning, but why is a mystery to me.
b = a.loc[mask]  # .copy(deep=False)

# Raises the `SettingWithCopyWarning`
b["B"] = b["B"] * 2

# Does not!
with SuppressPandasWarning():
    b["B"] = b["B"] * 2

值得注意的是,这两种方法都不会修改,这对我来说有点令人惊讶,即使是浅 df 副本也会阻止引发此警告(据我了解,浅副本至少也应该修改,但事实并非如此。熊猫魔法。a.copy(deep=False)a

19赞 Zilbert97 3/27/2020 #15

从我使用该方法的预先存在的数据帧分配新数据帧时,我一直遇到这个问题。例如:.apply().query()

prop_df = df.query('column == "value"')
prop_df['new_column'] = prop_df.apply(function, axis=1)

将返回此错误。在这种情况下,似乎可以解决错误的解决方法是将其更改为:

prop_df = df.copy(deep=True)
prop_df = prop_df.query('column == "value"')
prop_df['new_column'] = prop_df.apply(function, axis=1)

但是,由于必须制作新副本,尤其是在使用大型数据帧时,效率高。

如果使用该方法生成新列及其值,则解决错误且更有效的修复方法是添加:.apply().reset_index(drop=True)

prop_df = df.query('column == "value"').reset_index(drop=True)
prop_df['new_column'] = prop_df.apply(function, axis=1)
4赞 mossishahi 7/13/2021 #16

当我执行这部分代码时,我遇到了同样的警告:

def scaler(self, numericals):
    scaler = MinMaxScaler()
    self.data.loc[:, numericals[0]] = scaler.fit_transform(self.data.loc[:, numericals[0]])
    self.data.loc[:, numericals[1]] = scaler.fit_transform(self.data.loc[:, numericals[1]])

其中是 MinMaxScaler,包含我的三个数字列的名称。scalernumericals[0]

当我将代码更改为:

def scaler(self, numericals):
    scaler = MinMaxScaler()
    self.data.loc[:][numericals[0]] = scaler.fit_transform(self.data.loc[:][numericals[0]])
    self.data.loc[:][numericals[1]] = scaler.fit_transform(self.data.loc[:][numericals[1]])

因此,只需更改为 .[:, ~][:][~]

0赞 Vaibhav Hiwase 10/13/2021 #17

只需在警告出现之前使用该方法创建数据帧的副本,即可删除所有警告。.copy()

发生这种情况是因为我们不想对原始quote_df进行更改。换句话说,我们不想引用我们为quote_df创建的quote_df对象。

quote_df = quote_df.copy()

评论

1赞 mirekphd 1/2/2022
这是不必要的深拷贝(默认选项是deep=True)
24赞 mikolaj semeniuk 10/16/2021 #18

简单地说:

import pandas as pd
# ...
pd.set_option('mode.chained_assignment', None)
6赞 Calculate 1/1/2022 #19

这可能仅适用于 NumPy,这意味着您可能需要导入它,但我用于示例 NumPy 的数据对于计算来说不是必需的,但您可以使用下面的一行代码简单地停止此设置并显示复制警告消息:

np.warnings.filterwarnings('ignore')

评论

3赞 Z.LI 5/3/2022
这个是最好的!谢谢。复制警告真的很烦人!
3赞 Hamzah 2/12/2022 #20

就我而言,我会根据索引创建一个新列,但我收到了与您相同的警告:

df_temp["Quarter"] = df_temp.index.quarter

我使用 insert() 而不是直接赋值,它对我有用:

df_temp.insert(loc=0, column='Quarter', value=df_temp.index.quarter)
2赞 cottontail 5/23/2023 #21

为什么会这样?

选择列列表并将其分配给变量将创建一个副本。在 pandas 中,对数据帧进行切片或索引会创建一个副本。但是,与函数调用(如 等)不同的是,也可以创建副本,您可以为切片或索引的数据帧赋值,这成为一个问题,因为新赋值(即链式赋值)可能不起作用。因此,这基本上是在提醒您正在为副本分配新值。filter()query()SettingWithCopyWarning

有时令人困惑的是,如果副本上的赋值没有更改原始数据帧的形状(或使副本具有与原始数据帧相同的形状),则不会引发该值。

df1 = pd.DataFrame({'A': [1, 2, 3], 'B': [1, 2, 3]})
df2 = df1[df1['A']<3]        # <--- one row is filtered out
df2.loc[0, 'C'] = 1          # <--- SettingWithCopyWarning (because it is replacing a value on the copy)
df2.loc[3, 'C'] = 1          # <--- no warning (because it adds a new row which makes df2's shape the same as df1)

过滤列也是如此;更改作为原始 DataFrame 子集的副本会引发警告,但如果该副本不再是子集,则不会发出警告。

df2 = df1[['A']]               # <--- filters one column out
df2.loc[2, 'A'] = 100          # <--- SettingWithCopyWarning (tries to change a value on the copy)
df2['C'] = 100                 # <--- no warning (adds new column to copy)

解决方案:启用写入时复制

从 pandas 1.5.0 开始,pandas 具有 Copy-on-Write (CoW) 模式,该模式使从另一个派生的任何数据帧/系列的行为都像副本一样;因此,当它启用时,只能通过修改对象本身来更改 DataFrame/Series 中的值。一个后果是永远不会被提出来。另一个是链式赋值永远不起作用。此外,仅当数据与另一个对象共享时,才会创建副本(通常,大多数 pandas 方法会创建一个副本,这会减慢代码速度),因此 CoW 的 pandas 操作更快。SettingWithCopyWarning

这计划是 pandas 3.0 的默认行为,但截至目前,您必须将其打开。

要全局启用它,

pd.options.mode.copy_on_write = True

或者使用上下文管理器在本地打开它:

with pd.option_context("mode.copy_on_write", True):
    # do operations

示例 1(静音):SettingWithCopyWarning

def func():
    df = pd.DataFrame({'A': range(5), 'B': range(5,0,-1)})
    df1 = df[['B']]           # select a list of columns
    df1.loc[0, 'B'] = 1       # assign a value to the copy
    
func()                        # <---- SettingWithCopyWarning


pd.options.mode.copy_on_write = True
func()                        # <---- no warning

示例 2(链式赋值不起作用):

pd.options.mode.copy_on_write = False
df = pd.DataFrame({'A': range(5), 'B': range(5,0,-1)})
df['B'][df['A']<4] = 10     # <---- df changes; no warning
df[df['A']<4]['B'] = 10     # <---- df doesn't change; throws SettingWithCopyWarning



pd.options.mode.copy_on_write = True
df = pd.DataFrame({'A': range(5), 'B': range(5,0,-1)})
df['B'][df['A']<4] = 10     # <---- df doesn't change; no warning
df[df['A']<4]['B'] = 10     # <---- df doesn't change; no warning

示例 3(使用链接方法返回视图,这大大提高了性能):

df = pd.DataFrame({'A': range(1_000_000), 'B': range(1_000_000)})

%%timeit
with pd.option_context('mode.copy_on_write', False):
    df.add_prefix('col ').set_index('col A').rename_axis('index col').reset_index()
# 30.5 ms ± 561 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)


%%timeit
with pd.option_context('mode.copy_on_write', True):
    df.add_prefix('col ').set_index('col A').rename_axis('index col').reset_index()
# 18 ms ± 513 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)
2赞 Chadee Fouad 9/26/2023 #22

在我的“后续步骤”开始时的这一行为我解决了这个问题:

df = df.iloc[:] #To avoid SettingWithCopyWarning 

评论

0赞 Evan 10/8/2023
这是一个非常干净的解决方案,也适用于我。谢谢。
0赞 Chadee Fouad 10/11/2023
别客气。很高兴你发现它有用:-)
0赞 Anthony Dave 10/30/2023 #23

就我而言,我只是使用 = NewVal 来实现该函数:PDCsv.loc[index, name]

PDCsv.loc[0, 'Name'] = 'Anthony Dave'
0赞 mirekphd 11/11/2023 #24

我使用 .loc 索引器(属性)来子集 s,以便在操作生成的子集时避免 s(如下所示):DataFrameSettingWithCopyWarningnew_df

# GOOD way to select a columns subset:
new_df = df.loc[:, cols_subset]

#.. vs. bad way:
new_df = df[cols_subset]
# works but gives this warning:
# A value is trying to be set on a copy of a slice from a DataFrame.
# Try using .loc[row_indexer,col_indexer] = value instead