如何在 Pyspark 中向现有日期列添加 10 天

How to add ten days to existing date column in Pyspark

提问人:PineNuts0 提问时间:6/5/2018 最后编辑:M IsmailPineNuts0 更新时间:2/22/2023 访问量:67121

问:

我在 Pyspark 中有一个数据帧,其中包含一个名为“report_date”的日期列。

我想创建一个名为“report_date_10”的新列,该列将添加到原始report_date列的 10 天。

以下是我尝试的代码:

df_dc["report_date_10"] = df_dc["report_date"] + timedelta(days=10)

这是我得到的错误:

AttributeError:“datetime.timedelta”对象没有属性“_get_object_id”

帮助!感谢

日期 pyspark 加法

评论

0赞 pault 6/5/2018
如何做到这一点本质上是如何创建良好的可重现 apache spark 数据帧示例中提供的示例。

答:

41赞 Psidom 6/5/2018 #1

您似乎正在使用添加列的语法;对于 spark,您需要使用 to 添加新列;为了添加日期,有内置函数:pandaswithColumndate_add

import pyspark.sql.functions as F
df_dc = spark.createDataFrame([['2018-05-30']], ['report_date'])

df_dc.withColumn('report_date_10', F.date_add(df_dc['report_date'], 10)).show()
+-----------+--------------+
|report_date|report_date_10|
+-----------+--------------+
| 2018-05-30|    2018-06-09|
+-----------+--------------+