提问人:PineNuts0 提问时间:2/13/2019 更新时间:2/13/2019 访问量:13680
Python pyspark:使用 F.current_date() 筛选当前日期前 1 天
Python Pyspark: Filter for 1 Day Before Current Date Using F.current_date()
问:
我想筛选特定日期之前的所有日期的数据集。具体来说,在当前日期前 1 天。
我尝试了下面的代码:
df = df.filter(F.col('date') <= F.current_date() - 1)
但是我收到了以下错误:
u"cannot resolve '(current_date() - 1)' due to data type mismatch: differing types in '(current_date() - 1)' (date and int)
答:
8赞
Psidom
2/13/2019
#1
F.date_sub
方法应该有效:
df.filter(F.col('date') <= F.date_sub(F.current_date(), 1))
评论
F.datediff
来实现此目的:F.datediff(F.current_date(), "date") >= 1)