Pandas 2 Pyarrow 未转换日期“2006 年 10 月 18 日”-解网

问：

刚开始使用 pandas 2 并想使用箭头后端，但它没有从 csv 转换日期字段。在 csv 中，date2 的格式为“10/18/2006”，称为 date2。为什么会发生这种情况，我怎样才能将date2转换为date32[day][pyarrow]格式。

import pandas as pd
import pyarrow as pa

df_date_test = pd.read_csv( core_test , engine="pyarrow", dtype_backend="pyarrow")

版本

pandas version 2.1.1
numpy version 1.26.2
pyarrow version 14.0.1

df_date_test的布局是

    name    date1   date2
0   bob     2007-01-03  10/18/2006
1   bob     2007-01-04  10/18/2007
2   bob     2007-01-05  10/18/2008
3   bob     2007-01-08  10/18/2009

使用 dtypes

name          string[pyarrow]
date1    date32[day][pyarrow]
date2         string[pyarrow]
dtype: object


from df_date_test = pd.read_csv( test_data , engine="pyarrow",dtype_backend="pyarrow")

 df_date_test.date1.dtypes is string[pyarrow]
 df_date_test.date1[0] is '10/18/2006' 


 <class 'pandas.core.series.Series'>
 RangeIndex: 504528 entries, 0 to 504527 Series name: date1 Non-Null Count Dtype -------------- ----- 341712

 non-null string[pyarrow]

 dtypes: string[pyarrow](1) memory usage:

熊猫 Pyarrow

嗨@erogluegemen感谢您抽出宝贵时间。我收到此错误“OptionError：没有这样的键：'mode.use_arrow'”但进度：-）日期的格式正确。我可以玩的东西。我希望 pyarrow 能够处理这种情况，因为我在 df_date_test = pd.read_csv（ core_test ， engine=“pyarrow”， dtype_backend=“pyarrow

0赞 erogluegemen 11/16/2023

对不起，我很熟悉那个:(也许这个链接可以帮助你：arrow.apache.org/docs/python/......我建议您检查日期时间（时间戳）类型和日期类型部分。愿你安好！！！

0赞 theakson 11/16/2023

会做的，谢谢你抽出宝贵时间

0赞 0x26res 11/16/2023 #2

您可以使用和 argurments 显式指定每个日期/时间列的日期格式。parse_datesdate_format

但是由于某种原因，pandas 假设 date2 是类型，需要用参数显式转换回。datetime64[ns]date32[day][pyarrow]dtype

date_format = {
    "date1": "%Y-%m-%d",
    "date2": "%m/%d/%Y",
}

pd.read_csv(
    "foo.csv" ,
    engine="pyarrow", 
    dtype_backend="pyarrow",
    parse_dates=list(date_format.keys()),
    date_format=date_format,
    dtype={"date2": "date32[day][pyarrow]"},
)

您可以在文档中使用更多选项

Pandas 2 Pyarrow 未转换日期“2006 年 10 月 18 日”

pandas 2 pyarrow not converting date "10/18/2006"

评论

评论

评论