提问人: 提问时间:5/3/2015 最后编辑:9 revsMichaelChirico 更新时间:10/18/2020 访问量:100289
将 SAS sas7bdat 数据读取到 R 中
Read SAS sas7bdat data into R
问:
R 有哪些选项可用于将本机 SAS 格式的文件读取到 R 中?sas7bdat
例如,NCES Common Core 包含以这种格式保存的大量数据文件存储库。具体而言,让我们专注于尝试阅读 1997-98 年 LEA Universe 中的这个文件,其中包含从 A 到 I 的所有州实体的教育机构级别的人口统计数据。
以下是 SAS 对数据的预览:
将此数据引入 R 环境的最简单方法是什么?我没有任何可用的SAS版本,也不愿意付费,因此简单地将其转换为.csv会很麻烦。
答:
问题
问题似乎是您尝试使用的文件格式不佳。具体来说,空白单元格没有被编码(使用),而只是留空。当尝试加载制表符分隔的文件时,这会给 R 带来问题,因为 R 认为列数不正确。R
NA
使用 SAS 文件的解决方法
我找到了一种解决方法,即使用软件包加载SAS文件,然后将空白单元格()重新编码为NA:sas7bdat
""
install.packages("sas7bdat")
require("sas7bdat")
download.file("http://nces.ed.gov/ccd/Data/zip/ag121a_supp_sas.zip",
destfile = "sas.zip")
unzip("sas.zip")
sas <- read.sas7bdat(file = "ag121a_supp.sas7bdat", debug = FALSE)
sas[sas == ""] <- NA
但是,此方法有两个问题需要注意:
- 它很慢(见评论)
sas7bdat
在撰写本文时,软件包目前被其作者视为实验性软件包。因此,它可能不会加载所有 sas 文件,我会在使用前彻底检查它所做的不一致。
非 R 解决方案
它并不完全是规范的,但您也可以下载制表符分隔的文件,在 LibreOffice Calc 中打开它们(Microsoft Excel 似乎搞砸了),然后通过搜索和替换为 来查找并替换所有文件。""
NA
评论
data.table
csv
R
sas7bdat
haven
C
R
sas7bdat
R
localc
sed
sas7bdat
除了我正在查看的一个文件(特别是这个文件)之外,其他所有文件都工作正常;在向开发人员 Matthew Shotwell 报告错误时,他还向我指出了 R 中 Hadley 包的方向,该包也有一个方法。sas7bdat
haven
read_sas
这种方法之所以优越,有两个原因:
1)读取上面链接的文件没有任何问题
2)它比.下面是一个快速基准测试(在此文件上,该文件比其他文件小)作为证据:read.sas7bdat
microbenchmark(times=10L,
read.sas7bdat("psu97ai.sas7bdat"),
read_sas("psu97ai.sas7bdat"))
Unit: milliseconds
expr min lq mean median uq max neval cld
read.sas7bdat("psu97ai.sas7bdat") 66696.2955 67587.7061 71939.7025 68331.9600 77225.1979 82836.8152 10 b
read_sas("psu97ai.sas7bdat") 397.9955 402.2627 410.4015 408.5038 418.1059 425.2762 10 a
没错,(平均)花费的时间比 少 99.5%。haven::read_sas
sas7bdat::read.sas7bdat
次要更新
我以前无法弄清楚这两种方法是否产生了相同的数据(即,两者在读取数据方面具有相同的保真度),但最终做到了:
# Keep as data.tables
sas7bdat <- setDT(read.sas7bdat("psu97ai.sas7bdat"))
haven <- setDT(read_sas("psu97ai.sas7bdat"))
# read.sas7bdat prefers strings as factors,
# and as of now has no stringsAsFactors argument
# with which to prevent this
idj_factor <- sapply(haven, is.factor)
# Reset all factor columns as characters
sas7bdat[ , (idj_factor) := lapply(.SD, as.character), .SDcols = idj_factor]
# Check equality of the tables
all.equal(sas7bdat, haven, check.attributes = FALSE)
# [1] TRUE
但是,请注意,该文件保留了大量属性列表,可能是 SAS 的保留:read.sas7bdat
str(sas7bdat)
# ...
# - attr(*, "column.info")=List of 70
# ..$ :List of 12
# .. ..$ name : chr "NCESSCH"
# .. ..$ offset: int 200
# .. ..$ length: int 12
# .. ..$ type : chr "character"
# .. ..$ format: chr "$"
# .. ..$ fhdr : int 0
# .. ..$ foff : int 76
# .. ..$ flen : int 1
# .. ..$ label : chr "UNIQUE SCHOOL ID (NCES ASSIGNED)"
# .. ..$ lhdr : int 0
# .. ..$ loff : int 44
# .. ..$ llen : int 32
# ...
所以,如果你有机会需要这些属性(例如,我知道有些人特别热衷于s),也许毕竟是你的选择。label
read.sas7bdat
评论
?haven::read_sas
attributes(df)
自 2018 年 1 月 18 日起,haven R 库会将 sas 和 stata 数据集加载到 R 环境中。在 R 中,简单地说:
library(haven)
data <- read_sas("C:/temp/mysasdataset.sas7bdat")
View(data)
还可以在 R Studio 中手动加载数据。在环境窗格中,选择
从 SAS 导入数据集>...
选择文件位置,然后单击“导入”
评论
另一个选择可能是我的 readsas
包。语法类似于包的语法和 read-series 的其他语法。导入的数据以 with 属性的形式返回。该软件包是从头开始编写的,具有对未压缩和压缩文件的读取支持。foreign
data.frame()
sas7bdat
尽管它已经过很多测试,但该软件包仍处于早期开发阶段。
library(readsas)
dat <- read.sas("psu97ai.sas7bdat")
评论
sas7bdat
haven
Hmisc::sas.get
haven
Hmisc
haven
读取文件就好了。我还需要这些格式,因为我从 sas 获得的大量数据基本上都是未格式化的。当不给我一个模糊的错误时,它并没有真正应用格式——只是将它们保留为需要更多用户跑腿工作的属性——不多,不难,但有出错的空间。 (以及我使用的包装器 fn)在 sas 中执行所有这些操作(可选)并返回格式化的数据框haven
Hmisc::sas.get