提问人:stats_noob 提问时间:12/11/2021 最后编辑:Simon.S.A.stats_noob 更新时间:12/13/2021 访问量:292
dbplyr 选择不重复列
dbplyr select not duplicate columns
问:
我正在使用 R 编程语言。我有位于服务器上的下表:
age=18:29
height=c(76.1,77,78.1,78.2,78.8,79.7,79.9,81.1,81.2,81.8,82.8,83.5)
gender=c("M","F","M","M","F","F","M","M","F","M","F","M")
testframe = data.frame(age=age,height=height,height2=height,gender=gender,gender2=gender)
head(testframe)
age height height2 gender gender2
1 18 76.1 76.1 M M
2 19 77.0 77.0 F F
3 20 78.1 78.1 M M
4 21 78.2 78.2 M M
5 22 78.8 78.8 F F
6 23 79.7 79.7 F F
我的目标是从上面的表中删除相同的列,即使它们具有不同的名称。因此,最终产品将如下所示:
age height gender
1 18 76.1 M
2 19 77.0 F
3 20 78.1 M
4 21 78.2 M
5 22 78.8 F
6 23 79.7 F
我的问题:我想直接在服务器上从表中删除这些重复的列。我一直在阅读有关 R 中的“dbplyr”库的信息,我不确定这是否能够做到这一点。我尝试了以下两种方法:
方法1:
library(RODBC)
library(sqldf)
library(dplyr)
library(dbplyr)
library(odbc)
con = odbcConnect("some name", uid = "some id", pwd = "abc")
con <- DBI::dbConnect(RSQLite::SQLite(), ":memory:")
copy_to(con, testframe)
final_1 = testframe %>%
dplyr::select(., which(as.list(.) %>%
duplicated %>%
`!`))
方法2:
mtcars2 <- tbl(con, "testframe")
final_2 = mtcars2 %>%
dplyr::select(., which(as.list(.) %>%
duplicated %>%
`!`))
在上面的示例中,数据(“testframe”)在我的本地环境中,但我尝试使用该语句来尝试查看如果数据在服务器上,这些语句是否有效。copy_con
我的问题:上面示例中的代码似乎有效 - 但我不确定上面的代码是否只能对本地环境中的数据执行这些语句 - 或者它也可以对位于服务器上的数据执行这些相同的语句。有人可以对此发表评论吗?
谢谢!
答:
dbplyr 的工作原理是将 dplyr 命令转换为相应的数据库语言,然后再将这些命令传递到数据库。我强烈怀疑它会很难翻译,因为你要求它翻译这些指令的含义,而不是字面上的命令对命令的翻译。which(as.list(.) %>% duplicated %>% '!')
您可以使用模拟数据库连接来测试 dbplyr 转换。例如:
library(dplyr)
library(dbplyr)
age=18:29
height=c(76.1,77,78.1,78.2,78.8,79.7,79.9,81.1,81.2,81.8,82.8,83.5)
gender=c("M","F","M","M","F","F","M","M","F","M","F","M")
testframe = data.frame(age=age,height=height,height2=height,gender=gender,gender2=gender)
remote_table = tbl_lazy(testframe , con = simulate_mssql()) # the simulation
remote_table %>%
mutate(height3 = height2) %>%
select(height, height2, height3) %>%
show_query()
如果这生成了有效的数据库代码,那么您就知道您的 dplyr 命令正在按预期工作。但是,如果这会产生意外的数据库命令(或者翻译中出现 R 命令),则 dbplyr 无法将您的指令翻译成数据库语言。
对于这种类型的问题,我可能会采取如下方法:
all_column_names = colnames(remotetable)
num_cols = length(all_column_names)
is_dupe = rep(0, num_cols)
for(ii in 1:(num_cols - 1)){
for(jj in 2:num_cols) {
colA = all_column_names[ii]
colB = all_column_names[jj]
this_check = remotetable %>%
mutate(compare = ifelse(!!sym(colA) == !!sym(colB), 1, 0)) %>%
ungroup() %>%
summarise(num = n(), matches = sum(compare)) %>%
collect()
if(this_check$num == this_check$matches)
is_dupe[jj] = 1
}
}
这个想法是遍历所有列对,并使用基本的 dplyr 命令检查每个值是否相等。如果相等值的数等于值的总数,则将该列作为重复列进行匹配。然后,您可以使用输出来选择非重复列。
笔记
!!sym(colA)
获取存储在该变量中的文本,并将其转换为 DBPlyr 可以处理的列名。colA
collect()
是将数据从数据库拉取到本地 R 内存的命令。只有在您确信数据适合本地内存时才执行此操作。
评论
this_check
collect()
上一个:R:直接在服务器上创建表
下一个:如何根据递增的数字选择矩阵的列
评论
dplyr
dbplyr
copy_to
dbWriteTable
ALTER
UPDATE
show_query
SELECT
AS
FROM