在 Databricks 中在 Python 和 R 之间共享数据帧

Share Dataframes between Python and R in Databricks

提问人:dzegpi 提问时间:11/7/2023 最后编辑:jpsmithdzegpi 更新时间:11/7/2023 访问量:41

问:

我在 Databricks 中有一个 Python 笔记本,我在其中运行带有 magic 命令的 Python 脚本,如下所示%run

%run "/Users/myself/myproject/import_data"

这运行得很顺利,我只需在当前笔记本上调用它们即可访问这些对象。pyspark.sql.dataframe.DataFrame

现在,我想在 R 单元格中操作表,所以我运行df

%r
library(tidyverse)
library(sparklyr)
sc <- spark_connect(method = "databricks")
df_in_r <- tbl(sc, "df")

但我收到错误“......找不到表或视图...”。显然,该表不在 sparklyr 访问的架构中。奇怪的是,当我运行时,我可以看到我的同事在我的组织内正在处理的其他表,但不是我感兴趣的表,我刚刚在当前会话中导入了这些表。df%r scr_tbls(sc)

如何访问 R 单元格中脚本加载的表,并停止查看不属于我业务的其他表?import_data

Python R Sparklyr GCP-Databricks

评论


答: 暂无答案