嗨，大家好， 我一直在努力在 GCP 托管的 Databricks 中 Hive 元存储中的架构级别获取 DDL。我已经实现了一个 Python 代码，该代码在 dbfs/temp 目录中生成 SQ...

我正在使用 pyspark 将 csv 加载到 redshift。我想查询一下 manny 行是如何添加的。 我使用以下函数创建一个新列：withcolumn csvdata=df.withColu...

我正在尝试创建一个 DLT 管道来实现 SCD 类型 1。但是，在我最初的完全刷新之后，当我尝试进行增量刷新时，它失败并出现以下错误： “发生错误，因为我们检测到对源表中的一行或多行进行了更新或删除...

我试图将我的数据从青铜层移动到银层，只查看更改源数据。 我正在读取数据如下： df = spark.readStream.format("delta") \ .option("readChang...

我正在从 PostgresSQL 创建一个 parquet 文件，它的所有内容都标记为 varchar 列。在 ADLS 中拥有文件后，我们希望使用 Python/Pyspark 根据 Azure D...

我正在从 PostgresSQL 创建一个 parquet 文件，它的所有内容都标记为 varchar 列。在 ADLS 中获取文件后，我们希望使用 Python/Pyspark 根据 Azure D...

我有以下 shell 命令，我正在尝试在 databricks 中运行： find /dbfs/mnt/data/ -name somename.tar.tar -exec tar -xvzf {}...

我正在通过 databricks 将 parquet 文件写入 azure Data Lake Storage 系统。 我正在使用以下命令来编写 parquet 文件： cultural_split...

如何设置 Databricks 群集策略以引用 oracle jar 文件？我正在通过 JSON 创建策略（在 UI 中，我在创建策略时不允许查看“库”选项卡）。我做了广泛的研究，还没有找到合适的答案...

我有以下数据帧作为行类型（转换为 dataframe.collect（））以进一步处理，但 它正在转换为 datetime.datetime（），我怎样才能摆脱 datetime.datetime 并...