运行增量实时表

Get Delta Live Tables running

提问人:monetenmangel 提问时间:11/18/2023 最后编辑:monetenmangel 更新时间:11/18/2023 访问量:16

问:

我是 Databricks Delta Live 表的新手,我构建了一个小型用例来测试其工作原理。 因此,我创建了 2 个表,我想将它们合并到笔记本中,然后将连接的表写入第 3 个表。密西根语 我想测试 APPLY CHANGES TO 函数 我想将连接的结果合并到第 3 个表中。此表目前为空,我在笔记本中尝试了此代码,但它不起作用。错误是:更新 5a190f 失败

脚本如下所示:

WITH cte AS (
  SELECT
    distinct a.PK,
    a.Value AS first_name,
    b.VALUE AS last_name
  FROM xx_xxx_xxx_dev.sandbox.tablea AS A
  JOIN xx_xxx_xxx_dev.sandbox.tableb AS B ON a.PK = b.FK
)

APPLY CHANGES INTO xx_xxx_xxx_dev.sandbox.joined_table
FROM cte
KEY (PK)
;

我感觉我在这里错过了很多东西,所以非常感谢任何帮助。流水线的配置如下:

流水线配置

如果笔记本中不存在该表,我首先尝试创建该表,但这不起作用,因此我在架构中创建了该表,该表在管道设置中引用为目标架构。 我玩过分号,但我没有任何线索 tbh 如果必须在 cte 的 2 个块之间有一些并应用更改部分。 联接的表只是架构中的常规表。

Databricks 数据砖 SQL AWS-DATABRICKS DELTA-LIVE-TABLES

评论

0赞 Alex Ott 11/18/2023
请发布完整的错误,如果您单击有关失败更新的消息,您可以获得该错误
0赞 monetenmangel 11/21/2023
一直是权限问题。此外,我了解到,您必须将 unity 目录定义为目标,而我不能仅在查询中使用 CTE,我需要使用 LIVE 表。然后除了 APPLY CHANGES INTO 之外,它确实可以工作,这给了我这个错误: == SQL == APPLY CHANGES INTO live.apply_changes_table from live.joined_live_table_2 Keys (primary_key) ------------------^^^ 对于此 SQL: CREATE OR REFRESH STREAMING TABLE apply_changes_table;将更改从live.joined_live_table_2密钥 (primary_key) 应用到live.apply_changes_table中;-- primary_key在表中有效

答: 暂无答案