Databricks 问答列表

具有分区文件夹的 Datalake 中的 Databricks 增量表

作者:LordRofticus 提问时间:11/16/2023

我在名为“暂存”的容器中有有关 Azure 存储帐户的数据。 使用 SourceSystem/Dataset 层次结构,我每月还有基于日期的文件夹。在文件夹内,数据以增量格式存储。 在数据块中,我...

通过在 Unity 目录之上创建的 Delta 共享读取多个架构,该共享以流式处理方式涉及 400+ 并发更新

作者:Newbie 提问时间:11/16/2023

如何通过涉及 400+ 并发更新的增量共享以流式处理方式读取多个架构。 DLT 似乎对管道上的 100 个并发更新有限制。最初,我想在单个管道中创建多个独立的流。kafka 还是 Kinesis 更...

在 Databricks 中访问工作区文件的正确方法是什么

作者:jdhao 提问时间:11/17/2023

我的 databricks 运行时版本是 10.4 LTS。我正在尝试使用 python 中的方法访问工作区文件。我尝试了多种不同的方法,但它们都失败了。 假设我的工作区文件路径是 ,我尝试了以下路径...

按顺序从数组列中获取非重复行 pyspark

作者:mouli lee 提问时间:11/16/2023

我有一个包含 2 列的 pyspark 数据帧。Column1 是整数列,Column2 是 ArrayType。我需要获取一个数据帧,该 Column2 的前几行中没有任何重复元素。在 Column...

如何从 Azure Databricks 输出“基础 SQLException”而不是一般异常消息?

作者:LearneR 提问时间:11/16/2023

我们从数据工厂管道调用 Azure Databricks 笔记本,该管道将引入到 Azure Synapse 中。但是,每当笔记本运行失败时,它只会显示以下错误消息: com.databricks....

如果当前值为 null,则获取上一个非 null 值 - Azure Databricks

作者:John Bryan 提问时间:11/16/2023

我有一个表,其中包含以下值 ID Date FinalDate 1 20120101 NULL 1 20120201 20120201 1 20120301 NULL 1 20120401 2012...

Azure Databricks 不会从 RBAC 访问密钥保管库权限错误

作者:geds133 提问时间:11/15/2023

我正在尝试遵循本教程:https://learn.microsoft.com/en-us/azure/databricks/getting-started/connect-to-azure-stora...

Databricks Autoloader 重新激活全 null 列

作者:Mehdi Jafari 提问时间:11/15/2023

我们正在使用 Azure Functions 将一些 txt 文件模拟到 parquet。然后,Databricks Autoloader 读取 parquet 文件。为了让 Autoloader 将...

Databricks ImportError:无法从“typing_extensions”导入名称“override”

作者:Livia Seiler 提问时间:11/15/2023

我正在尝试使用 databricks 笔记本来微调 Llama2 模型。代码在这里。我在第 219-231 行遇到错误: from trl import SFTTrainer max_seq_le...

如何使用 JDBC/ODBC 驱动程序从 C# .NET 正确连接到 Azure Databricks 仓库

作者:Eugene Goldberg 提问时间:11/14/2023

我们正在尝试在 C# .NET 控制台应用和 Azure Databricks 仓库之间建立连接。 我们按照以下说明设置和配置 ODBC 驱动程序: https://docs.databricks....


共54条 当前第2页